知评价

首页 > 评价前沿 > 知评价 > 正文

如何实现对任务导向研究的有效评估?

发布时间:2024-09-13 作者:Pfeifer L等 编辑:王译晗 来源:复旦智能评价与治理




摘要:以任务为导向的研究涉及自然科学与社会科学的广泛领域,为解决诸如气候变化、生物多样性减少和自然资源匮乏等复杂且多维度的挑战提供了方案。系统评估此类研究的影响及其影响生成过程,能够为规划具有重大影响力的研究提供支持。本文在文献综述的基础上,以自然资源管理(Natural Resource Management, NRM)研究为例,构建了系统性研究影响评估(Research Impact Assessment, RIA)框架。该框架包含四部分:(1)综合性组成部分,反映对所有可持续发展维度的影响;(2)面向社会目标的组成部分,确保研究的社会相关性;(3)包容性组成部分,广泛参与以确保研究及其影响的合法性;(4)选择适当评估尺度和时间维度的战略性组成部分,以确保研究的有效性。本文为该框架提供了适用案例,并呼吁更多地使用系统性和形成性的RIA,以规划有影响力的以任务为导向的研究。


关键词:以任务为导向;负责任的研究;社会影响;可持续性;研究政策



1 引言


学术影响之外的影响,涵盖社会、环境、经济以及政策/治理等方面,遵循传统的可持续性原则。根据不同的方法,这些方面可以进一步扩展,或分别进行评估。研究影响评估(Research Impact Assessment, RIA)方法既可以具有形成性目的,即监测、分析并从研究活动中汲取经验,负责任地塑造并推动有影响力的科研活动;也可以具有总结性目的,即证明和说明研究活动对社会的贡献。总结性RIA和形成性RIA不能分开考虑,通常两者是并行的。

系统地预期和评估研究的社会影响、对社会目标的贡献及其产生影响的过程,是一种相对新颖的评估实践。这一评估方法为规划有影响力的科研活动提供了支撑。在这一背景下,“任务导向的创新政策”(Mission-Oriented Innovation Policies, MOIPs)作为一种“新的系统性干预措施”,正在被越来越多的国家实施,以应对日益增长的社会挑战,并纠正“缺乏整体战略方向、政策协调以及政策组合碎片化”等问题。除了政策协调和战略导向之外,Larrue还将“政策实施者”确定为MOIPs的核心之一。因此,为了“确保干预的一致性和有效性”,需要使“可评估性”成为可能,以评估有可能改善政策的研究成果;“反思性”则用于利用评价和监测结果做出决策;MOIPs改革则是为了实现既定任务目标。因此,将社会任务纳入评估可以成为一种内部学习工具,增强研究对预期影响的贡献(形成性RIA),也可以成为一种外部工具,证明所产生的社会影响(总结性RIA)

本文重点关注健康科学之外的新兴领域,旨在对现有的RIA方法进行评估,侧重于通过反思性的内部过程(形成性RIA)来战略性地规划有影响力的科研活动。本文采用系统性文献综述和扎根理论分析来开发系统性RIA框架,以支持有影响力的任务导向研究,并给出参考示例。本文提供了一个概览,帮助理解70种用于分析NRM研究社会影响的评估方法,整合了可持续性的多个维度和/或影响生成过程,将其称为“集成RIA方法”。结论部分讨论了应用符合本框架的RIA方法可能带来的益处。


2 方法与过程


2.1 文献检索

文献检索包括:(1)在Web of Science核心合集中进行关键词检索,以全面获取NRM研究领域中RIA方法的文献;(2)对相关会议内容、培训计划和网络信息进行结构化审查,然后对相关组织网站进行范围界定,以获取相关灰色文献。

2.2 文献分析

文献检索总共收集了70种概念性RIA方法(共94篇文献)。其中,最大比例的RIA方法是由国际组织和研究机构开发和应用的,且其中一半以上来自国际农业研究磋商组织(CGIAR)或其附属机构(见图3)。在所确定的方法中,评估农业背景下的研究比例最大(31%),其次是无特定主题背景的研究(如澳大利亚联邦科学与工业研究组织CSIRO影响框架)(21%),发展研究(14%),以及可持续性研究(8%)(见图4)。

2.3 定性分析

通过定性数据分析工具MAXQDA 2022对相关文献进行了编码和分析。采用开放编码和扎根理论分析,以归纳重复出现的特征。第一轮分析对以下内容进行了编码和注释:①分析方法,②评估来源,③评估目标,④影响领域/维度,⑤采用的方法和工具,⑥作用,⑦评估量表(见表1)。在初始编码期间提炼对应的子代码,并在第二轮分析中引入新的子代码,同时专注于概念性方法,排除了仅通过经验应用现有方法的文献。最后,这些定性分析结果被用于构建一个系统性的RIA框架。



3 结果与讨论


对70种RIA方法的综合分析提供了对研究成果和影响定义的全面回顾,以及对规模、来源、影响维度、目标和时间维度的分类。此外,我们还确定了这些RIA方法中社会目标的作用和优先级设置的结果(见图5)。本文探讨了这些发现与研究影响力的相关性,并参考了有效研究的三个标准中的两个——相关性和合法性。因为第三个标准“可信度”已经在传统研究评估中得到了充分体现,例如衡量所谓的学术影响力(如出版物和引用次数、影响因子)。因此,该标准并非本分析的重点。良好的科学实践和由此产生的学术影响力是基础,并通过社会影响评估进一步扩展





4 系统性研究影响评估框架


当前人们对人类行为的社会责任,尤其是可持续发展目标(SDGs),给予了越来越多的关注,从而推动了RIA方法的开发和应用,以评估研究对社会变革和转型的贡献。在过去的十年中,将社会目标系统纳入RIA的趋势日益明显,这要求在评估过程中必须整合利益相关者的观点和优先事项,同时还要进行社会目标之间的权衡。为应对这一不断演变的形势,我们开发了一个集成性的RIA框架(见图6),以辅助研究评估并战略性地描绘研究对社会转型的贡献。该框架包括以下4个组成部分:(1)任务导向组成部分;(2)包容性组成部分;(3)战略性组成部分;(4)综合性组成部分。

4.1 任务导向组成部分——实现研究的相关性

将研究活动与共同的社会目标和使命相联系,可以提高研究在应对复杂社会问题中的相关性。当社会目标被视为研究组织或研究活动的基本原则时,它可能会在隐形之中指导研究规划。当RIA方法在评估中明确赋予这些目标指导作用时,也会对研究产生具体的指导。这些目标可以是一般性或普遍性的,例如可持续发展目标,也可以是针对具体情境的目标。

4.2 包容性组成部分——确保研究的合法性

通过在研究的各个阶段(问题提出、设计与实施,以及对研究结果的评估)中让相关利益相关者参与,能够确保研究的合法性。参与的程度可能从被动的方式,例如分析利益相关者的兴趣,到主动的方式,例如共同创造。因此,利益相关者的兴趣可以影响研究议程的设定以及研究的衡量标准。除了研究组织和研究人员在研究中应用包容性方法外,资助者也可能要求参与研究过程,或“让用户参与资助生命周期的多个阶段,以帮助确定研究问题的优先顺序、审查提案并评估成果”。

4.3 战略性组成部分——提高研究的有效性

根据RIA的目的,需要战略性地选择评估的规模、目标和时间安排。RIA的目的因评估背景的不同而不同。对单个研究的评估进行干预可能足以规划出一个新项目,但对某一领域的研究或国家/国际资助的研究项目的战略规划进行评估通常需要更大的规模。随着规模的扩大,评估任务变得愈发具有挑战性。研究影响评估应能够在不同的评估尺度上进行,并且是可实现的。在RIA应用于有影响力的研究规划时,其主要目标应是进行形成性的分析和预测,强化事前评估和反思性学习的作用。借鉴先前的研究经验,或通过RIA流程建立后续的评估框架,可以成为对研究有益的补充。事前评估之后,可以定期反思和监测预期和已实现的影响。事后评估的结果则可以帮助理解产生有利影响的条件和过程。

4.4 综合性组成部分——实现系统的反思性

在评估中考虑所有4个(社会、治理、经济、环境)可持续性维度的影响,以及产生社会影响的前提条件和过程,对于系统地理解研究在改变复杂社会生态系统中的各种贡献至关重要。通过系统性反思,RIA方法能够预测直接/间接、积极/消极的影响,关注协同效应和平衡,从而有意识地促进系统转型的研究。

4.5 框架的互连

各组成部分并非相互排斥,而是相互关联。例如,将RIA与社会目标相结合,体现了对影响维度的综合考量,可以为研究主题的优先级提供指导。然而,即使在高度系统化和集成化的RIA中,仍然需要优先考虑相关的影响和指标,以合理利用资源。该框架表明,RIA并不是“一刀切”的解决方案;评估的背景和动机会导致不同的RIA特征。因此,一些组织,尤其是较大规模的组织,可以根据不同的背景和目的,使用一系列不同的补充性RIA方法。在设计RIA时,应考虑框架的所有组成部分,并根据评估的目的和规模为各组成部分分配不同的权重。

4.6 适用案例

本文构建的RIA框架可以帮助评估RIA方法在实践中是否适用于系统性评估。这里的评估并不是对方法本身质量的评判,而是为了判断这种方法在应用时,是否能够有效地与框架中的四个组成部分结合起来,进而实现全面的系统性评估:

案例一:CIRAD(法属国际农业发展研究中心)的ImpresS方法通过事前和事后评估来分析和解释其研究影响。该方法将影响力与可持续发展目标相结合,考虑了所有影响维度以及影响产生过程,甚至将“建立影响力文化”作为其核心目标。研究和评估的主题根据政治议程确定优先顺序,并使用问题树等分析工具及利益相关者调查和研讨会等参与工具。评估范围可以根据不同的目标进行调整。

案例二:地平线2020计划中的影响力评估虽然仅明确提及社会和经济影响,但要求概述研究对欧盟优先事项(包括实现可持续发展目标)的(潜在)影响。事前自我评估可以用于吸引对研究项目的资助,并且所提出的事前评估结果能够为研究经费的分配提供信息。监测和事后分析则反过来指导未来的研究创新政策。

综上,本文构建的RIA框架概述了系统性RIA的基本组成部分及其表现形式,建议在设计新的RIA时参考该框架。对社会目标及其综合影响的参与性和预期性(事前)过程可以成为常规步骤,从而为研究申请提供信息,帮助解决复杂问题所需的跨学科多样性。当研究申请希望获得关注社会影响的资助(如欧盟)时,展示此类RIA结果可以成为竞争优势。在研究活动开始前或开展期间尽早与系统性RIA相结合,记录必要的合作伙伴、利益相关者、推动因素和障碍。对预期影响和相关指标在早期达成一致有助于在研究开展期间把握成功与不足之处,并为必要的调整提供依据。早期规划、反映利益相关者的意见以及定制的转化产品将有助于在社会、政策和实践中更成功地应用和实施所创造的知识。


5 结论


总之,采用事前评估方法,确保研究目标与社会的共同目标一致,同时通过利益相关者的参与和明确优先级,能够更好地规划和执行研究项目,提高研究对社会产生积极影响的可能性。这一原则适用于所有的RIA方法,以及研究项目中的研究人员、研究资助组织或研究机构。资助者能够更合理地分配投资,研究机构可以更好地理解并战略性地规划其研究重点和路径,而研究人员则可以识别并提出更具社会相关性的研究问题。


(全文及参考文献见Research Evaluation 2024年第33卷,原文链接:https://academic.oup.com/rev/advance-article/doi/10.1093/reseval/rvae003/7603872,本期推文为节选摘编,略有删减和编辑。)






本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 邓晨菲 王译晗

本期责编 | 邓晨菲

基地官网:https://statevalbase.fudan.edu.cn





·end·


下一篇

生成式AI辅助同行评议:潜力与隐忧

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433