践评价

首页 > 评价前沿 > 践评价 > 正文

研究社会影响评估的负责任框架

发布时间:2024-11-01 作者:Filchenko D等 编辑:王译晗 来源:复旦智能评价与治理

导语:为响应全球对研究社会影响评估的需求,科睿唯安(Clarivate)近期发布了一套全新的面向研究社会影响评估的负责任评估框架,以帮助各类机构捕捉和衡量研究的社会影响,为全球研究管理和政策制定提供科学、透明的支持。


1


评估社会影响的挑战

衡量社会影响并非新生事物,但如何定义和捕捉社会影响一直是个难题。如何在科研机构、资助机构或国家层面,满足这一日益增长的需求,有效评估研究的社会影响?对此,必须克服三个主要挑战:

承认社会需求的多样性

社会需求错综复杂,涵盖了广泛领域,如更好的健康结果、更优的疾病防控、更高效的自然资源分配管理策略、更高效的工业流程、更安全和清洁的能源生产,以及在历史、文学和音乐等文化领域做出贡献。这些“影响”共同提高了生活质量,但要捕捉和量化这些多样化的影响却颇具挑战性。

影响的多样性导致其难以适用简单或标准化的衡量尺度,可用于衡量它们的标准也大相径庭,这使得全面理解和传播社会影响更加复杂。例如,衡量技术影响的相关信号(如专利数量),在评估其对文化发展的贡献时几乎没有参考意义。任何全面的社会影响评估都必须考虑到这些差异,并具备灵活性,以承认不同领域的独特且多样的贡献。

平衡定量和定性方法

过去认为,学术影响力较高的研究会带来较高的社会影响。但如今,这一假设受到了质疑,社会影响的评估正日益需要更直接和精确的衡量。

传统的文献计量分析在挖掘社会影响信号方面存在局限。因此,任何评估研究社会影响的框架应纳入更多指标,以涵盖除了期刊论文、书籍和会议论文集等传统学术成果之外的更丰富的成果和活动形式

另一个挑战在于确定适当的评估方法。通常,评估方法可分为定量和定性方法。定量方法(如传统的科学计量学方法)因其能提供易于扩展的客观视角而颇具价值,但也缺乏评估社会影响特定方面所需的深度。例如,传统的引文指标仅限于已发表的成果,无法捕捉诸如情感(积极、中性或消极)方面的细微差别。

为克服这一局限并将其扩展至出版物之外,需要采用定性方法,如专家评审、用户案例研究或叙述性影响说明。然而,这些方法的扩展性较差,且可能存在主观性。因此,平衡定量与定性方法对于负责任且全面地评估研究的社会影响至关重要

把握时间尺度

通常,资助者的预期与科学发现的缓慢进展,以及将知识转化为实际应用所需的漫长时间形成鲜明对比。一个濒临倒闭的行业可能通过技术投资重新焕发活力,但其影响可能要在研究项目结束很久后才能显现。20世纪80年代的研究表明,发明与商业应用之间的典型滞后期为15至20年。

尽管面临这些重大挑战,我们仍需通过正式和结构化的方式来评估社会影响,以加强机构内部的研究管理,并为制定更有效的研究政策和指导提供信息。


2


评估框架

社会需求分类

为应对社会需求的多样性,笔者首先采用了PESTLE(政治、经济、社会、技术、法律、环境)分类法。在此基础上,为实现更全面的分析,对这一分类进行了改进,将“社会”划分为“人力资本”“医疗”和“社会与文化”;将“政治”重新命名为“政治与政策”,将“法律”重新命名为“法律与治理”。我们将这一改进后的分类称为“社会层面”。以下是对八个层面的具体描述:

这一分类法具有高度包容性(全面性),并允许不同层面之间相互重叠,因为在对有影响力的研究进行任何深入审查时,通常会发现许多研究项目会影响多个社会层面。例如,医学研究可能会影响制药行业、健康管理、社会福利政策、技术发展,甚至法律层面。

机构产出和活动的分类

如前所述,对社会影响的有效衡量需要基于超越传统学术成果的来源,并涵盖有形的成果与活动。本框架利用了Clarivate丰富的数据资源,其覆盖范围远超期刊、书籍、会议论文集和预印本,必要时,还将整合外部数据来源,具体包括以下内容:

除有形成果外,研发、教育和知识转让还可以采用活动的形式。例如,监督或指导学生,使其在毕业后推动积极的变革,担任相关组织或倡议中的发起、领导或顾问角色,这些都是超越传统产出的个人或机构活动的实例。

评估指标

为缓解从研究开展到社会效益显现之间的长时间滞后带来的挑战,本评估框架包含滞后指标和领先指标。

滞后指标通过对过去的成果和活动进行回顾性分析,使这些成果和活动有足够时间展现其影响,从而深入了解其社会效应。它们揭示了以往研究如何促进了社会成果,提供了一幅具体可观的影响力图景。

相较之下,领先指标具有前瞻性,分析更为近期的信号,这些信号表明研究成果和活动在未来可能会产生社会影响,但不具有确定性。这些指标可用来指导研究战略的优化或调整,以实现更佳的成果。它们帮助识别是否有合适的团队在开展最具潜力的活动,并依据所获得的洞察采取纠偏或重新定位,以提升实现预期成果的可能性。

以下是初步列出的滞后和领先指标组,可用于评估研究对各社会层面的影响。鉴于社会需求的多样性,各指标组内的具体量化指标因社会层面而异。


3


可视化示例

为促进负责任的评估,影响力数据必须以一种既具参考价值又能被多样化用户理解的形式展现。这些数据需要透明地反映出不同类型和层次的影响,以支持及时决策,优化资源分配。

在本节中将介绍一些具有代表性的示例,从宏观层面说明如何在即将推出的“科学研究智能网”平台中展示社会影响,以适应不同的使用需求。

机构的社会影响通过一个包含八条坐标轴的雷达图进行可视化呈现,每条坐标轴代表上述八个社会层面中的一个。为便于有效比较,社会影响剖面图上的每个点都表示一个量级分段,该分段基于特定机构的表现与全球近12,000家其他组织的表现对比计算得出。每个层面均有两个数据点,一个基于滞后指标组的衡量标准,另一个基于领先指标组。

以下示例的社会影响剖面图是基于从Clarivate的学术成果、专利和临床试验数据中提取的一套初步指标开发的。

展现个体机构

图1显示了一个老牌机构的主要社会影响概况,该机构在各学科的学术影响上表现出色。其社会影响整体也十分突出,在八个层面中有七个远高于中位数(由内圈线表示)。

再来看另一个表现优异但以医学领域为专长的机构。

该机构在医学层面的表现尤为突出,而在其他层面的表现则相对一般。然而,其滞后指标表明,其跨学科的医学研究对技术和人力资本层面产生了实质的溢出效应,同时其在环境层面的领先指标显示出扩大该层面影响的潜力。

利用领先指标和滞后指标比较绩效

特定层面上,如果机构的社会影响概况显示按领先指标衡量的绩效与按滞后指标衡量的绩效相近,则表明该机构未来的影响程度可能与过去的影响程度相当。

若按领先指标衡量的绩效高于滞后指标,则说明机构未来在该层面的影响可能超越以往。

而当领先指标的绩效低于滞后指标时,则可能表明机构当前的能力低于过去的水平,可能由于内部因素(如预算削减、减少对某些研究项目的重视)或外部因素(如政治或经济不稳定)所致。这时可能需要进行相应调整,以维持过去的影响水平。

可见,上述示例不仅提供了机构层面的视角,还可以用于展示资助者层面的视角。在这种情况下,滞后指标的分析揭示了过去投资资助的研究对社会的影响;而领先指标则能够提供近期资助研究未来影响的早期信号

(报告原文链接:https://clarivate.com/lp/a-responsible-framework-for-evaluating-the-societal-impact-of-research/?campaignname=ISI_GRR3_Societal_Impact_LeadGen_AG_Global_2024&campaignid=701QO00000INCqyYAH&utm_campaign=ISI_GRR3_Societal_Impact_LeadGen_AG_Global_2024&utm_source=Press_Release&utm_medium=Owned_Press,本期推文为节选摘编,略有删减和编辑。)




本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 邓晨菲 王译晗

本期责编 | 邓晨菲

基地官网:https://statevalbase.fudan.edu.cn


·end·


下一篇

36条建议!如何开发和使用下一代指标?

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433