知评价

首页 > 评价前沿 > 知评价 > 正文

评估人文社会科学影响力的方法

发布时间:2023-11-03 来源:复旦智能评价与治理,复旦新学术




前言

当前加拿大乃至全球学术界,都日益关注如何评估和展现学术研究多样化的学术影响和社会影响。在整个加拿大的研究系统中,研究者、管理者和行政人员都在努力借助影响力评估来更好地展现学术工作的价值,增加与非学术部门的合作,并实现学界之外利益的最大化

本报告由加拿大人文社会科学联合会(FHSS)发布,旨在就学术影响力评估进行富有成效的积极对话,重点关注人文社会科学(SSH)。本报告探讨了影响力评估的预期收益,不合理评估体系的潜在风险,SSH研究特征对评估的影响,以及各种评估方法的优缺点。通过对以上关键要素的梳理,总结了一套适用于评估SSH学术工作影响力的方法。   


01

背 景


加拿大人文社会科学联合会(FHSS)最早于2014年发布工作文件《人文社会科学研究的影响力》,并与联合会成员和合作伙伴就该问题进行了交流。在该文件中,影响力被描述为“学术性和创造性研究对更广泛社会产生的影响,包括预期和非预期的、短期的和长期的。”该工作文件提出了一个框架,用于描述SSH学者的工作在五个关键领域中所产生的广泛影响力,其中两个为学术影响力,三个为社会影响力:

该框架体现了SSH研究的关键特征:SSH研究的影响力通过多种直接或间接方式传导到整个社会。本报告以2014年工作文件的结论为基础,着重探索决定影响力评估工作成功与否的关键因素,并提出改进影响力评估的方法建议。


02

主要结果和建议


相关调查发现:

• 学术研究的影响力评估可以带来诸多潜在益处;

• 但是倘若影响力评估体系存在缺陷,就会对研究系统产生严重不良影响;

• 学术研究的影响力十分多样,目前尚未有明确的单一指标或指标体系能够充分衡量这种多样性;

• 文献计量学是学术影响力评估的有效方法之一,但存在严重的局限性,可以通过结合定性指标加以解决;

• 由于学术研究的大部分工作是集体合作完成的,以及研究与其影响力之间存在时滞性,因此很难将影响力精确地归因于某一特定的学术工作;

• 研究的许多影响力在本质上是与学界之外的行为者联系在一起的——如私营机构、公共服务机构和社会团体。

基于上述观察,FHSS建议采用以下方法来评估SSH成果的影响力:

1.广泛定义影响力。正如FHSS2014年的工作文件所述,SSH研究是高度多样化的,其对整个社会的影响也是如此。认识到这种复杂性对于理解影响力的概念至关重要——“影响力”本身就是难以定义、划分和量化的。广泛且灵活地定义影响力,有助于帮助不同学科领域更好地理解该术语,从而在影响力评估过程中采取灵活、多元的方法。

2.构建灵活多样的指标体系,将定性方法与定量方法相结合。影响力评估不能“一刀切”,当前还没有一套明确的指标体系能够捕捉到SSH研究复杂而深远的影响。相反,应该使用一套灵活多样的指标体系来评估SSH工作在特定领域的影响力,这些指标应随着影响力评估研究与实践的发展而不断进步。可以结合影响力产生的路径来识别哪些指标是有效的,这便需要明确研究与影响力相关联的具体步骤以及识别社会合作伙伴做出的贡献。

3.研究人员应与研究伙伴和用户合作,在研究工作的影响力描述方面发挥主导作用学界内外的研究合作伙伴,都在影响力评估中发挥着不可或缺的作用。但鉴于SSH研究领域具有多样性、学术研究潜在影响范围的广泛性,以及潜在可用指标的庞杂性,研究人员需要在选择最能够反映其研究影响力的指标上发挥主导作用。

4.评估集体的影响力。SSH研究能够产生长期且持续的重大影响力,这是许多研究人员共同努力和积累的结果,将影响力归因于任何单一学者或特定学术工作都是不合理的。因此,对SSH工作的评估应考虑集体和长期的影响力,例如研究团队、研究领域和研究机构的影响力

5.提供机构支持,以进行有效的影响力评估。评估学术工作的影响力是一项复杂且富有挑战的工作,任何影响力评估制度的设计都应考虑到其背后相应的管理机制。正如建议3所述,研究人员应在决定如何评估他们的工作方面发挥主导作用,大学和公共机构的行政部门则必须提供足够的支持,以确保评估要求不会削弱研究人员从事其他有价值活动的能力


03

结 论


学术研究的影响力评估充满挑战性,但我们可以通过方法上的不断改进来克服这些挑战。通过对原有评价体系的改革创新和促进学界与社会的合作,影响力评估将重塑整个研究系统,彰显SSH的价值使命,进一步发挥其对未来的影响

(原文链接:https://www.federationhss.ca/en/programs-policy/advocacy/research-impact,本期推文为节选摘编,略有删减和编辑。)





本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 金潇苒 宋欣雨 王译晗

本期编辑 | 宋欣雨

基地官网:https://statevalbase.fudan.edu.cn/index.htm



· end ·



下一篇

政策建议 | 将研究评估融入国家开放科学政策

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433