知评价

首页 > 评价前沿 > 知评价 > 正文

文献综述:评价人文社会科学研究的学术、社会和政治影响力

发布时间:2023-04-21 编辑:刘意泠 来源:复旦智能评价与治理,复旦新学术


摘要:评价人文社会科学(SSH)研究的学术影响力、社会影响力和政治影响力,已成为决策者和社会的需求,国际学界在影响力评价方面已取得重大进展。本文回顾了用于评价SSH研究学术影响力的工具和技术,并且基于学者们在多大程度上试图采用考虑到SSH独特特征的方法、工具和途径,调查SSH研究的社会和政治影响力结构的变化。最后讨论总结了不同影响力评价的发展和局限,以及未来要探索的领域和主题。

关键词:社会科学;人文学科;影响力评价;评价

 


1

引言


目前研究主要关注点之一是展现研究的“影响力”,即公共研究投资为提高国家科学竞争力和卓越性、财富创造、生产力和社会福祉所产生的价值。影响力通常被理解为研究成果对学术、经济和社会产生的变化,这也引发了一些问题,例如如何找到合适的工具和方法来衡量影响力,如何衡量研究活动所产生的影响力和应产生的影响力之间的时滞,以及如何确定研究成果在多大程度上是影响力产生的唯一或最重要原因。此外,不同的学科领域对学界、经济和社会产生着不同影响,对于SSH来说尤其如此。

本文探讨的问题是:SSH中的影响力评价在多大程度上试图采用考虑到SSH独特特征的工具和方法?影响力评价的主导(STEM)视角是否适用于SSH研究?本文通过文献综述来研究上述问题,在综述中通过区分SSH研究中的学术、社会和政治影响力的不同结构来阐明影响力的概念,从而以更有效的方式评价它们。



2

文献综述框架


本文旨在从三个方面加深对SSH研究影响力评价具体特征的认识。首先,突出科学与社会的关系及其对研究行为和评价的影响。近年来,自上而下的政治需求促使公共资助机构更多地关注他们所支持研究的学术和社会影响力,因此要求研究人员和机构提供关于这些影响力的证据。同时,研究人员和用户(如社会公众)提出了自下而上的需求,要求阐明研究对社会的价值。

其次,本文 强调文献中对于特定学科研究评价的相关性。在国家和跨国层面,研究评估和政策往往是从生命科学和自然科学的角度设计的,SSH研究常被忽视。为了缩小科学与社会之间的差距,传统的研究评估方式正变革,以使SSH研究的学术和公共价值更加凸显。为此,非标准化的研究评估工具已经被开发并应用于评估SSH研究的影响力。

最后,虽然有聚焦于评价研究的专门文献,但还有许多相关文献广泛分布在SSH期刊、专著和灰色文献中。本文回顾了这些研究对于评估SSH研究的学术、社会和政治影响力的不同贡献。

2.1 研究目的

决策者可能从促进知识生产(学术影响力)进步的角度来证明研发方面的公共投资是合理的。而更广泛的影响力包括为长期政策问题提供解决方案的可能性(政治影响力),以及制定干预措施以改善社会问题(社会影响力)。因此,决策者希望理解(定义、衡量和获取)这些影响力,以确保他们是在使用公共资金来维持“良好的科学”。但他们对“良好的科学”的认知与学者并不一致,因为他们的主要关注点往往是所使用方法的稳健性、实验和分析的可靠性以及研究工作的完整性。

但是,SSH更加关注新方法——这是原创性的本质,而不是新理论或新发现。SSH是反思性和非累积性的科学,与自然科学的规范和累积结构相反,因此对研究价值的判断会根据现有的不同思想流派而不同。尽管SSH的显著特征之一是致力于为社会福祉开展研究,但学者往往不是为了产生“可用的”结果,而是为了去影响和引导社会,保护文化遗产,并在不同背景下创造自我认识的能力。因此学者们强调,不能用“投资回报”来评估SSH影响力。寻找共性的和标准化的解决方案来评估SSH研究的影响力往往难以产生可靠的结果,因为它与SSH学科的内部多样性相冲突。

2.2 影响力的类型

本文讨论了三种不同类型的影响力(学术、社会和政治),来更好帮助人们理解SSH研究如何在科学和社会中产生变化。

学术影响力通常被定义为研究的变化,即打破主导范式并影响未来研究调查。事实上,学术影响力应该被理解为学界对一个人研究领域的智慧贡献和学界之外的“社会经济影响力”。但在SSH中由于相互竞争的范式并存,且难以找到对研究质量的共同定义,以及难以找到评估研究质量的共同标准,因此识别“主导范式”是困难的。所以SSH研究中的学术影响力与建立新学派的能力和影响该领域未来研究的能力相关。新学派在该领域是否占据主导地位并不重要,在SSH中不同学派可以共存,重要的是新学派的研究能在方法上有所创新。

社会影响力的概念还未有统一定义。Flecha区分了学术影响力、传播力、政治影响力和社会影响力,并认为社会影响力可以理解为前三个研究阶段的顶点。当已发表和传播的成果(已转化为政策或非政府组织领导的倡议)在实现既定社会目标方面产生改进时,就会产生研究的社会影响力。但是,文献中的一个主要问题是人们对“社会”一词的含义缺乏共识。一些文献中列举了广泛的社会影响力领域,包括人权、社会凝聚力、经济凝聚力、就业、人力资本形成、公共卫生和安全、社会保障和社会服务、宜居社区、文化、消费者权益、安全、治理、国际合作、中小企业作用、经验教训和成功案例。也有文献指出社会影响力仅限于与人们的生活条件相关的内容:福利、福祉和生活质量、习俗和生活习惯(即消费、工作、性行为、运动和食物)。

在欧洲,对研究的政治影响力和社会影响力进行分开评估的趋势日益强劲,特别是调查科学与政策之间的关系以及如何增强研究结果对政策过程的影响。研究的政治影响力发生在知识转移期间,也就是说,在决策者和/或社会行为者将已发表和传播的结果作为其政策和/或行动的基础时,虽然政治影响力与社会影响力的概念有很大的重叠,但它涉及在政策制定和政策过程中产生的转变。因此,本文将政治影响力与社会影响力分开讨论,既考虑处理复杂问题的大规模决策的宏观政治,也考虑到与具体干预技术的实施相关的微观政治。



3

方法与数据


本文讨论的三种影响力在科学和社会中产生的变化顺序是不同的。当SSH研究遵循新的分析方法或基于新的结果影响进一步的研究产出时,就会产生学术影响力。与社会影响力相关的变化则会影响个人、组织和机构的文化、经济和社会生活。政治影响力包括将研究内容纳入政治决策,以及政治行动和确定优先事项的动机。

本文旨在了解上述变化发生的方式和探索新途径的程度,例如研究人员参与社会互动的重要性。因此本文使用Gomez等提出的批判交际方法论(CCM)的分析框架。CCM认为,当“生活世界从头到尾都被纳入研究过程”时,研究的变化很可能发生。CCM包含两个分析维度,即排他维度和变革维度,可以用来证明关于SSH研究影响力的文献所发现的促进或抑制研究成功的科学、社会和政治影响力的因素。

本文使用多来源进行数据收集,包括期刊文章(Web of Science和SCOPUS数据库);专著、报告和工作论文;CORDIS数据库;欧盟FP7 Flash-it项目研究报告;网络搜索;申请人员和评估人员指南;来自相关评估机构的灰色文献。同时采用滚雪球策略来确定其他来源。

对文献的筛选审查侧重于八个学科领域:经济和商业;教育科学、媒体和传播;人文学科;法学;生命科学;政治学;心理学;以及社会学和社会经济地理学。文献涵盖了2006-2012年期间,以与欧盟第六和第七框架计划相吻合。也包含2006年之前和2012年之后的一些重要文献,以描述SSH研究的概念和影响力评价方法的演变。

本文记录了两种类型的信息:一是评价SSH研究影响力的方法,二是记录SSH研究取得影响力的案例。这样一方面可以理解文献中提出的新评价方法和工具;另一方面,了解所观察到的方法的作用,以实现影响力的合理评价。



4

SSH研究的学术影响力


对学术影响力的争议在SSH研究的文献中有很大比例,主要是由于国家层面事后研究评估的出现,以及使用指标进行影响力评价的推动。在这方面,文献计量指标对STEM学科来说比其他方法更客观且成本更低,但将这类指标应用于SSH研究则备受质疑。

4.1 文献计量学、科学计量学、信息计量学和STEM研究中的其他指标

自二战后“大科学”出现以来,STEM研究对政策议程的学术影响力一直存在。科学的发展、公共支出的需要以及向知识经济的转变,促进了文献计量学、科学计量学和信息计量学发展。相关文献主要采用定量的文献计量学方法来评估研究的学术影响力,包括使用期刊影响因子和其他基于引用的方法,传统学术影响力的衡量主要集中在出版物上。目前有将个人作者作为分析单位的趋势,其中得到极大关注的是由Hirsch提出的新指标——h指数。

但学者们质疑通过引用数量衡量的学术影响力能在多大程度上反映一篇期刊论文或一组科学工作的“质量”或“重要性”。对数字和简单数据的依赖仍然存在,简单的测量方法由于其容易应用所以具有吸引力,这种简单性掩盖了应用上争议。因此在科学计量学中,不断有关于不同指标有效性的争论和新指标的开发。定量评价当前存在争议,主要在于指标计算和引用的可靠性方面。

20世纪80年代中期,开放获取驱动下的学术交流和实践的变化引起了学界关注,并且基于Web开发了新指标,如Web指标、webometrics、cybermetrics和altmetrics。这些指标被视为对引用的补充,通过衡量研究成果的传播和使用情况来了解研究成果的学术影响力。

4.2 评价SSH研究学术影响力的指标

衡量学术影响力的指标在SSH研究中真的有效吗?这一问题有不同的回答。

有学者认为SSH的学术影响力不能通过生硬的定量标准来衡量,只能使用同行评议,现有的标准将随着它们逐渐完善而变得更适合。Hicks指出,社会科学中存在四种文献:国际期刊文章、专著、国内期刊和非学术出版物。尽管学术界倾向于优先使用期刊文章,但其他类型文献仍有很高的重要性。

部分学者将文献计量指标作为SSH学术影响力评价的众多方法之一,并与其他指标和信息源结合使用,从而获得更可靠的结果。这一方式提出了使用综合方法进行影响力评价的途径,文献计量学不能主导SSH影响力评价。

尽管有上述探索,但大多数讨论都处于中间立场,在依赖文献计量学的同时寻求更适合SSH研究评估的替代方法,克服学科的限制,例如与自然科学相比,SSH的引用行为不同,成果类型不同,研究的受众存在差异,以及现有数据集的覆盖面不足。有文献探讨建立覆盖国内出版物的SSH综合数据库,并强调了实施的必要性和建议。其他文献表明,“期刊在选择发表论文上的选择性”和“期刊扩散”是衡量人文学科学术期刊影响力的敏感、有效指标。

一些SSH学者建议使用替代统计数据,例如使用Google Scholar来获取文章和专著中的引用。其他人则认为引用具有时滞性,了解研究的学术影响力可能需要很多年,因此使用altmetrics以及类似工具来考察文章或研究报告的实时利用可能是有效的。一些微观指标如文章使用数据(HTML浏览量和PDF下载量),也应在研究评估过程中被考虑。但也有其他学者指出,在SSH中使用altmetrics与文献计量数据具有相同的局限和缺点。

基于文献计量的影响力评价通常低估了SSH研究成果的价值。替代指标、方法和数据源正在被越来越多地探索,以了解它们作为文献计量学替代方案的潜力。学者们对新的探索的兴趣浓厚,希望了解它们在多大程度上有助于对SSH的影响力进行长期评价,并指出需要与该研究领域的学者开展合作以构建适当的指标。



5

SSH研究的社会影响力


文献普遍认为,社会影响力是研究对社会可能产生的变化或影响,讨论最多的议题是这种影响如何发生

关于STEM的文献强调了研究成果在对社会产生影响之前的各种过程。例如,在澳大利亚研究质量框架中,影响力被定义为“增加国家的社会、经济、自然和文化资本”。2014年英国研究卓越框架中,社会影响力被定义为一种由研究产生的积极或消极的变化或差异。Weinberg等确定了科学基金对短期经济活动的影响,认为科研活动通过直接从事研究的人员数量和科研机构购买的产品、商品,对社会产生经济影响。有共识表明,研究的社会影响力既会表现出积极且带来益处的一面,也会有消极并产生不利后果的一面

关于社会影响力概念的理论进展对评价方法和指标产生了影响。在文献中我们发现,评价研究的社会影响力可分为事前评价和事后评价。评价方法主要有两类:定性方法(包括同行评议、案例研究和调查)和定量方法(开发和使用统计指标、在某些领域使用计量经济学模型等高级数学模型)。

由于SSH研究的一些特点会影响指标的使用,因此使用定性描述和定量指标作为补充的综合做法通常被认为能够较好地评价影响力,评估方法应注重过程而非结果,从而使我们能够“确定相关研究是如何进行的,及其是否被应用的过程”。

Bastow等讨论了科研人员通过媒体与企业、政府、第三方和公众接触所产生的一系列社会影响力,并认为评估这些活动的影响力难度较大。Lam试图根据学者对影响力的态度、研究人员和用户之间互动的性质以及利用研究为政策制定提供信息的过程来确定研究影响力的类型。关于研究应用的文献讨论了SSH研究人员与用户交互的多种模式,关注研究在多大程度上是由研究人员、用户或交互过程领导的。一些具体的、组合的或综合的社会影响力工具被开发出来,其目的是观察知识生产的参与者(学者、决策者、受益者、利益相关者)如何互动和交流,以及这些互动在多大程度上产生变化,示例如表1。






6

SSH研究的政治影响力



本文讨论了增强SSH研究政治影响力的机制,包括研究人员如何执行和传播他们的研究成果,以及决策者如何使用科学知识来为决策提供信息。

6.1 科学与政策的关系

大量的文献致力于探索研究与政治之间的关系。Boaz等强调了改革传统研究评估的必要性,他们创建了一种可用于确定研究如何产生能够为政治和实践提供有效信息的机制。我们还需要了解决策者如何在实践中根据社会科学证据来解决社会问题。Sanderson认为通过这些证据可以构建更好的环境并适当优化决策过程。确定特定研究项目的政治影响力,需要研究人员和研究系统外部的参与者共同参与影响力评价。

为了理解基于应用科学研究的成功决策背后的过程和参与者,一些学者强调探索“卓有成效的互动”。不同利益相关者在研究中的作用如何一直是许多研究的焦点,这些研究旨在描述将研究转化为政治影响力的最有效过程,同时考虑科学研究过程中利益相关者之间偶发或固定的伙伴关系。

近年来,欧洲以问题或政策为导向的研究有所增加。学者们通常认为,在评估这类研究的政治影响力时,传统指标不能充分衡量政策方面的效果,因为传统指标是基于传统的知识生产模式,没有考虑研究如何帮助改善社会问题,也没有考虑决策者如何使用研究证据

6.2 合作开展研究和提升影响力

尽管文献主要关注的是实现政治影响力的障碍,但也有一些学者研究了学者和决策者之间的合作研究如何提升研究影响力。Duijn等调查了学者和决策者的共同研究成果,特别是在复杂治理过程的研究方面。他们倡导探索科学和实践的中间地带,科研人员和从业者可以“共同生产知识以应对实际挑战”。Cotterill等利用随机对照试验评估与当地政府合作进行研究的好处。Armstrong等建议事前和事后评价标准都应依赖于一个概念模型,包括“合作生产在实现影响力方面的关键作用”, 他们认为,研究的有效合作需要研究终端用户 “参与整个研究过程,包括从议程设置到研究设计,以及实际工作和结果沟通”。

但对这些合作关系如何在整个研究过程中考虑最弱势终端用户声音的研究较少。此外研究中的一个明显不足是,缺乏对研究议程可能产生的负面影响的调查,以及决策者缺乏根据实际影响力进行后续反思的意愿。



7

讨论


在SSH的学术影响力方面,学者们主要关注与出版物相关的文献计量分析、指标和工具可以应用于SSH研究的程度。文献计量的局限仍然有待解决,仅使用指标来评价SSH研究的缺点不断显现,因此在学术影响力方面,我们力求更合理地使用指标,并将其与定性评价方法相结合

在SSH的政治政治影响力和社会影响力以及在一定程度上的学术影响力中,如何为研究人员、利益相关者和公众的参与创造新机会,响应其需求备受关注。可以通过创造共同参与的对话空间,以及促进学者和决策者之间的研究合作,从而产生更大的政治影响力和社会影响力。就概念而言,政治影响力是指将研究成果转移到政治领域,为决策或政策设计提供信息,社会影响力是指由政策或民间社会主导的行动在多大程度上有助于实际改善社会问题

此外,研究人员是否根据研究结果提出干预措施并提供由此产生的社会问题改善的证据,或者研究人员能否明确能够对社会产生积极影响的行动并分析其特征以把握复现的可能性,同样十分重要。对于影响力评价,文献中有两种不同的观点:一种是用指标来衡量影响力,并将影响力视为进展的幅度;另一种是评价产生影响力的环境被改变和创造的程度,并假设影响力是一种新兴属性,它取决于后续的选择和事件,学者无法直接控制。SSH中对这两种观点都有所研究,但后者得到了更多关注和共识。

关于特定研究的政治和社会影响力的归因和识别问题,文献综述表明,需要进一步改进方法、技术、指标和方法论,以更好地掌握SSH研究的影响力。尽管技术上还存在限制,但我们发现学界已经逐渐意识到明确这些影响力类型的重要性,并且意识到他们有收集证据和信息以证明这些影响力的责任。



8

结论


本文旨在阐明学者们如何解决SSH研究影响力评价的问题,以及为STEM学科开发的影响力评价方法和技术是否适用于SSH。分析表明,学术影响力是SSH文献的关注点之一。但主流方法因未能适当考虑到SSH不同于自然科学的独特特征,所以往往低估了SSH成果的价值。此外,学者们对定量指标持反对意见。一些文献证明SSH最重要的社会贡献是提供了对共同价值观的理解,提高了社会意识,SSH和其他领域一样,都有助于增加人类福祉。

本文确定了未来研究中需要进一步探索的领域。首先,社会影响力和政治影响力评价已在多个国家中进行,且存在很大差异,因此需要对这些过程进行系统的比较分析。其次,尽管评价SSH研究社会影响力的一系列过程在不同国家有着不同的发展水平,但在确定和分析影响这些过程的共性方面需要继续改进。最后,需要调查研究没有实现预期(学术、政治或社会)影响力的原因。现有研究一般关注方法论和方法的问题,讨论现有评价方法的局限不足,强调改革性维度。未来研究可以更加关注排除性维度,寻找影响力缺失的原因。

 

全文及参考文献见Research Evaluation, 2018年第27卷第4期,原文链接:https://doi.org/10.1093/reseval/rvx025,本期推文为节选摘编,略有删减和编辑。



本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 宋欣雨 邓晨菲 王译晗

本期编辑 | 学术君001号

基地官网:http://statevalbase.fudan.edu.cn/main.htm


• end •



下一篇

艺术与人文研究评估:请用数据,而非指标

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433