摘要：当代学术评价制度主要依赖计量学指标、引用等标准，旨在对研究质量、学者和机构进行量化排名。但研究人员最近开始质疑这些标准是否适用于人文社科领域的学术评价。以同行评议和引文索引等为主的评价标准仅能有限反映研究质量和实用性，许多维度（如社会影响）无法通过这些传统指标衡量。针对这种质疑，近年来出现了一些创新性的学术评价方法，旨在更好地反映人文社科中常见跨学科研究的复杂性。本文中，我们回顾了一些最具创新性的研究质量评价策略，特别是关于人文社科的跨学科研究，以及社会影响和“有效交互”。本文结论是，虽然许多创新性策略仍处于起步阶段，需要更多的研究和实践，但衡量社会影响已成为一种可靠、实用、全面和适用的用于评价人文社科研究质量的策略。

关键词：研究评价；研究质量；评价调查；社会影响

引言

长期以来，现代学术界一直在争论研究评估对保障自然科学和社会科学的科学严谨性、意义和影响的重要性。在全球化时代，确定学术评价的标准不仅成为学术界的当务之急，而且成为各部委、科学委员会、非营利机构、基金会和其他参与研究投资的利益相关者的主要任务。

对知识生产的量化、标准化和等级化成为学术工作的主要支柱之一，影响着整个学术工作的组织和方向。学术界的竞争导致制定指标来对研究工作、学术、部门、项目和机构进行评价和排名成为必要。当前已经建立了一套标准评估方法以衡量学术工作方面的表现：最重要的是出版商的声望，即影响因子等期刊等级指标和引文索引等计量指标。这使学术界能够清楚地区分研究工作的好坏，建立以绩效为基础的实践，并在机构内形成考评、晋升和聘用 （review，promotion， and tenure，简称RPT） 流程。

但在此过程中学者们开始有怨言，因为监管、评估和排名变得压抑和苛刻，以至于以特定方式和地方发表文章的压力开始对学术成果的质量和针对性造成阻碍。鉴于这种现象，近年来学者们开始提倡建立评价的新标准，例如研究的社会影响，这成为社会科学研究议程中被广泛讨论的话题之一。如今，对研究质量的评估同样依赖于讨论不同类型的影响，例如大众普及度、商业参与度、科学家对政策的反应、对教学的帮助，对政治的影响力。

本文旨在回顾以下与人文社会科学研究质量评价方法相关的主题。首先，我们从总体上回顾研究质量评价；其次，我们讨论了评估跨学科研究的质量；然后，我们反思了“评价调查”这一评估科学研究质量新概念的使用；最后，我们将社会影响的实用性视为人文社会科学研究质量的衡量标准。

研究质量评价

传统而言，大多数学术评价依赖于对学术产出的衡量，例如作为评估研究质量及其科学价值工具的同行评议和文献计量。因此，评估研究质量的主要标准被认为是发表该论文的期刊的声望（影响因子等）以及该文随后在其他学术作品中被引用的次数。尽管备受批评，但多年来，期刊声誉一直被用作判断人文社会科学研究成果的可靠度量工具，甚至在跨学科领域也是如此。但这将社会科学中常见的其他类型出版物排除在外——例如专著、书籍章节、会议论文、报告、评论等。引用数量也存在很大缺陷，或者至少可以说是排他性的——因为大多数Web of Science 收录的社会科学文章都是英文的，这意味着以本国语言出版的出版物，无论其真正的质量如何，大部分时间都处于隐匿状态。

这些评价程序最近受到严厉批评，特别是在评价人文社会科学研究时，因为它们似乎与这些领域中采用的研究和科学传播实践不完全匹配。相关研究认为，评估者和研究人员对研究质量的认知差异造成了“评估差距”，学者们认为既定的评价标准与他们在研究工作中的价值不一致。特别是在人文社会科学中，学者们一直批评评价指标“不太可能充分反映他们工作的质量”。事实上，虽然引用、同行评议和影响因子仍然与社会科学评价相关，但人们已注意到，应制定额外的标准来评价各种创新方法、参与者、研究设计和机制， 以及人文社会科学的社会影响，特别是在涉及跨学科研究时。

占主导地位的传统评价方法的主要问题是，它们鼓励研究人员专注于在主要期刊上发表“常规论文”，而不是尝试可能不符合主流期刊框架的突破性或非传统研究。此外，“一刀切”的评价工具可能不适用于评价创新性研究设计和非传统研究概念、方法。不同的标准和因素都影响着研究的质量，并且跨领域研究的质量很难比较。在一个领域可能被认为是糟糕的研究，在另一个领域很可能被认为是高质量的研究。同样，研究质量取决于发布的背景、时间和地点——在特定时间可能与某些地区高度相关的内容，在其他环境或不同时期往往难以被承认。

评估跨学科研究的质量

在每项活动中，我们都需要一套原则、比较标准或基准，有助于我们评估其质量、潜力、进展和成功。提供可靠的质量标准，不仅是为了提高科学严谨性、改进研究设计和方法工具，也是为了让资助者了解他们在研究上支持和资助的结果。研究质量主要基于两个主要标准来确定——科学卓越性和科学实用性。在大多数学科中，都有一套既定的措施和标准来评价研究设计的质量、方法的合理性、结果的独创性。当涉及人文社会科学的跨学科研究时，这些过程更具挑战性，因为直到今天还没有共识或被广泛接受的原则和标准来评估跨学科工作。

在对社会科学跨学科研究质量评价的反思中，大多数作者强调了对这些研究文章和项目扩大现有评价标准和采用新评价标准的必要性，这些标准应进行明确规定并得到广泛同意，但只有少数几篇文章提出了使用的具体标准。此外，有人认为，跨学科研究文章的质量评估应该由学科以外的审稿人进行，或者至少由来自不同学科的审稿人进行。这一点尤为重要，因为从事跨学科研究的研究人员在选择出版渠道方面存在困难，而且往往倾向于首先选择一种期刊，然后调整他们的研究方法和设计，以“适应”期刊的学科范围。这限制了知识的进步和跨学科创新方法的创造。

关于评估跨学科研究的质量标准，Boaz等指出了四个标准——方法质量、报告质量、方法的适当性以及与政策和实践的实用性。Spaapen等建议每个研究项目的评估应该围绕自己的目标进行，而不是依赖于项目之间的比较。Jahn等认为，评价跨学科研究质量的标准是研究问题的质量、研究过程的质量和研究结果的质量。文献中提到的其他重要标准包括利益相关者的参与、认识论的整合、影响议程、结果产出的多样性等。

“评价调查”是该领域的最新概念之一，旨在从对学术成就的理解、影响和衡量方式角度，挑战传统的研究评估。评价调查首先由Fochler等提出，他们认为研究质量不是一个简单和普遍的概念，不可能有一种万能的工具来衡量它。相反，他们建议将学术工作作为一个过程进行反思，并将质量理解为价值与人、产出和资源之间相互作用的结果，知识正是通过这些网络产生。

这种方法的核心是学术成就分布在学术参与者和非学术参与者之间，因此需要通过组合方法进行研究，即方法的多样化为学术工作及其质量提供了不同的见解。在影响方面，这种方法把产出高质量学术出版物的要求和通过它产生的社会实用性作为问题。它批评了被动利益相关者从学术专业知识（影响）中获益的想法，而是强调利益相关者之间“有效交互（productive interactions）”的概念。在实践中，这意味着利益相关者不仅是知识和影响的共同生产者，而且还是评估这种影响的标准。

社会影响

如前所述，社会科学中的大多数质量评估以前都依赖于学术影响。Spaapen等提供了一种新方式，他们称之为“有效交互”，并将其定义为“研究人员和利益相关者之间的交互，在这种交流中，知识的产生和价值既具有科学上的可靠性，又与社会相关。这些交流通过不同的’渠道’进行，例如研究出版物、展览、设计、人员或资金支持”。这一概念强调了利益相关者合作在研究设计、出版和实施中的重要性，认为只需加强学术界和政策制定者之间有效交互，就可以轻松展现人文社会科学的社会影响。

根据Muhonen等学者的说法，人文社会科学的影响创造可以通过不同形式的科学和受欢迎的出版来实现，也可以通过广泛的媒体和公众参与、利益相关者互动、商业化或政策、立法和认知培训来实现。在他们的研究中，他们构建了详细说明12条主要影响途径的模式，即交互式传播模式、协作模式、公众参与模式、专业知识模式、流动性模式、“预测对手”模式、“抓住时机”模式、社会创新模式、商业化模式、研究参与模式、知识“潜入”社会模式和构建“新认知社区”模式。该框架对于概念化不同的影响途径可能非常有用。

Reale等区分了三个主要影响类别——科学、社会和政治影响。根据他们发现，SSH中的科学影响可以理解为某项研究产生的科学变化，例如研究过程的转变；政治影响被定义为研究成果向政治领域的可转移性，旨在为决策做出贡献；而社会影响是指研究通过激发社会行动主义或民间社会干预对社会问题做出的贡献。对于所有影响类别，作者强调了参与方式的趋势，包括纳入新的利益相关者，并参与学者和政策制定者、民间社会等之间的公开辩论。

人们越来越意识到研究的社会影响的重要性，促使欧盟委员会于 2015 年启动了社会影响开放存储库 （SIOR），旨在传播关于社会影响的故事，以激发和鼓励开展有影响力的研究。它引用了真实社会影响的证据，证明研究已经创造了一定的社会变革，及其潜在影响，研究结果尚未完全转化为社会改善，但有一些指标表明它将创造社会改善。SIOR在 2015 年成为评估研究的社会效益和交流人文社会科学不同影响途径的可靠工具。

Pulido及其同事分析了研究影响的传播渠道，重点关注社会影响覆盖率 （SICOR），以确定与影响相关的推文和Facebook帖子在特定研究项目的社交媒体数据总数中所占的百分比。正如研究结果所示，随着社交媒体越来越成为学术界提高研究知名度的工具，这些平台上的一些交流会涉及研究的社会影响。虽然他们的研究范围有限（仅分析了10个项目），但它表明社交媒体中存在部分社会影响的证据。因此，这个工具应该在未来几年得到进一步利用，学者们应该认真考虑发布具体的定性或定量证据来证明研究的真实或潜在的影响力。

Cabre-Olive等介绍了一种类似的方法，他们建议使用社交媒体作为了解社会新兴主题的工具，以便定义研究，这可能会带来重大的社会进步。该领域的另一个重要贡献是由 Gomez等做出的，他们在研究中应用批判交流方法论的原则，以倡导更多的利益相关者参与和共享知识创造（因此也会产生影响），它突出了研究人员和社会参与者之间对话的重要性，以便在设计和开展研究时利用社区的文化智慧。这些互动不仅确保了研究对社会的重要挑战作出回应，而且还确保了相关社区更好地接受和更快地实施研究成果，将其转化为长期影响。

衡量欧盟项目的社会影响

在欧盟的评估中，我们所理解的“影响力”往往被称为“实用性”。根据欧盟委员会的报告《更好的监管“工具箱”》和《将实用性评估方法应用于Horizon 2020》，“实用性”着眼于社会需求和问题与干预目标之间的关系。事实上，不断筛选欧盟项目的目标和活动，并将其与欧盟的主要战略目标和优先事项相比较是必不可少的。因此，主要挑战之一是评估框架计划的“实用性”，以验证特定框架计划的原始目标在多大程度上仍符合当前的优先事项和需求。

评估框架计划实用性的一般方法包括三个主要步骤，旨在确定其与制度视角（该计划是否符合欧盟和国际优先事项）、公民视角（该计划是否符合欧盟公民的需求）和科学技术视角（该计划对后续技术或科学进步的适应性如何）的兼容程度。为了回答每个问题，制定了两个子问题，以符合实用性评估需要：首先确定政策重点、公民需求和科技进步是什么，然后根据确定的优先事项、需求和进展对框架计划进行评估。

需要强调的是，框架计划最初设定的目标不一定与当代挑战相对应，因为政治优先事项、社会需求和技术进步会随着时间而变化。人文社会科学的大多数旨在产生一定影响的研究项目也是如此。但是，当项目完成并产生“影响”时，问题可能已经“过时”并且与社会不再相关。因此，“实用性”或影响分析是一个持续的过程，旨在不断质疑和调整项目以更好地反映当前的挑战和需求。此外，在设计项目时，不仅要考虑当前的实用性，还要考虑未来的实用性，并努力预见未来的优先事项、挑战和发展。

《更好的监管“工具箱”》强调了在项目/政策评估过程中识别和评估最重要影响的重要性。该过程包括首先绘制出所有潜在的相关影响，然后对可能重要的影响进行深入分析。根据该文件，主要影响大概分为三大类——经济、社会和环境。重大影响的选择是基于影响的相关性、绝对范围、对特定利益相关者预期影响的相对大小以及影响对欧盟横向目标和政策的重要性。需要密切监测的主要经济影响类别包括对运营成本和业务行为的影响、对行政负担的影响、贸易和投资流动、竞争力、中小企业的地位、创新和研究、公共当局、消费者或宏观经济环境；社会影响方面，“工具箱”建议监测对就业、工作条件、收入、分配、社会保护和包容、治理、公共卫生系统、安全、教育和培训、文化的影响以及对第三国的社会影响；环境影响方面，包括对气候、空气质量、水质、生物多样性、土壤质量、废物产生和回收、资源有效利用、可持续消费、国际环境影响、运输和能源使用、动物福利、环境风险预防的影响和土地利用。此外，可以反思基本权利方面的影响，例如尊严、个人自由、私人和家庭生活、言论和信息自由、个人数据保护、庇护、财产权、性别平等、儿童权利、行政和司法。

结论

本文旨在概述人文社会科学学术评价和影响创造领域的主要研究主题。现有的评价工具和方法不一定能反映跨学科研究的质量，也不利于鼓励跨领域和创新项目的发展，这就是许多学者之所以开始提倡引入新的评价标准和方法的原因。我们旨在确定这些用于评价人文社会科学研究的创新策略，以及研究人员在评价跨学科研究时面临的主要挑战和困境。结论是，虽然大多数新的评价策略仍需要重新塑造和付诸实践，但社会影响已被广泛接受为提高研究质量的工具。社会影响被越来越多地用于评价研究的潜力、推广和实际意义，因此是一种重要的评估机制，大部分资金都依赖于该机制。我们分析了评估欧盟项目社会影响的一些主要机制，强调了主要影响类别和评价工具。未来可能会使用同样的分类和评估过程，将其中一些策略用于评价研究文章和小规模项目。