为推动研究评估进步而成立的推进研究评估联盟(Coalition for Advancing Research Assessment, CoARA)引发了关于同行评议与计量指标在研究评估体系中应如何平衡的激烈讨论。Luciana Balboa、Elizabeth Gadd、Eva Mendez、Janne Pölönen、Karen Stroobants、Erzsébet Tóth-Czifra及CoARA指导委员会对此进行回应，并表示 CoARA 致力于探索如何在研究评估中负责任地综合使用同行评议和文献计量学。

负责任的研究评估运动一直强调，过度依赖狭隘的出版指标并将其作为衡量研究质量和研究人员质量的替代标准是不可靠且不可持续的。众所周知，期刊影响因子、h指数以及其他引文指标的滥用，已对公平性、多样性和包容性、开放研究实践的接受度、心理健康、研究诚信及学术记录（如论文工厂、不可靠研究实践、单语主义等）产生了负面影响。

CoARA 作为最新倡议，旨在拓展对研究“卓越”的定义，并对其进行合理评估。为此，CoARA第二项核心承诺是：“研究评估应主要基于定性评价，其中同行评议是核心，同时辅以定量指标的负责任使用。”

这一承诺似乎成为了科学计量学界部分学者的争论焦点。2023年，西班牙格拉纳达大学的一些学者指责《研究评估宣言》(DORA)和CoARA存在“文献计量否认主义”。

这一指责受到了CWTS莱顿学者Alex Rushforth、DORA 和 CoARA的强烈反驳。然而今年初，国际科学计量学与信息计量学学会（ISSI）主席也表达了类似的担忧，他认为这会导致 CoARA 的研究评估体系“不健全”。

这些担忧似乎源于某种恐惧和误解：一方面是对科学计量学及其从业者地位受威胁的恐惧，另一方面是对 CoARA 关于定量指标价值立场的误解。本文旨在澄清 CoARA 对定量指标使用的立场，并希望能够消除科学计量学界的担忧。

过度依赖评价性文献计量学对学术界造成的负面影响已有充分的证据支持。如果跨学科评估的难题以及因“发表or淘汰”机制所导致的评估劳动力短缺问题，仅通过计数指标来解决，那么复杂的研究活动、议题和成果将会被简单化为一组数字，而不能体现对研究成果的真正参与。这不仅不利于学术研究的发展，也无法确保研发资源得到合理的投资和分配。

此外，这些评价性文献计量学数据主要来自于Scopus、Web of Science这样的数据库，而这些数据库和系统通常不透明，并且不受学术界的控制。相较之下，只有同行评议完全能够由学术界掌控，具有更高的独立性。

尽管同行评议被视为许多研究评估形式中的“黄金标准”，但这并不意味着同行评议不存在问题。同行评议在质量、准确性、可重复性、效率、公平性、透明度、包容性和参与度等方面面临诸多挑战，这在CoARA倡议中也得到了承认。CoARA倡议提到，需要“解决任何评估方法中固有的偏见和不完善”。

问题在于，许多人只关注第二项承诺的前半部分，即同行评议是评估的核心，而忽视了后半部分，即同行评议应辅以负责任的定量指标。事实上，在定量和定性因素之间取得平衡对于实现负责任的研究评估至关重要。这也是CoARA量化指标工作组和学术生涯评估工作组的核心关注点，后者已经发现，70%的大学希望能够在研究评估中平衡好定性评估与定量指标。这同样是CoARA负责任研究评估中的SCOPE 框架的核心考量之一。

挪威职业评估矩阵为各个层级评估中的定量指标分量绘制了清晰的适用范围：

来源：NOR-CAM——学术职业认可与奖励工具箱

在进行较低层级的评估（例如对个人的评估）时，若仅依靠科学计量学，那么会在资金分配、职位及奖励等方面产生颇多问题。在此类情境下，应优先采用同行评议（当然，还需考虑学科之间的差异，以及不同学科的出版惯例及其评估影响）。而科学计量学在用于更高层级的评估（如国家/大学层级）以及对学术活动的宏观把握中，问题则相对较少。显然，仅依赖同行评议进行评估是不现实的——这也不是CoARA所提倡的。

无论采用何种研究评估方法、无论是否涉及科学计量学，CoARA的第二项承诺均强调定性专家评估的核心作用。大多数科学计量学者对此完全赞同。他们通常在提供定量评估的同时，辅以对这些评估的定性解释，定量评估很少会单独存在。

即便如此，过度依赖所谓“负责任的”科学计量学也可能对研究评估生态系统产生负面影响，因为这会产生连锁反应。如果在更高聚合层级（例如全球大学排名）中过度依赖文献计量指标，那么虽然这些指标可以用于了解国家层面的科研活动，但一旦与某些晋升标准挂钩，则可能会导致其被不当使用。这一点在由科学计量学者撰写的《莱顿宣言》中的第9条已被明确指出。该宣言呼吁评估者“认识到评估与指标的系统性效应，因为指标会通过其建立的激励机制改变系统”。CoARA之所以如此强烈地强调同行评议的核心地位，正是为了响应科学计量学界最初的指导。

在推动研究评估改革的过程中，至关重要的是共同努力，避免让微小的分歧演变成重大争议点。CoARA开展的关键之一在于通过相互学习和交流，促进评估实践的改进，将定性和定量方法有机结合。在这一框架下，我们乐于与任何科学计量学者讨论他们对第二项承诺的担忧，但同样重要的是要认识到，这只是十项承诺中的一项（CoARA十项承诺见文末）。所有承诺都至关重要，需要作为一个整体来考量。鉴于其他九项承诺似乎未引发争议，我们可以合理地期望，科学计量学界会将这些承诺视为推进研究评估改革的有效途径。

事实上，研究评估改革运动离不开科学计量学者的参与，而科学计量学者也同样需要研究评估改革。这类改革能够借助科学计量学者的专业知识，明确指标在改革中的适当作用。事实上，已经有部分科学计量学者的态度发生了转变。此前他们曾指责CoARA否定文献计量学，但现在，他们开始关注开发“叙述性文献计量学”（narrative bibliometrics）方法，将定量文献计量学分析与定性叙述方法相结合。

同样，科学计量学者最终也会在评估改革中受益，因为他们的所有学术贡献都将被纳入认可和奖励体系，并得到更公平、更合理、更加全面的评估。

实现成功的关键在于团结一致，而非各自为政。希望本文所提出的观点能够为科学计量学界提供一些澄清与信心，这是我们在汇集专业知识、共同推动研究评估改革中的重要一环。

(原文链接：https://blogs.lse.ac.uk/impactofsocialsciences/2024/09/04/the-role-of-scientometrics-in-the-pursuit-of-responsible-research-assessment/，本期推文为节选摘编，略有删减和编辑。)

本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 宋欣雨 王译晗

本期编辑 | 宋欣雨

基地官网：https://statevalbase.fudan.edu.cn

· end ·