谈评价

首页 > 评价前沿 > 谈评价 > 正文

如何改进同行评议?四种思想流派给出不同答案

发布时间:2026-07-17 编辑:王译晗 来源:


摘要:同行评议是学术出版体系的核心基石之一,发挥着至关重要的作用。目前,已有诸多举措旨在改进同行评议的组织方式,由此形成了一个高度复杂的同行评议创新格局。不同举措基于对同行评议体系当前最紧迫挑战的不同理解,也由此形成了关于如何改进该体系的多元视角。为更加系统地理解同行评议创新格局,本文提出,该格局主要由四种思想流派塑造:质量与可重复性流派、民主与透明度流派、公平与包容流派,以及效率与激励机制流派。各流派对于同行评议体系的核心问题及其所需的创新举措持有不同看法。这些流派在一定程度上相互补充,但本文认为,它们之间也存在重要张力。本文希望这四种思想流派能够提供一个有用的分析框架,促进围绕同行评议体系未来发展的讨论。

关键词:创新;同行评议;学术出版;思想流派



01

质量与可重复性流派


质量与可重复性流派关注同行评议在确保已发表研究具有高质量,并在可能情况下具有可重复性方面所能发挥的作用。该流派关注那些能够提升评议流程质量的同行评议举措,例如改进评议报告,并希望由此提升已发表研究本身的质量。相关创新包括评议人培训、使用检查清单、增加统计学评议人、公开评议人身份以及匿名化作者身份等。维护科研诚信、识别科研不端行为,也是该流派关注的核心问题之一。

质量与可重复性流派还关注同一稿件不同同行评议人之间的一致程度。较高的一致性通常被视为同行评议可靠性的证据。然而,相关研究显示,同行评议人之间的一致性往往较低。对此,一些研究者认为这表明同行评议难以可靠地区分高质量和低质量研究;另一些研究者则认为,评议人之间意见不一致并不一定是问题,因为不同评议人可能拥有不同专长,并从不同角度审视稿件。

过去十年间,研究的可重复性与可复制性受到广泛关注,也为重新理解同行评议的作用提供了新的视角。注册报告作为一种颇具前景的模式被引入社会科学和生命科学领域,以提升研究质量和可重复性。在这一模式中,研究方案会在数据收集和分析之前接受同行评议,并在原则上获得录用。与常规同行评议模式相比,注册报告有助于减少发表偏倚,例如偏好阳性结果、偏好新颖发现而非重复性或渐进性发现,以及偏好叙事清晰而非带有不确定性的研究。

采用注册报告模式的论文仍需接受同行评议,因为它们仍可能存在事先无法判断的问题,例如统计分析不当或推断缺乏依据。质量与可重复性流派还主张拓展同行评议的范围,使其不再局限于研究论文本身,而是延伸至研究数据和软件。随着数据同行评议的重要性日益提升,一些期刊已开始将数据集与论文一并评议。软件同行评议目前仍处于发展初期,例如CODECHECK体系,该体系用于核查支撑研究论文的计算工作流。


02

民主与透明度流派


民主与透明度流派致力于使科学研究评价更加开放、更具问责性。当科学成果评价向更广泛的人群开放时,同行评议便被认为更具民主性。提升同行评议的透明度,既被视为增强编辑和同行评议人问责性的方式,也能够使评议过程中产生的信息被其他研究者再次利用,帮助他们形成对科学成果优点与不足的独立判断。

在20世纪,期刊编辑在学术出版中长期发挥关键作用,包括与作者沟通、编辑稿件、邀请评议人评估稿件并解释评议意见。编辑主要依据学术标准作出决策,但也会受到页数、字数限制以及提升期刊指标等出版因素的制约。尽管编辑权力集中一直被认为存在问题,但这一模式曾长期较少受到挑战。过去二十年中,编辑越来越被视为不够民主的“守门人”;在数字环境下,出版前筛选和过滤的必要性也被认为有所下降。其核心问题在于同行评议体系中的权力分配,即如何将权力扩展至更多参与者。

仅审研究健全性的同行评议,是过去二十年同行评议领域最具影响力的创新之一。开放获取大型期刊如PLOS ONE和Scientific Reports采用了这一模式。该模式只将稿件的研究健全性和严谨性作为是否录用发表的依据,而不考虑创新性、重要性和相关性等其他方面。这正是推动科学成果评价民主化的一种体现,因为原本由编辑和评议人承担的创新性、重要性和相关性判断,被交由科研共同体完成。

不过需要指出的是,这种发展模式以及民主与透明度流派推动的其他改革,其民主化主张都隐含一个前提:存在一个由相关研究者组成的共同体,并且该共同体拥有足够的专业能力和资源参与学术讨论。这也为其民主性划定了隐性边界。

民主与透明度流派提出的其他创新举措,则集中于提升同行评议透明度。一种方式是将评议报告、编辑决策函和作者回复函与正式发表的稿件一并公开;另一种方式是公开同行评议人的身份。这类创新通常被称为透明同行评议或开放同行评议,目前已有越来越多期刊采用。支持者认为,开放同行评议在伦理上优于匿名评议,因为它能够增强评议人的问责性,减少有偏见或缺乏依据的判断;同时,评议报告本身也可能为读者理解单篇论文提供有价值的分析。

近年来,一些倡议进一步结合了民主与透明度理念。例如,部分平台采取“先发表、后评议”的模式,即先即时发表科学作品,再进行开放的、仅审研究健全性的同行评议。这种模式试图将同行评议从幕后筛选机制转变为专家批评与建议的过程。还有一些平台围绕预印本开展同行评议,推动社区反馈、开放评论和持续修订,使同行评议逐步成为一种更加社会化、社区主导,并与传统期刊体系相对脱钩的知识生产过程。


03

公平与包容流派


公平与包容流派强调,在同行评议中有必要采用更加公平、多元和包容的方法。该流派主张在同行评议体系中,尤其是在编辑和评议人等“守门人”角色中,实现不同研究者群体的均衡代表,从而建设更加多元和包容的研究体系。公平与包容流派特别关注基于性别、地理、种族和族裔等人口统计变量对研究者产生的偏见。同时,该流派还强调,守门人群体缺乏多样性,可能影响被生产和传播的科学知识类型。

公平与包容流派的一项代表性进展,是围绕“联合承诺推动出版中的包容与多样性”倡议所开展的工作。该倡议由英国皇家化学会牵头,并得到50多家出版机构支持。参与出版机构承认,来自代表性不足群体的作者、编辑决策者和评议人在出版过程中面临障碍,并承诺设定最低目标,以实现作者、评议人和编辑决策者的适当且包容性的代表性。作为这一倡议的一部分,一些期刊开始要求研究者提供其性别以及种族或族裔信息。

在具体行动方面,IOP出版社决定将其所有期刊的同行评议模式从单匿名(单盲)转为双匿名(双盲),这一举措值得关注。双匿名同行评议是指评议人和作者身份均被隐藏,有可能减少与性别、种族、原籍国或所属机构相关的偏见,从而形成更加公平的体系。IOP出版社似乎是自然科学领域唯一一个为旗下所有期刊采用双匿名同行评议模式的出版商。社会科学与人文学科采用双匿名同行评议的历史更长,这反映了对声望较低作者和机构以及女性作者可能遭遇偏见的担忧。近期关于“地位偏见”的研究表明,当作者身份可见时,评议人更可能偏向本领域知名研究者,这也被用来支持推行双匿名同行评议。

然而,关于同行评议中偏见的科学证据仍然有限。多数研究集中于性别偏见。一些报告认为,同行评议确实存在不利于女性作者的偏见;但也有大规模研究在控制混杂变量后,并未发现性别偏见的证据,甚至发现女性作者或含女性作者的团队在一些情况下成功概率更高。与此同时,也有一些规模较小的研究在生态学、经济学、微生物学以及个别期刊中发现了可能不利于女性作者的偏见。

需要注意的是,上述研究多为观察性研究,因此难以提供关于性别偏见的稳健证据。其主要限制在于缺乏关于稿件质量的客观测量。也就是说,许多研究实际上假设不同社会类别作者提交的稿件质量大体相当,但这一假设并未得到充分检验。相比之下,实验性研究并不受这一限制,但已有文献综述显示,实验研究并未发现明确的偏见证据。

因此,同行评议中的偏见仍是一个存在争议的问题。该领域需要进一步研究,不仅关注性别,也应关注地理、族裔和地位等其他变量。此外,迄今多数研究似乎反映了一种实证主义立场,即假设科学规范具有普遍性。引入互补的社会建构主义视角,例如女性主义传统中的相关观点,或许有助于更深入理解同行评议中的公平与包容问题。


04

效率与激励机制流派


效率与激励机制流派聚焦于简化同行评议流程,并激励科研人员参与同行评议。该流派关注同行评议体系所承受的压力:如今,寻找同行评议人变得越来越困难,这会减缓新科研成果的发表进程。每年以英文发表的论文数量巨大,而一篇典型研究论文通常需要2至3名评议人和一名处理编辑,其中多数人为期刊无偿工作,这给全球研究人员带来了沉重负担。“评议疲劳”问题日益突出,尤其是有证据表明,在日益超负荷的同行评议体系中,大多数评议工作由少数研究者承担。为减轻同行评议体系压力,学界和出版界推出了多种举措,以提升体系效率,并激励研究者为同行评议作出贡献。

可移植同行评议是提升同行评议效率的一种方式。当稿件被某一期刊拒稿后又投向另一家期刊时,可移植同行评议允许后一家期刊复用前一家期刊收集到的评议报告。出版商已开发相关流程,以支持旗下期刊之间复用评议报告,这一过程有时被称为级联转投。此外,也有一些跨出版商的可移植同行评议举措。2008年启动的神经科学同行评议联盟就是一个开创性案例,该联盟由多家神经科学期刊合作组成,旨在支持评议报告的跨刊复用。其基本理念是:如果一家期刊获得的评议报告能够被另一家期刊使用,就可以避免大量重复工作,并缩短发表延迟。

为简化可移植同行评议的实施,投稿系统服务商开始共同推进“稿件交换通用方案”。其目标同样是提升同行评议效率,尽管目前仍面临技术和文化层面的挑战。相关倡议指出,很多作者会将被拒稿件重新投向其他期刊,但评议报告通常不会在期刊之间共享,由此导致大量研究者时间被浪费在对未发表论文的重复评议和再评议上。

期刊独立同行评议可被视为上述发展的进一步延伸。Review Commons是该领域一项有代表性的倡议,它于2019年启动,由生命科学领域17种期刊合作开展。该倡议同样旨在解决同行评议效率低下的问题。其基本思路是:作者先将稿件发布在预印本服务器上,随后接受独立于期刊的同行评议;评议完成后,作者可以决定将修改后的稿件连同评议报告一起提交至参与Review Commons的某一家期刊。通过允许评议人评估研究质量,而非判断稿件是否适合某一本特定期刊,期刊独立同行评议能够加速并简化科学交流;评议报告在期刊之间转移,也有助于避免重复评议周期,减少评议人阅读和评估稿件所花费的时间。

效率与激励机制流派还发展了多项举措,以激励研究人员开展同行评议。这类举措通常通过提高同行评议活动的可见度和认可度来实现。Publons于2013年推出,是这一领域的重要进展之一。它不仅允许研究者在期刊政策允许的情况下公开评议内容,也允许研究者为通常不可见的同行评议活动获得认可。ORCID也开发了类似功能,使研究者能够在其ORCID档案中记录同行评议活动。其目标同样是通过认可评议工作来激励同行评议人。

此外,也有人呼吁向同行评议人支付报酬,将其作为对评议工作的直接认可。支持者认为,付费评议可能加快同行评议流程,并提升评议质量。但怀疑者指出,如果每份评议支付较高报酬,现有学术出版体系中的资金规模不足以支撑这一模式持续运行。


05

结论


为从结构化、系统化的角度理解同行评议创新格局,本文提出该格局由四种思想流派塑造,即质量与可重复性流派、民主与透明度流派、公平与包容流派,以及效率与激励机制流派。各流派对于同行评议体系的核心问题,以及解决这些问题所需的创新举措,均持有不同观点。这些流派在理念上具有一定互补性,但其观点差异也可能引发重要张力。

本文认为,四种思想流派都为理解同行评议体系面临的挑战提供了有价值的视角。要推动同行评议体系改进,需要充分考量四种流派的理念和发展愿景。本文希望相关讨论能够促进不同流派之间围绕同行评议体系未来发展展开对话。这样的对话或许有助于找到创造性方式,以处理流派之间的理念张力。我们认为,所有流派都将从中受益:它们不必彼此对立,而可以相互强化。

影响同行评议模式选择的关键因素之一,是这些模式与学术界认可和奖励体系之间的关系。可以说,同行评议作为支撑学术出版的机制,深刻影响着研究者的学术地位和职业晋升,这一事实也塑造了同行评议创新的不同路径。在期刊影响因子的推动下,特定期刊名称所承载的声望,常常影响出版商和编辑尝试期刊创新的意愿、替代性出版模式创建者的动机,以及作者接受不同同行评议方式的意愿。

不过,期刊在学术评价中的作用,如今已成为科研评价改革更广泛讨论的一部分。当前,学界正逐步减少对期刊影响因子等粗略指标的依赖,并推动更加“负责任”的评价实践。这一趋势正在获得更大影响力,也有理由被认为会影响关键行动者尝试新型同行评议方式的意愿。负责任评价实践的推进,也与学术界在公平、多样性和包容方面的努力相联系,这一点在关于同行评议的讨论中已经十分明显。与此同时,开放科学实践的发展势头也正在改变科研环境;同行评议作为科研体系的一部分,也可以采用更加开放的工作方式。上述更广泛的发展趋势——新的评价方式、公平多样包容举措以及开放科学实践——很可能通过复杂互动,共同影响同行评议领域的未来发展。

同行评议体系与科研体系更广泛发展之间的紧密关联表明,改进同行评议需要多方利益相关者协同行动。这些主体不仅包括学术出版商、技术服务提供商、学术学会、期刊编辑以及本文作者这样的元研究者,也包括科研资助机构、研究机构、政府组织及其他相关主体。各方协同行动应尽可能建立在对同行评议体系严谨、循证的理解基础之上。本文希望不同利益相关方能够进一步投入资源,深入研究同行评议体系,积极尝试新的同行评议模式,并推动更完善的同行评议实践与政策落地实施。

(全文及参考文献见Learned Publishing,原文链接:http://dx.doi.org/10.1002/leap.1544,本期推文为节选摘编,略有删减和编辑。)





本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 王萱瑜 王译晗

本期编辑 | 王萱瑜

基地官网:https://statevalbase.fudan.edu.cn





·end·



下一篇

学术晋升“罗生门”:评估的灵活性与隐藏标准探讨

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433