在传统可信度评估机制遭遇危机之际，自动化研究评价工具对学界带来冲击。1990年以来，期刊发表论文数量激增，同行评议的承载能力面临巨大压力，2013-2016年间，审稿人接收和完成审稿比例低于50%，显示出“审稿人疲劳”的迹象。新冠疫情进一步推动稿件投稿激增，同时削弱了审稿人的可用性，形成了全面的“同行评议危机”。此外，学界普遍认为可重复性危机正在加剧，尤其在多个领域，复制成功率较低。为了提高可重复性，期刊和资助机构推动涉及数据共享的开放科学要素。随后，数据、代码共享等开放科学要素也逐渐被赋予“可信度信号”的功能，成为评价研究可靠性的标识之一。

GenAI的大规模可获得性及能力提升，使不诚信研究者能够以前所未有的速度和便利伪造论文内容，包括文本、图像、数据和代码。而掠夺性期刊随时准备发表这些“发现”。假论文泛滥阻碍系统综述，加剧可重复性危机。面对同行评议、可重复性与伪造科学交织的危机，开发自动化评估工具的动机空前强烈，相关项目迅速发展。

然而，科研评估工具并非客观仲裁者。鉴于危机的社会技术性质，必须预判各方利益如何改变工具的实施与解读。历史表明，指标常被去语境化、重新用途化——如期刊影响因子从图书馆采购工具被抽象为“学术影响”的衡量标准，进而误用于评价文章和作者。AI评估工具同样面临被抽象化后滥用的风险，需通过批判性话语实践加以审视。

在展开具体案例分析前，有必要先就机器学习模型在科学研究评估中的应用作一背景性说明。监督式机器学习模型分为两类：自动化判断型和预测优化型。自动化判断型模型基于人类对特定标准的判断来训练，能够提供更一致的结果。例如，自动作文评分工具利用教师评分的数据，推断出判断模式，表现出比人类更高的一致性。因此，这种模型在科研评估中被视为对人类和自动化同行评议的一种改进。

相对而言，预测优化型模型则依赖于历史数据，自行发展出预测规则，目标是提高预测准确性。例如，用于评估社会科学研究可重复性的模型在准确率上具有优势，通常被认为是评估同行评议认知地位的重要依据，如是否能预测发表后的引用量。

尽管两类模型的区分未必总是清晰，但厘清其主要目的仍很重要：自动化判断型关注一致性，预测优化型关注准确性。在机器学习研究中，替代指标的选择标准本就常受质疑；若置于伪上升推理的框架下，这种认识论上的脆弱性则更为凸显。因此，凡借助预测优化型机器学习模型评估科学的研究者与利益相关者，都须审慎以待。

在用于评估科学的预测优化机器学习模型中，采用“虚假上升”进行推断的条件十分普遍，这至少源于三个原因。首先，训练数据包含“卓越性”、“严谨性”、“可复现性”等规范性标签，其衡量标准容易引发代理变量适配性争议。其次，模型输出在不同语境下高度可移植，用户极易将其误用于更广泛场景。第三，机器学习模型需要海量数据支持，这促使设计人员倾向于选择那些以数据集规模而非认识论契合性为优化目标的度量指标。

所谓“虚假上升推断”，是指某一指标原本针对特定目的设计，但随后被抽象化为更一般性的概念，并进一步被用于超出其认识论适用范围的其他目的。例如，某一用于判断重复研究是否达到原研究结果的指标，可能被错误提升为衡量更广泛意义上“研究可信度”的指标。

以评估研究“可重复性”的预测优化模型为例。这类模型发表于《美国国家科学院院刊》，以开放科学合作组织关于96项心理学重复研究的数据作为训练基础，并根据论文文本和统计信息等特征预测研究是否能够重复。基于论文特征进行预测，准确率在0.65至0.78之间，相较其他评估方法表现出较高的一致性。然而，将“成功重复”界定为重复团队的主观判断，这一做法未能反映基于“总体证据”方法所强调的累积证据。

开放科学合作组织报告了多种操作化重复的结果，其中包括总证据方法：

在考虑一个优先关注预测准确性的框架时，我们需要探讨其中隐含的可用认识资源。这些资源为何在识别和应对虚假上升推理方面显得不足？对预测优化的机器学习模型来说，关键的目标是使其在准确性上超越人类专家。研究表明，某些机器学习模型的预测表现确实优于传统人类判断，反映出它们在特定情境下的可靠性。因此，我们需要深入理解这些模型的优越性，以及它们在面对复杂推理时受到的限制。

在讨论预测优化机器学习模型的“可靠性”时，外在主义认识论为我们提供了一种有趣的视角。根据这一理论，当一个信念通过可靠的认知过程形成，并且该过程能够产生高比例的真实信念时，这个信念就被认为是合理的。从外在主义认识论视角看，如果机器学习模型通过可靠过程产生高比例准确输出，则可以被视为具有知识上的可靠性。表面而言，这与当前通过测试集预测准确率评价模型性能的实践相一致。表面上看，这种外在主义的理解与评估机器学习模型性能的实践相吻合，即通过其在真实数据集上的预测表现来进行评价。

与外在主义认识论不同，实用主义认识论将科学工具（不仅仅是理论）视为实现特定目标的可靠性基础。在这一框架中，测量、方法、仪器等工具的有效性是依据其在具体情况下的具体应用来判定的。例如，不同的消费者价格指数（CPI）测量方法在不同的目的下表现各异。生活成本指数允许消费者用便宜商品替代贵商品，而拉斯佩尔指数则追踪固定商品篮子的成本变化。这两种指标准确性反映了它们各自服务的目的，选择应由其在特定用途下的可靠性驱动。

从实用主义的视角看，某个机器学习模型或某种测量方法在特定目的下可能被视为可靠，但在其他目的下可能并不适用。此种区分对于揭示和诊断虚假上升推理尤为关键。例如，某些研究者选择复制研究中的测量标准用于评估与原研究的一致性，这在特定目的下显得理想，但他们却试图将这一标准推广到一个更为广泛的抽象概念上，从而导致不当使用。

然而，实用主义在实施上也面临挑战。如果其不能提供关于何种测量、模型或工具适用于特定目的的明确理论依据，那么这一框架仍可能显得不够完善。在针对错误上升推理的讨论中，实用主义虽然有助于提供判断可靠性的背景知识，但在某些情况下，科学共同体的成员即使拥有相同的证据和逻辑标准，却仍可能得出不同的结论。

为了解决科学家之间对于测量、模型或工具适用性的争论，可以借鉴程序性客观性理论。按照这一理论，科学共同体应推动批判性论辩，使得各方的观点和证据能够得到有效的交流与反馈。Longino提出，程序性客观需要满足四项社会认识论条件：建立允许研究者公开交流研究成果及批评意见的平台；要求科学家回应批评并修正观点；建立共同认可的推理标准；促进不同社会、经济和政治视角参与科学讨论。

总之，实用主义认识论与程序性客观性理论的结合，可以为学界在讨论机器学习模型及其应用于特定目标的可靠性时提供有力支持。由此，笔者进一步提出“批判性实用主义”（Critically Engaged Pragmatism）作为科学共同体应遵循的一项规范。其核心并非简单否定AI科研评估工具，而是要求科学共同体持续追问：工具究竟服务于何种目的，其设计、训练和输出是否适合这一特定目的，以及模型的使用过程中是否产生了脱离语境、重新用途化等认识论问题。科学家无论作为工具的开发者、使用者还是利益相关者，都应对相关批评作出回应。与此同时，AI工具开发者应透明、完整地报告工具的设计、训练和基准测试过程，以便科学共同体评估其针对特定用途的可靠性，以及其对错误、偏见和操控的易感性；相关透明报告标准也应随着新的错误、偏见和操控方式出现而持续更新。由此，AI科研评估工具不再被视为科学可信度的最终裁判，而成为科学共同体持续批判、检验和修正的对象。

这一框架不仅能揭示和诊断由于虚假上升推理所引发的推断错误，还能为批判性话语互动提供必要的社会资源。这种方法将有助于全面理解AI工具的局限性，并确保不同社会、经济和政治视角下的声音被纳入到科学实践和讨论之中，促进科学和技术的健康发展。

20世纪中期，Science、The American Journal of Medicine等期刊通过同行评议来管理编辑工作量。然而，随着稿件数量的指数级增长，以及对研究重复性和AI伪造科学的担忧日益加剧，审稿能力面临巨大压力。当前，对可扩展的科研评估工具以及为评估AI科研评估工具建立的认识论框架和规范的需求，已前所未有的迫切。

本文指出，学界在应对日益增长的评估压力时，曾有过倾向于去情境化的历史，往往将不适当的可信度标记移植到新的环境中。与此同时，AI科研评估工具同样可能受到“虚假上升推断”的影响，这一现象源于人们对科学规范性、这些规范在不同目的之间的迁移性，以及技术上对数据集规模而非认识论契合度的优先关注的分歧。

为了应对这一威胁，笔者主张将实用主义认识论与程序性客观性相结合，形成一种具有社会认识论基础的框架，以促进科学共同体围绕AI科研评估工具的用途及其特定用途下的可靠性展开批判性讨论。在这种认识论框架下，科学规范作为抵御当代威胁、维护“经认证知识扩展过程”的制度性屏障。

因此，笔者提出“批判性实用主义”这一规范，强调学界需要审视AI科研评估工具的应用目的及其在特定情境下的可靠性。为促进这种批判性参与，AI工具的开发者必须透明、完整地报告其设计、训练和基准测试的细节，以便于有效地评估其针对特定用途的可靠性、对不同类型错误的易感性以及潜在的偏见。同时，AI科研评估工具透明报告的最佳实践不应固定不变，而应随着新的错误类型、偏见形式和操控策略出现而持续更新。

本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 王萱瑜 王译晗

本期编辑 | 王萱瑜

基地官网：https://statevalbase.fudan.edu.cn