
摘要:随着生成式人工智能(GenAI)改变研究开展方式,传统学术评价方法也面临新的挑战。学界普遍认识到,以发表量和被引量衡量真正的学术影响力并不准确。GenAI能够加速文本性和计算性工作,却对社区参与、现场指导、团队建设等其他研究劳动影响有限,这使相关指标的可靠性进一步下降。这种不均衡影响可能加剧既有评价偏差。本文认为,评价改革应围绕两类“独特的人类贡献”展开:一类是“认知—伦理”贡献,即在承担责任的前提下作出情境化判断,例如决定相信什么、说明理由并为之负责;另一类是“社会—关系”贡献,即持续而有价值的人际互动,例如指导、教学、社区合作和信任建立。为支持评价改革,我们提出若干具体机制,包括修订版CRediT贡献声明、认可更广泛的成果类型、强化叙述型简历和第三方证明。然而,我们也承认,这些建议本身,尤其是依赖自我叙述的做法,也容易受到GenAI操纵,因而单独使用并不充分。如果人类对研究的独特贡献在于难以自动化的判断力和人际关系,那么评价就不能被简化为旨在减少人类评价投入的工具。因此,GenAI并不要求建立一套全新的评价体系。相反,它提高了回避这些要素的代价,而良好且合乎伦理的绩效评价从来都离不开这些要素。
关键词:GenAI;研究评价;伦理;学术评估
自2022年11月OpenAI发布ChatGPT,GenAI进入主流视野以来,学术研究者便成为最早的使用群体之一。早期报道中的使用方式主要具有“辅助性”或执行导向特征:研究者利用GenAI工具润色人工撰写的文本、编写或调试代码、总结文献,以及开展其他“支持性”活动。然而,当前研究者越来越多地将基于GenAI的高级工具用于“核心决策任务”,涵盖从头脑风暴、确定研究目标,到构思和设计实验,再到基于理论提出结果解释等环节。
此外,在稿件撰写方面,Anthropic的Claude等“前沿”大型语言模型已不再只是对人类撰写的文本提出修改建议,而是能够在相对有限的人工投入下,草拟出达到或接近发表质量的整篇论文。2025年,Sakana声称已生成首篇完全由大型语言模型自主驱动并通过同行评议的论文。技术进步很可能推动高度自主的AI系统得到进一步应用。这类系统正在或即将具备在极少人工协助下,独立完成从假设生成、数据分析到研究报告撰写的完整研究流程的能力。这可能使传统的人类研究角色转向新的互补性角色,例如AI驱动工作流的系统架构师或设计者、AI驱动处理环节的验证者,或AI产出的管理者。这一转变将引发关于署名、问责以及学术贡献本身如何界定的重要问题。
学术认可和绩效评价如何跟上这一变化?我们如何回答这一问题,具有重要的实践意义和伦理分量。随着GenAI承担越来越多传统上由人类完成的工作,有必要调整评价体系,使其能够反映这种新的劳动分工。本文认为,GenAI对不同研究任务产生的不均衡影响,进一步强化了长期以来关于评价改革的呼吁,并表明最值得推进的改革,恰恰是那些要求评价者投入更多时间和人类判断的改革,而不是更少。
过去已有诸多工具提升了研究速度和效率,那么为什么GenAI会引发担忧,并促使我们调整研究评价体系?
一个可能的回答是:早期工具主要自动化研究过程中的一个或多个离散环节,即将输入转化为输出的环节,例如计算器加速运算,统计软件运行分析。关键在于,在使用以往工具时,研究者仍需界定问题,并对结果作出批判性解释。相比之下,GenAI可以贯穿研究的各个阶段:从提出输入建议,如头脑风暴研究问题或协助设计问卷,到展开论证、分析数据,再到生成包含较为复杂的解释、理由、主张或论证的输出。此外,如前所述,这些工具在开展研究时正获得越来越高的自主性,即在技术上不再需要同等程度的人类监督或干预。这种活动范围的扩展和机器自主性的增强,再加上大型语言模型生成文本所具有的高度流畅性和说服力,使GenAI的影响力和能力远远超出单纯提升效率的范畴,并可能塑造研究方向、研究内容、执行方式、研究发现,乃至研究最终产生的社会影响。
尽管如此,GenAI对研究的影响并不均衡,而这种不均衡正是研究评价面临挑战的若干因素之一。不同研究领域在论文提交之前所涉及的可自动化或不可自动化工作,在数量和类型上均存在差异。不同领域在GenAI能够在不牺牲质量的前提下加快研究进程的程度上,也存在差异。在某些情境中,从最初的研究问题到最终发表,主要路径高度依赖文本工作,即通过阅读、综合、起草和修订来完成。在这些情境中,GenAI原则上可以加速或自动化几乎整个过程。然而在实践中,这些领域中GenAI输出的质量,仍取决于研究者指导过程并批判性评价输出结果的能力。因为识别有前景的研究方向、提出恰当问题、有效设计提示、发现薄弱之处,并对GenAI的输出作出有意义的评价,仍然依赖人类使用者的专业知识。
由于以文本为中心的研究具有显著的加速潜力,其与另一些研究情境之间的差距会进一步扩大。在后一类情境中,写作只是大量前期准备劳动之后的最后环节。这些劳动可能包括田野调查、标本采集、传感器校准、样品制备、机器操作,或主要依靠身体在场完成的观察。为GenAI出现之前的时代而设计的绩效指标,可能会无意中偏向那些大部分实质性工作发生在写作阶段的任务,而低估那些在任何人开始撰写文稿之前就已经完成了大部分工作的贡献。
GenAI能够为基于文本的工作流程,如论文起草、文献综合和质性分析,带来即时收益,也能够显著加快某些计算性工作的环节,如代码编写与调试、分析流程构建;但对于依赖面对面观察、关系性专业知识,或尚未以书面形式存在的特定文化本地知识的任务,其能够提供的帮助则较为有限。因此,GenAI融入研究过程可能会加剧评价偏差。那些研究工作最容易与GenAI整合并获得其支持的研究者,在传统指标下可能显得或变得极具生产力;而那些贡献依赖不可自动化劳动的研究者,则可能显得生产力较低。这并不是因为他们缺乏动力,或投入的有意义努力更少,而是因为他们的工作尚无法被GenAI自动化。
许多被广泛使用的指标,对于其本应追踪的实质性目标而言,都是并不理想的替代指标,这些目标包括创造力、严谨性、知识生产以及现实影响。由于指标比其本应衡量的深层品质更容易被追逐,它们可能激励研究者追求指标本身,而非追求真正的目标,即所谓的“测量—管理”问题。
GenAI的广泛采用,可能进一步削弱本就并不完善的学术绩效替代指标。如果GenAI能够在几分钟或几小时内辅助乃至独立起草高质量论文,那么在那些不需要采集新数据的研究领域,发表量可能会大幅上升。由此,主要基于原始产出数量对研究者或机构进行跨领域比较,将比现在更加缺乏意义,尽管此类比较通常还会叠加其他同样存在缺陷的指标,如期刊影响因子。考虑到GenAI对某些任务具有更高适配性,如前文所述,即便是领域归一化指标,如领域加权引用影响力,也难以有效应对这一问题,因为同一领域内的研究者并不会从GenAI中获得同等程度的收益。引用量也面临类似问题:GenAI使整理冗长参考文献列表变得更加容易。这不仅可能造成引用膨胀,而且那些已经具有较高可见度或高被引的论文,可能更容易出现在AI参考文献推荐系统中,从而加剧所谓的“马太效应”,即累积优势的不均衡分布。因此,评价改革比以往任何时候都更加必要,并且这类改革应涵盖更广泛的因素,而不能仅关注那些可以通过算法加速的要素。
扩展研究评价指标的呼吁并非新近出现。推进研究评估联盟和《旧金山研究评价宣言》长期以来一直倡导超越由发表、引用、期刊影响因子和h指数驱动的评价方式。但GenAI使这些呼吁具有了新的紧迫性。
研究评价的目的在于评估研究者的学术价值和影响力。在GenAI能力不断扩展的背景下,多样化的科研贡献应如何计入评价?我们认为,由于GenAI加速了学术工作中许多常规性环节,以及越来越多复杂性环节,研究评价应更加重视那些仍然具有独特人类属性的贡献。那么,何谓人类贡献的独特性?我们提出两个主要类别:
(1)认知—伦理。研究所需要的不只是生成看似合理的结果,还需要研究者基于知识和经验作出有依据的判断,决定哪些结果或解释值得信任,并说明其理由。研究还要求研究者为解释性判断提供正当理由,并最终对其承担责任。这种社会性和道德性的问责能力,仍然是人类的一种独特能力。尽管GenAI越来越能够生成复杂分析,甚至提出理论解释,但它无法判断一个统计上令人意外的结果究竟是否足以促使研究者修正某种理论承诺,还是更适合由数据收集过程中的特殊情况来解释,而这些特殊情况往往只有处于具体研究情境中的研究者才可能掌握。它也无法判断某项发现虽然在技术上成立,但若缺少依赖于深厚领域知识的背景化说明,发表后是否会产生误导。这类判断依赖于积累形成的学科知识、对数据产生具体条件的熟悉程度,尤其依赖于研究者愿意作出自己需要负责的判断。简言之,人类在研究中的认知与伦理贡献,包括在承担问责前提下作出情境化判断:研究者必须决定相信什么或维护什么,公开承诺这一决定,并在其被证明有误时承担相应后果。
(2)社会—关系。这类贡献是研究所依赖的持续性人类互动,但很少体现在广泛使用的评价指标之中。设想一位资深研究者花费数年时间,引导一位青年学者形成独立学术声音,并支持其职业发展。除其他方面外,这需要研究者就何时以及如何介入、何时退后一步,作出细致、情境化且因人而异的判断。这种动态过程依赖于一段不断演变的关系,而关系中的任何一方都无法完全控制其发展。社会—关系型贡献的其他例子还包括:一位学者长期扎根某个社区,由此形成的关系和承诺影响研究问题的提出以及研究发现的呈现方式;或者,一位团队负责人在协调合作者之间不同利益诉求的同时,维系共同的目标感。这类关系型贡献值得注意之处在于,其价值在很大程度上依赖于那些初看似乎是人类相较于机器的“弱点”或限制,即我们有限的认知和注意力资源。我们一次只能真正专注于一件事,至多也只是少数几件事。相比之下,AI系统的认知和“注意力”资源似乎几乎不受限制。因此,人类如何分配稀缺注意力,以及接受哪些权衡和机会成本的审慎决策,包括投资于哪些社会关系以及如何维系这些关系,具有独特且不可还原的价值。相应地,这些社会—关系层面的要素并非附加于“真正”研究之上的“软技能”补充,而是许多研究工作不可或缺的组成部分。缺少这些要素,严谨研究、技能传承和负责任的知识生产都将难以实现,因为它们本身依赖于对这些复杂社会—技术系统的持续维系。GenAI并不适合承担这类任务,至少在当前阶段,这些活动仍然具有鲜明的人类属性。
这两个类别并非穷尽所有情形,在实践中也可能相互重叠,但它们为评价者提供了比模糊的理想品质清单更具体、更可操作的参照。关键在于,每个类别中被重视的内容会因学科和范围不同而有所差异。例如,公共卫生项目中有意义的社区参与,可能不同于保护生物学中的社区参与;大型高能粒子物理合作组织中的指导策略,也可能不同于地方性数字人文项目中的指导策略。任何可行的研究者绩效评价框架,都必须充分考虑这些细微差别。
那么,对这类独特人类贡献的评价在实践中应呈现为何种形态?若干改革似乎具有可行性。不过,正如我们将要论证的,这些改革既没有一项是全新的,也没有任何一项单独来看是充分的。
(1)贡献追踪可以变得更加精细和系统。基于贡献者角色分类法或由其改造而来的修订版贡献声明,可以认可范围更广的独特人类任务,同时明确GenAI在成果产出中的作用。这样,评价所关注的就不只是产出了什么,还包括人类研究者与GenAI分别实际完成了什么。重要的是,这可以包括设计和实施具有创造性且严谨的AI工作流、验证AI系统或流程,以及确认输出或结果等活动。
(2)评价应认可同行评议论文之外更广泛的成果类型,包括经过整理且可重用的数据集、研究软件、可复现的研究方案、具有可操作性的政策简报以及教育资源等。这些成果都体现了不同参与者所开展的实质性工作。此外,鉴于认知与伦理贡献的重要性,伦理监督方案的制定也应得到更充分认可,例如提交给机构审查委员会、机构生物安全委员会以及机构动物照护与使用委员会的方案,因为这些方案为研究的伦理设计和实施提供了依据。
(3)叙述型简历等质性工具,可以使研究者描述量化指标所遗漏的贡献。尽管已有若干组织采用这类工具并取得了一定成效,但正如我们即将讨论的,在GenAI时代,将叙述型简历作为纠正易被操纵的量化指标的补救措施,本身带有一种令人不安的反讽意味。
我们提出的三项实践性建议值得推进,可作为评价改革的支撑性框架。然而,我们也认识到,这些建议并不充分。如果人类对研究的独特贡献依赖于无法还原为任何公式的情境化判断,那么对此类贡献的评价也必然如此。评估一位研究者是否作出了合理的解释性判断、建立了富有成效的指导关系,或以负责任的方式整合了AI工具,本身就是一种情境化判断。任何标准化工具,无论是指标、贡献者分类法还是叙述型简历,都无法充分捕捉这一过程。
GenAI能够生成极具说服力但可能具有误导性的文本,这进一步凸显了上述问题:它既削弱了量化替代指标的有效性,也使某些质性替代方案比以往更容易被操纵。因此,旨在识别不可还原判断的评价,本身也必须运用不可还原的判断。在实践中,这意味着评价者应直接考察研究者的推理过程,通过足够细致地阅读其研究成果,评估其是否妥善处理了复杂的解释性判断,而不是简单统计其产出的论文数量。终身教职评审中的推荐信,若撰写得当,本可支持此类质量判断,但这一实践并不稳定。
5.2 叙述型简历有所助益,但并非根本解决方案
即使在GenAI出现之前,叙述型格式也往往更有利于那些已经熟悉特定自我展示式学术写作传统的研究者。鼓励使用叙述型简历,可能使我们面临以一种可操纵工具替代另一种工具的风险,而前者甚至可能更容易受到操纵。因此,如果使用叙述型简历,则应通过增设专门部分加以强化,明确描述研究者的独特人类贡献,并说明这些贡献如何能够得到独立验证。指导、社区参与以及与研究参与者的关系,本质上都是人际性的;其质量只有在纳入关系另一方的意见后,才能得到恰当评估。来自被指导者、社区合作伙伴或研究参与者的信函,应比研究者本人在叙述型简历中的陈述具有更大权重,尽管这些信函也可能由GenAI撰写。指导成效,包括青年学者的职业发展成果和独立发展成果,也能比对指导风格的自我描述提供更具体的信号。关于社区参与和基于社区的合作关系的证明材料,应尽可能来自社区本身,而不是来自研究者对这些关系的自我叙述。
叙述型简历还可以通过增加关于AI专业能力的陈述而进一步强化。我们认为,即使相关工作在很大程度上得到AI辅助,能够产生社会价值的研究成果,例如挽救生命的治疗方法,也应计入研究者评价。一位将AI工具用于解决重大问题的研究者,确实对研究作出了真实贡献,也应被允许在叙述型简历中加以说明。
5.3 量化指标仍有一定助益
一位研究者在享有良好声誉、且以严格同行评议著称的期刊上发表论文的记录,是否应在绩效评价中被降低价值?答案远非如此。尽管单纯的发表数量理应比过去占据更低权重,例如各领域被视为突出表现的特定阈值应当作出调整,研究者也最好在相对比较中接受评价,但完全放弃这类指标,恐怕并不是回应其局限性的正确方式。相反,我们认为,量化指标应当由关于独特人类贡献的质性证据加以更好补充。任何一方面都不应被赋予过高权重。事实上,过度依赖质性叙述评价或推荐信,可能会使那些缺乏特权性社会网络,或在人际关系某些方面存在困难,例如由于神经多样性而面临相关挑战,但仍作出重要研究贡献的人受到不公平对待。另一方面,社交受欢迎程度或获得正面推荐信的能力,也并不能保证一个人能够为实质性研究增添价值。
我们认为,人类对研究的独特贡献在于:作出情境化的解释性判断,并为这些判断承担责任和问责,同时维系那些需要在场、诚信与信任的研究相关人际关系。这些贡献都不易量化。然而,同样的逻辑也适用于评价本身。长期以来,h指数、发表量和引用指标,使人们能够在一定程度上回避一些繁琐工作:真正阅读某位研究者的全部成果,与其指导的学生和合作者交谈,并邀请能够评估其研究质量和影响力的领域内独立专家。我们所概述的实践性建议,是改进评价的有益支撑框架。然而,没有任何工具能够完全替代评价者细致而情境化的判断:研读研究者的出版物,权衡其指导对象或合作者的证词,并对其贡献质量形成审慎判断。研究评价不能仅依赖成果价值,而我们所指出的独特人类维度,能够使评价者在产出特征看似相近的研究者之间作出区分。
这种方法成本高、速度慢,且难以规模化。但这与我们的核心论点是一致的。如果我们真正重视那些难以被自动化的人类研究维度,就不能通过旨在最小化人类评价投入的工具来评估这些维度。这种转向也可能激发新的创新与方法,通过改进归因模型,更有效地收集和理解此类贡献。基于指标的标准或许可以作为评价的第一步,但还需要更直接、可观察的评估。例如,观察研究者如何为自己的工作进行辩护、如何作出解释性判断,并辅以来自与其存在各种经受时间检验的研究关系者的广泛证词,这些关系既包括纵向关系,如导师—学生关系,也包括横向关系,如同事、合作者和独立同行关系。负责任的评价始终需要细致与审慎。GenAI最为显著地改变的是:过度依赖薄弱且易被操纵的量化替代指标,其根本性代价变得更高。
(全文及参考文献见Research Evaluation, Volume 35, 2026,原文链接:https://doi.org/10.1093/reseval/rvag020,本期推文为节选摘编,略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 金潇苒 王译晗
本期责编 | 金潇苒
基地官网:https://statevalbase.fudan.edu.cn