引文指标能够为研究评价提供规模化的证据基础，但主要反映学术影响，受时间限制，难以全面覆盖研究的原创性、严谨性及社会影响。在部分社会科学、艺术与人文学科中，引用实践和成果的表现形式也限制了引文指标的适用性。

大语言模型（LLMs）通过分析论文文本生成评价意见，有望克服上述不足。已有研究发现，模型评分与专家判断存在正向关联，但仍缺乏覆盖各学科、统一比较模型评分与引文指标的系统证据。

本文以英国2021年卓越研究框架（REF2021）为基础，重点检验：

2.1  样本与质量参考

REF2021由157所公共资助研究机构提交2014-2020年的优秀成果接受专家评价，覆盖34个评估单元。论文按原创性、重要性和严谨性进行综合判断，采用1-4星等级：国内认可、国际认可、国际优秀和世界领先。

本研究仅纳入期刊论文，并在每个评估单元中剔除10%的最短摘要，以减少因缺失、截断或信息不足带来的干扰。最终共收录107,212篇论文，涉及1,888个院系提交的单元；进一步划分研究组后，形成了2,971个分析群组，文中仍统称为“院系”。

由于单篇的REF评分已按规定销毁，研究使用的是此前获准接触个体评分时计算并保留的院系期刊论文平均质量分。如果一篇论文由多个院系提交，则采用这些院系的均值作为该论文的代表分。因此，论文层面的分析采用院系平均分作为单篇质量的替代指标，并非直接将模型分数与专家评分进行比较。

本研究还将模型分数和引文指标汇总到院系层面，与院系的REF平均分进行直接比较。

2.2 模型输入与评分方法

模型仅接受论文题名和摘要，编制系统指令则依据REF学科评审指南，围绕原创性、重要性和严谨性展开。选择题名与摘要作为输入，既基于已有研究发现，也考虑全文获取、处理成本以及实际应用的可行性。

ChatGPT-4o和4o mini对每篇论文分别进行5次非连续评分后取平均值，以减少同一输入多次输出带来的随机波动。优先提取综合评分；如果未提供综合分，则取三个维度（原创性、重要性、严谨性）的平均值。

ChatGPT-5 mini采用两种提示方案：一是仅输出1-4星之间的评分（允许小数），重复5次后取平均；二是先依次生成三个维度的分析与评分，再形成综合报告和综合分。由于成本限制，第二种方案仅执行一次。因此，ChatGPT-5 mini与4o系列的比较同时涉及模型和提示方案的变化，属于探索性检验。

2.3 引文指标与统计分析

研究通过DOI或题名将论文与Scopus数据库中的引文数据进行匹配，采用NLCS（Normalized Log Citation Score）作为比较指标。具体做法是，将论文的被引次数c转换为ln(1 + c)，再除以同学科、同发表年份的相应均值，以减弱极高被引论文对结果的影响，从而控制学科和年份的差异。NLCS为1表示论文的被引水平达到该学科、年份的平均水平。

引文数据分为两个时间段：2021年1-3月的数据代表短期窗口，此时论文的累计被引时间约为0-6年；2024年12月的数据代表中期窗口，几乎所有论文都已积累至少4年的被引数。后一期匹配的样本为105,049篇。这里所说的“短期”和“中期”是相对划分，并非严格统一的引文窗口长度。

统计分析采用Spearman秩相关系数及Bootstrap方法计算95%的置信区间，重点在于判断模型评分与引文排序的一致性。由于ChatGPT倾向于给出较高的评分，模型分数不应被视为对专家评分的直接估计，而只是排序或相对评价的指标。

3.1 4o略优于4o mini，重复与组合评分有助于改善结果

ChatGPT-4o在27个评估单元中的相关性高于4o mini，但差异通常较小。将全部论文的模型评分汇总后，两个模型与院系质量的替代指标的相关系数分别为0.420和0.416，合并两者的评分后相关系数提升至0.444。这一改善部分可能源于平均评分次数的增加，不能完全归因于模型之间的互补性。

在33个评估单元中，ChatGPT-4o的评分与研究质量呈正相关，其中31个单元的相关性达到统计显著水平；唯一的负相关单元是古典学，但其置信区间包含正值。因此，研究支持模型评分在绝大多数学科中具有指标价值，但尚不能断言每个学科都已获得确定的证据。

3.2 4o在多数领域优于引文指标，物理学例外

与短期引文数据相比，ChatGPT-4o在26个评估单元中的相关性更高；汇总相关系数为0.420，NLCS为0.223。与中期引文数据相比，ChatGPT-4o在21个单元中的相关性仍然优于NLCS，相关系数分别为0.419和0.227。这些结果表明，较长的被引积累并未削弱模型在整体评价中的优势。

根据95%置信区间不重叠的简化判别标准，ChatGPT-4o在两期引文中均表现出显著优势的学科领域包括：卫生相关专业、牙科、护理与药学、心理学、精神病学与神经科学、生物科学、农业、食品与兽医科学、计算机科学与信息学、工程学、建筑、建成环境与规划，以及商业与管理研究、体育与运动科学、休闲与旅游。

按同一判据，物理学是唯一显示引文指标相较于ChatGPT-4o具有显著优势的学科。其他学科的相关系数高低大多不能直接解释为已证实的显著差异。

3.3 5 mini总体表现更强，但优势取决于学科与分析层次

在生命与健康科学、自然科学与工程、社会科学、艺术与人文学科四大组别中，ChatGPT-5 mini两种方案的汇总表现均优于4o系列。两种方案总体表现相近，但在单次评分中，5 mini结构化报告方案更好；其单独维度分未优于综合分。

在论文层面的替代指标比较中，ChatGPT-5 mini在27个单元中优于中期引文。人类学与发展研究、古典学、历史学、哲学、物理学、公共卫生与卫生服务及初级保健、神学与宗教的研究中，只有物理学的置信区间不重叠，显示差异显著。相较短期引文，5 mini模型在31个单元中更优，但在古典学、哲学和物理学中，表现不如引文指标。

在院系层面，至少有一种5 mini方案在31个单元中，其相关性优于两期引文指标，除了历史学、哲学和化学（化学差距较小）。这表明，论文层面的模型评价结果不能直接套用于院系评价。

较高相关性并不等于直接测得论文质量。模型只依据题名与摘要进行推断，无法据此完成对全文论证、数据和研究过程的实质审查。看似合理的评价报告也不能替代专家核验。应用时，应将分数转换为待评集合中的相对排序，避免将其直接解释为REF星级。

质量参照存在潜在的数据泄漏问题。公开的REF院系信息可能进入模型训练数据，虽然输入时并未提供作者、期刊或机构名称，作者也认为模型直接连接相关信息的可能性较低，但无法完全排除。研究主题、新闻报道和重要发现等间接线索，也可能影响评分；较晚的训练截止时间可能使5 mini获得额外信息优势。

模型与专家可能共同偏好特定主题、方法或表达方式。摘要长度、语言结构、期刊声望线索及国家背景，均可能影响分数。模型也可能更擅长推测论文所属院系的平均水平，而非识别单篇论文差异。原文部分图中的数据并不独立，置信区间可能偏窄，因而显著性及“优于”的判断需谨慎。

研究还受到样本与方法范围限制：论文来自英国这一英语国家，不能直接推广至其他语言和知识体系；无摘要和极短摘要被排除，相关成果可能表现较差；比较对象仅为NLCS，其他引文指标可能得到不同结果；研究未检验评分进入实际决策后能否改善评价，也未测量其系统性后果。

因此，应用价值应结合学科、评价层次和任务目标判断。模型评分可为近期发表、引文尚未充分积累的研究提供补充证据，也可用于引文指标价值有限的领域。用于院系比较前仍须审查系统性偏差，避免将聚合后的高相关性误用于单篇论文或个人决策。

本研究为ChatGPT评分作为研究质量辅助指标提供了跨学科证据。4o较4o mini略有优势，后者成本效益更高；5 mini在探索性检验中进一步改善表现。相较NLCS，模型在多数领域，尤其是短期引文比较中具有优势，院系层面的表现更为突出。

这种优势应被理解为特定数据、提示方案和评价标准下的排序关联，而不是自动评价能够取代同行判断。较稳妥的方向是结合学科特点，将模型评分与引文证据、专家评议共同使用，并依据评价目标调整指令，持续检查偏差及可能的操纵风险。

本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 王萱瑜 王译晗

本期编辑 | 王萱瑜

基地官网：https://statevalbase.fudan.edu.cn