摘要：本研究邀请了全球排名TOP500大学的经济学、政治学、心理学和社会学系的学者列出其TOP3代表性成果。共有来自42个国家2,331名研究者参与调查。本研究收集了受访者的Google Scholar和Scopus个人档案，以获取其选定及未选定的文献。据此，本研究将研究者自评的代表性成果与研究者的文献计量数据相关联，实现主观评价与文献计量统计的对比分析。政治学与社会学受访者中，约30%的TOP3代表性成果未被Scopus收录，主要原因是其中大多为专著或非英文文献。自评TOP3成果的被引表现显著优于其成果平均水平，且发表期刊的影响力更高。但仅有40%的自评TOP3成果同时位列被引频次TOP3。自我评估能够提供补充文献计量指标之外的见解，有助于解决收录范围有限、忽视本土相关研究以及部分学科代表性不足等问题。
关键词：自我评估；引文分析；社会科学
学术成果通常由外部人员进行评价——审稿人与编辑决定哪些论文能发表于权威期刊，而其他研究者的引用则是衡量成果质量的主要文献计量指标。然而，作者往往对自身研究更为了解，例如数据的准确性，因为他们投入的时间远多于外部评价者。尽管掌握这类内部信息，学者却很少被要求对自身成果进行评估。
本文分析社会科学学者的自我评估。选择这一群体的原因在于，多项研究表明他们在文献计量评价中处于劣势地位。平均而言，社会科学学者发表频率更低，其研究在主流文献索引库中的收录情况也更弱势。他们更倾向于以小团队形式发表成果，且被引概率也更低。
为获取学者自评的代表性成果，本研究向全球TOP500所高校四大社会科学领域的逾3.2万名研究者发送了调查问卷。经济学、政治学与社会学属于典型社会科学，而心理学则处于中间位置：部分分支学科归属社会科学，另一些则更贴近生命科学。但在本研究中，本研究将心理学归为社会科学领域。
本研究依据上海软科发布的世界大学学术排名(ARWU)确定研究机构样本。该排名不采用声誉调查，而是基于高被引学者、Web of Science收录论文等客观科研指标。其方法与本文以文献计量为核心的思路高度契合。
本研究邀请研究者列出其认为最重要的三项成果。通过收集两千余名受访者的Google Scholar和Scopus成果信息，探究以下研究问题：
· 专著与非英文成果在受访者选定的TOP3成果中是否普遍存在？
· 社会科学学者选定的重要成果是否被Scopus收录？专著与非英文成果被Scopus收录的概率如何？
· 社会科学学者认为哪些索引或数据源能完整呈现其全部成果？
· 社会科学学者如何选定自身重要成果？文献类型、语言、发表时间及其他文献计量指标与该选择存在何种关联？
· 社会科学学者如何确定其最重要成果？这类成果在文献计量特征上与第二、第三重要成果存在哪些差异？
· 学者自评的重要成果是否与被引频次最高的成果相一致？
调查设置两道核心问题，问题A采用开放式形式，由受访者自评其2011–2020年间TOP3的重要成果，不限标准与文献类型；问题B用于获取完整发表清单来源，以构建准确学术档案。研究面向上海软科排名TOP500高校的经济学、政治学、心理学、社会学四大学科32,573名学者分两轮发送邮件，最终回收2,331份问卷，总回收率7%。地区与学科间回收率存在显著差异，大学排名无显著影响，样本代表性有限，后续将采用事后分层加权修正。
受访者来自42个国家，博士毕业于41国，均为副教授及以上资深研究者，背景多元且符合研究时段要求。研究依托Google Scholar与Scopus构建文献计量数据，前者覆盖全面，后者更为精准，84%的受访者拥有公开Google Scholar档案，其余通过调查信息来补充。结果显示，心理学学者年均发表量与被引表现最优，研究采用SJR指标衡量期刊质量，兼顾引文数量与期刊声望，为后续社会科学领域学术成果评价提供数据支撑与方法参考。
本部分围绕全球社科学者对调查中两个核心问题的作答情况展开系统分析，为构建学者文献计量档案与评估其代表性成果提供实证依据。问题B用于收集受访者完整发表清单的来源渠道，结果显示，超半数学者以学术索引数据库作为主要来源，其中Google Scholar占比最高，这与问题设计中将其列为示例存在一定关联；另有超过三分之一的学者通过所在机构主页提供发表信息，ORCID、Research Gate、Scopus等平台以及巴西Lattes等国家特色数据库使用比例相对较低，极少学者选择期刊类索引，这一现象与社会科学领域专著成果占据重要地位的出版特征高度吻合。
问题A要求学者提供2011—2020年间自评TOP3重要学术成果，设定该时段旨在保障引文统计可靠性、聚焦活跃研究者的近期成果。但实际回收结果显示，27%的受访者列出了至少一篇超出该时间范围的成果，部分源于对时间限制的异议或疏忽，也有部分是2021—2022年正式发表但2020年前已在线上线的成果，研究对此采取逐案扩展时间范围的方式进行处理。
在全部6,979篇TOP3重要成果中，17%未被Scopus收录，且未收录情况存在显著差异。从文献类型看，专著及专著章节未收录率高达72%，远高于期刊成果；从语言看，非英文成果未收录率达83%，英文成果仅12%；从学科看，经济学、心理学以英文期刊论文为主，未收录率较低，而政治学、社会学因包含更多书籍与非英文成果，未收录率超过30%。值得注意的是，即便部分学者拥有大量Scopus收录成果，仍会将未被数据库收录的成果列为个人代表作，说明数据库收录情况与学者主观价值判断存在明显偏差。
按照学者自评排序进一步分析发现，最优成果在引文与期刊质量指标上显著优于次优与第三优成果，且包含更多书籍类成果，未被Scopus收录的比例也更高，而非英文成果占比在不同排序成果中无显著差异。整体结果表明，单一数据库难以全面反映社科学者的学术贡献与成果价值，结合学者主观评价与多源数据开展研究具有重要必要性。
在系统分析社科学者自评重要成果的基本特征后，进一步探究文献计量指标如何影响学者对自身重要成果的主观选择，揭示量化指标与学者主观评价之间的内在关系。研究依托完整的学术档案，将学者自评的TOP3重要成果与其他成果对比，重点分析两大核心问题：哪些特征决定成果能否入选TOP3；以及入选后哪些因素使其成为最优成果。
为保证结果可靠，研究采用线性概率模型，在同一学者内部进行比较，有效控制个体产出、学科、职业阶段等干扰因素，模型纳入被引、作者数量、发表时间、作者身份、文献类型、语言及期刊质量等关键变量。
回归结果显示，被引是最稳定且影响力最强的指标，高被引成果更易被选为重要成果，且成为最优成果的概率提升更为明显，说明被引数据与学者主观判断高度契合。
作者数量对成果选择存在微弱负向影响，作者越多入选概率越低，但实际影响很小。
发表时间方面，新近成果更受青睐，与前文大量学者选择超出限定时段的新近成果现象一致。
第一作者身份显著提升成果入选与最优排名概率，体现学者对自身核心贡献成果的重视。
非英文成果的影响并不稳定，而专著呈现出独特规律：虽然专著在数据库中收录不足且较少被纳入TOP3，但一旦入选，被评为最优成果的概率大幅提高，反映出专著在社科学者心中具有不可替代的价值。
期刊质量指标SJR在Scopus数据中显著正向影响成果选择，表明学者同样重视发表期刊的学术声望。
针对7%的回收率可能带来的样本偏差问题，研究采用地区与学科加权进行稳健性检验，加权结果与基准回归高度一致，主要文献计量指标的影响保持显著，证明研究结论具有较强可靠性。整体而言，学者对自身成果的主观评价既受被引、期刊质量等客观指标影响，又保留对专著等特色成果的价值判断，单一数据库与量化指标难以全面反映社科领域的学术贡献与学者真实评价。
在明确学者自评TOP3成果平均被引表现更优后，本部分进一步验证其与被引TOP3成果的吻合程度。研究通过设置“调整系数”(对自评成果被引进行倍数修正)，观察自评成果在全部成果中的被引排名变化。结果显示，仅约40%的自评TOP3成果，在两大数据库的年份调整被引排名中均位列TOP3；即便将调整系数提高至3(大幅放大自评成果被引)，吻合比例也仅提升至约70%。
为确保结论稳健，研究还尝试未调整被引(不修正发表年份)与fractional被引(被引除以作者数量)两种方案，前者吻合度更低，后者仅在低系数时略有提升，高系数时反而下降。
整体来看，被引并非学者判断自身成果重要性的唯一标准，即便通过极端调整放大被引影响，自评TOP3与被引TOP3仍未完全重合。这一发现凸显了学者自评与文献计量评价的本质差异——文献计量以被引表现为核心，而学者主观评价还会纳入其他未被量化的价值维度，单一被引指标难以全面呈现学者对自身学术贡献的真实判断。
作者本人对自身成果的重要性往往拥有独特的理解——这种理解是同行评议或被引次数所无法捕捉的。为探究这种内部视角，本研究邀请社会科学学者对自身发表成果进行自评。在他们选为TOP3重要成果的文献中，有17%未被Scopus收录，其中绝大多数未收录成果为专著与非英文文献，这类成果在数据库中存在系统性的收录不足。
收录不全问题可能产生重要的政策影响。例如，土耳其公立高校的职称晋升严格依据学术索引数据库的相关规则。同样，国际排名机构也利用学术索引评估研究产出。由于部分学者自评的顶尖成果未被这些数据库收录，社会科学研究者可能被迫选择被索引收录的发表渠道，以获得晋升或提升所在高校的排名。这种压力会进而影响其发表策略，并可能降低研究成果的质量与多样性。
在研究方法上，本研究构建了一套将主观自评与客观文献计量指标相结合的新型数据集。本研究收集了学者自评的顶尖成果，以及所有受访者完整的Google Scholar和Scopus发表记录。通过对比被选中成果与未被选中成果的文献计量特征，本研究识别出影响自评选择的因素。本研究设计实现了自评与文献计量指标的系统比较，为构建更均衡的评价模式提供了新思路，尤其适用于社会科学这类标准索引难以全面覆盖的学科领域。
研究发现，学者自评结果与被引统计呈正相关关系。文献计量表现更优的成果更有可能被选为自评顶尖成果，但这并不意味着自评与文献计量指标完全一致。完全依赖文献计量数据，可能会忽视自评所能提供的宝贵信息。若仅使用基于被引的评价指标，那些因文献类型、语言或学科分支差异而被引较低的高质量成果就可能得不到应有认可。
部分研究评价体系采用知情同行评议模式，例如英国REF。在该模式下，由机构遴选最优成果，再交由同行专家组评审。但在此情境中，自评会受到对同行评分预期的影响，因此遴选结果无法完全独立反映研究者自身的判断。与之不同，本研究调查中的受访者在确定顶尖成果时并未受到此类策略性考量的影响，尽管其选择仍可能在一定程度上受到需求效应的塑造。
借助更完整的数据集，可构建基于作者自评的期刊计量指标。该指标可采用期刊层面顶尖成果占比——即在各学科与年份内，由作者本人认定为顶尖成果的文章占该期刊发文总量的比例。占比更高的期刊在这一以作者为中心的指标上得分更高，且该指标明确按期刊发文量进行标准化处理。重要的是，这一指标并非被引指标的替代品，而是与基于被引的评价方式结合使用，在那些作者认可但被引较少的成果评价中发挥作用。该指标的设计与验证需要超出本研究范围的数据支持。
除了提出基于自评的期刊指标外，本研究还可在三方面进行拓展。第一，本研究范围仅限于四个社会科学学科，可将调查扩展至其他学科领域，检验被引与自评之间较弱的关联等结论是否同样成立。第二，可通过补充调查探究文献计量指标与自评出现分歧的内在原因，由研究者对自身成果评价方式提供质性解释。第三，可由外部专家小组对自评结果进行评审，进而揭示自评与文献计量数据产生差异的原因，例如这种差异是否源于文献计量在评价研究质量时存在局限。
在研究评价中引入自评——无论是为期刊指标提供参考，还是为专著与非英文成果赋予权重——均符合《莱顿宣言》所倡导的负责任研究评价原则。该宣言强调保护具有本土相关性的研究、考虑学科间差异、纳入专家质性判断，并确保指标的持续更新。自评结果天然包含具有本土意义的研究，例如以本土语言发表的成果，同时也能反映受访者所在学科的多样性，从而体现学科差异。由于作者对自身成果具有独特理解，其自评可与专家质性判断形成互补。最后，若定期开展自评成果调查，所形成的指标将能够保证时效性。
(全文及参考文献见Journal of Informetrics,Volume 20,Issue 1,March，原文链接：https://doi.org/10.1016/j.joi.2025.101757，本期推文为节选摘编，略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 金潇苒 王译晗
本期责编 | 金潇苒
基地官网：https://statevalbase.fudan.edu.cn
