
摘要:“叙事式学术简历”已成为新型评估体系中的重要工具,因其能够更全面地展现学术成果的复杂性及其所处的背景。本文进一步探讨如何在科学评估中利用计量指标构建支持学术简历的叙事框架,并通过数据来源、指标体系及实际案例,展示叙事文献计量学在不同评估场景中的应用,以推动计量指标的负责任使用,为评估者和研究人员提供参考。
关键词:负责任的计量学;评价计量学;叙事式学术简历;叙事文献计量学;数据库;计量指标;叙事
何谓叙事文献计量学?它可以被理解为“赋予计量数据合理意义的计量学”,即在逻辑框架下对原始数据进行合理解释和组织。换言之,叙事文献计量学鼓励研究者分析并合理解读各类指标,避免将数据割裂、孤立地呈现。该方法摒弃了传统评价计量学中的“机械计数”方式,即脱离背景地使用计量指标。描述性计量学通常基于长期积累的数据驱动分析,但本文提出了一种新的理解方式,即强调仅凭数字无法完整反映科研的价值和影响。叙事文献计量学通过揭示数据背后的故事,避免单纯展示计量指标所带来的过度简化,同时有助于减少学术界的不当行为,如指标操控或过度自引等。
在叙事文献计量学框架下,需要确立一系列原则,以确保分析的质量、相关性、可复现性及适应性。这类叙事应超越简单的数据展示,纳入能够全面体现科研贡献的要素。因此,关键要素包括:数据来源的透明性、研究贡献的独特性、对特定学科领域的适应性、背景呈现的合理性。相关建议详见下表。
基于计量指标构建并理解“叙事”的方法多种多样,且可能存在交叉,需要进行合理结合,以形成有力的学术论述和研究成果展示。以下介绍五种主要叙事方式,每种方式均提供了独特的分析视角。这些叙事方式涵盖从“定位叙事”,即在更广泛的学术框架中定位研究贡献,到“开放科学叙事”,即强调科研成果的开放传播。这些方式均有助于丰富计量数据的解释,使科研影响力得到更全面的呈现。值得注意的是,这些叙事方式主要聚焦于研究人员的个人贡献。此外,由于学术简历通常存在篇幅限制,因此需要对信息进行有效整合,以便评审人员能够准确理解研究价值。
2.1 定位叙事
定位叙事提供了比较视角,将科研贡献置于更广泛的学术环境中进行评估。其核心在于利用标准化指标,如类别标准化引文影响力(CNCI)或学科加权引文影响力(FWCI),衡量论文相较于同领域、同年度、同类型文献的影响力。此外,可结合文献数据库提供的排名信息(如四分位数、百分位数)来评估论文在特定学科领域中的重要性。同时,基本科学指标数据库(ESI)中的热点论文和高被引论文等数据也可用于支撑该叙事。
2.2 语境叙事
语境叙事强调研究成果在特定环境中的引用情况,分析论文被引用的方式和情境,以展示其在理论与实践层面的影响力。通过分类分析论文在不同部分(如引言、方法、讨论等)中的引用情况,可以判断其在理论争议、方法创新或实证研究中的作用。这一区分对评审人员尤为重要,有助于更深入地理解研究的学术价值及适用性。例如,Web of Science或Scite提供的语境计量指标可用于全面评估学术影响力。
2.3 应用叙事
应用叙事侧重于识别和描述应用研究成果的不同受众,包括个人、研究团队及机构。通过分析谁在使用这些成果,可以客观展示其实际影响。这对于理解研究成果在教育、社会、经济等方面的影响至关重要。例如,Overton等工具可以追踪论文在全球政策报告中的应用情况,如世界卫生组织(WHO)报告或欧盟战略文件。因此,该叙事有助于理解研究成果在科研生态圈之外的影响力。
2.4 受众叙事
受众叙事关注研究成果的传播范围及受众群体。除了量化指标外,还需进行定性分析,以明确受众特征。在新闻媒体中,需考察涉及的媒体平台及其受众范围。在Twitter等数字平台上,除了关注提及量,还需考虑互动者的粉丝数量,以评估其潜在传播范围。通过详细识别和描述学术界或媒体的受众特征,可为影响力分析提供重要维度。例如,Arroyo-Machado等讨论了该方法,并强调其在 X(Twitter)或Wikipedia等平台上的重要性。
2.5 开放科学叙事
开放科学叙事强调研究人员在开放平台上积极传播其成果。主要关注以下几个方面:论文是否开放获取(如格拉纳达大学的DIGIBUG,欧洲的Zenodo),以及存储库的使用数据;发表前是否已上传并传播预印本;是否开放共享数据(如数据集、软件等)。此外,还需关注这些数据是否符合特定标准(如FAIR原则)。除基本使用指标外,还可提供文件大小、共享量等相关数据,所有记录应附带持久标识符(如DOI、handle等)以确保准确识别。
叙事文献计量学采用了一种更加全面且具有情境依赖性的方法来评估科学研究。该方法不仅超越了仅依赖有限计量指标的传统做法,而且更注重通过系统性论证突出研究的多维度影响。在这一框架下,计量指标被视为工具,置于广泛的解释体系中,以促进对研究相关性和影响力的全面理解。通过将数据背后的故事与背景融入分析,叙事文献计量学能够更深入、细致地刻画学术工作的价值,推动更加全面、严谨的研究评估。这一方法有助于识别那些沿着非传统路径发展的科研活动及其影响,尽管这些研究的价值未必能通过传统计量指标充分体现(见图2)。
3.1 计量学指标
在叙事文献计量学框架下,计量指标被归纳为四个核心维度:
科学影响力:衡量一项研究在学术界的影响力及其相关性。主要使用基于引用次数的指标,以直接反映该研究在学术社群中的关注度及其被引用和使用的程度。
出版渠道相关性:关注研究成果发表的学术环境,综合考虑定量和定性因素。定量标准包括文献的科学影响力,而定性标准则涉及期刊的编辑政策、质量控制及其在特定领域中的声誉,体现出版物在研究评估中的背景意义。
社会关注度:衡量研究成果在社交媒体等公共平台上的传播情况,主要依据其在数字媒体上的提及和社交网络中的讨论度,以反映学术圈外的公众关注程度。
使用与可见度:关注研究成果的可获取性及传播范围。该维度通过直接衡量文献的下载量、在线访问量和分享情况,以评估其在数字环境中的扩散效果。
表6所列出的计量指标整合了支持叙事文献计量学的主要定量指标,涵盖上述四个维度。遵循 DORA 的建议,在评估过程中应综合使用不同维度的指标,并特别注意媒介相关性指标的使用,避免其过度影响研究评价,辅以其他类型的指标加以平衡。除了在叙事中整合来自不同维度的计量指标以确保叙事的一致性,还需深入探讨各指标背后的学术价值,以提供更丰富的背景信息,增强对研究影响力的理解。这一方法对于准确识别并理解研究成果的受众及其影响主体具有重要意义。
3.2 信息来源
与计量指标同样重要的是数据来源的多样性。近年来,科学计量学数据库的种类和数量大幅增长,同时计量学数据产品也趋向多样化。因此,我们可以按照数据获取方式和用途对信息来源进行分类(见表7和表8)。
在构建叙事时,主要风险在于错误地将计量指标和数据来源的多样性视为可以任意组合的资源,从而导致盲目追求最具说服力的叙事框架。叙事文献计量学的基本原则是基于证据选择指标,而非从指标出发构建叙事。因此,在使用指标时必须保持审慎,以避免混合那些不仅无法互补,反而加深相同信息的元素。叙事构建中存在两类主要风险:冗余和不一致(见图3)。
冗余风险:是指对计量指标的过度依赖,导致同一信息被重复表达,缺乏实际增益。这种情况通常表现为无节制地堆砌各类指标,而未能有效传递有意义的信息。
不一致风险:这一风险更为严重,表现为将缺乏背景关联性的计量指标混合在一起,构建出逻辑不通的“拼接式叙事”(即“Frankenstein 式”叙事)。这种情况的典型特征是使用来自不同数据库、不同计算方法或不同学科背景的指标,并试图将它们组合成一个完整的叙述,而事实上,这些指标在语境上并不兼容,甚至相互矛盾。
因此,在使用计量指标时,关键在于确保其语境适用性,并合理解释指标的适用范围和局限性。避免过度解释、误解或误用指标,是构建科学合理叙事的核心原则。
叙事文献计量学的理论框架定义了一系列核心原则,包括适用性、独特性、适应性、可比性和情境性。这些原则对于在多元学术环境下合理解读计量指标至关重要。通过将指标划分为四个关键维度(科学影响力、出版渠道相关性、社会关注度和社会互动),该框架与ANECA(西班牙国家质量评估和认证机构)所推行的增强型研究评估体系保持一致。此外,该方法并非试图取代基于同行评议的研究评价,而是作为补充手段,帮助评审者更全面地理解研究成果的影响力、相关性及贡献。
总之,本研究旨在推动计量指标的负责任使用,同时也为评估者提供了实用工具,并为更广泛的计量学研究群体提供了概念框架,以支持学术评估实践的持续优化和发展。
(全文及参考文献见Journal of Informetrics 2024年第18卷第3期,原文链接:https://doi.org/10.1016/j.joi.2024.101546,本期推文为节选摘编,略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 宋欣雨 王译晗
本期编辑 | 宋欣雨
基地官网:https://statevalbase.fudan.edu.cn
· end ·