知评价

首页 > 评价前沿 > 知评价 > 正文

扩大数据库收录范围,是否有助于人文社科研究评估?

发布时间:2024-03-22 编辑:王译晗 来源:复旦智能评价与治理


摘要:本研究旨在分析将Emerging Source Citation Index(ESCI)用于研究评估的潜力。鉴于ESCI扩大了出版物的收录范围(主要为社会科学),本研究提出以下问题:收录范围扩大了多少?这对影响因子有何影响?所有学科的影响因子是否都有明显上升?是否可以将其用于评估?研究结果表明,伦理学、诗歌、文化研究或亚洲研究等子领域借助ESCI其可见性有所提高。虽然从科学层面来看,ESCI似乎并未改善影响力评估,但可以为微观和中观层面的评估提供相关信息。由于它包含高被引文献(前1%和前10%),因此在WoS核心集合未收录的很多学科中,使用ESCI可以提高对单个团体或机构引文分析的完整性和质量。对于诗歌、文化研究或亚洲研究等子领域,建议定期进行研究,以分析影响力的变化。

关键词:ESCI;人文社会科学;文献计量指标


01

引言


汤森路透在2015年推出的Emerging Sources Citations Index(ESCI),收录了正在评估中且有望被收录进Web of Science(WoS)的期刊。通过增加ESCI的地域覆盖,以及加强对非英语文献的收录,以便进一步与竞争对手争夺市场。

据科睿唯安称,设立ESCI的初衷包括:1) 提供更多数据以支持研究评估与分析;2) 扩大对人文社会科学(SSH)领域数据的收录;3) 收录更多重要的本土性内容;4) 通过索引更多高质量的数据,发现新兴研究领域和科学发展的新趋势。另外,该数据库还旨在为正在评审中的期刊提供信息,以便未来将其纳入其他索引或《期刊引证报告》(JCR)。

正如近期研究所述,ESCI收录了超过7500种新期刊,是WoS发展的一个重要里程碑。从2017年开始,ESCI期刊的引用情况被用于计算影响因子,并且可以通过科睿唯安InCites工具获取包含这些新期刊的文献计量指标。鉴于ESCI的受欢迎程度日益上升,用户需要了解其收录范围及其对检索结果的影响。尽管ESCI是个较新的索引,但科睿唯安提供了该数据库自2005年起的期刊数据,这对分析ESCI索引期刊在过去15年间的变化非常有帮助。

自ESCI推出以来,WoS上已有超过30项研究对其进行分析,大部分研究关注特定期刊的案例分析,少数研究讨论了涉及收录范围的一般性问题。这些研究结果显示,尽管扩大地域覆盖是ESCI创建的初衷之一,但在实际情况中,以英语为主的期刊仍然占据主导地位

对ESCI收录期刊的主题分析揭示了SSH的主导地位,这为WoS核心合集数据库带来了新的补充。另外,ESCI的收录标准与其他传统索引并不完全一致。相关研究指出,对于期刊的历史和传统,或其是否已被其他引文数据库收录,ESCI似乎并未特别看重,而这些因素通常被视为期刊进入WoS的前提条件。

围绕质量和影响力的研究对于确定ESCI能否作为评估工具至关重要。尽管被纳入ESCI的期刊可能会吸引更多优质稿件,但关于间接评估(即基于期刊而非文章本身质量的评估)有效性的讨论仍在持续。此外,鉴于大部分评估机构都倾向于积极评价被WoS收录的期刊,并且ESCI处于接近这一门槛的位置,因此分析这一新数据库中的出版物概况与质量显得尤为必要。目前,仅有少数研究涉及质量问题,而且仅有极少数研究深入探讨了ESCI对特定学科,如图书馆与信息科学或教育学的影响。

鉴于ESCI在扩大SSH出版物收录范围方面的显著作用,本研究旨在探究这一数据库在SSH领域中的价值。为此,本研究提出以下目标:1)深入分析ESCI对不同学科领域的收录范围;2)评价ESCI期刊在学科领域层面上的影响力;3)讨论ESCI在不同评估层级上的重要性。最终回答以下问题:按学科领域来看,收录范围扩大了多少?这对影响因子有何影响?影响因子是否因其明显上升?是否可以将ESCI用于研究评估?

02

研究方法


2.1 学科集群

ESCI是本研究的主要数据源。由于本研究主要关注SSH,根据学科特点,SSH被划分为两个主领域(社会科学和人文学科),和九个子领域(如表1)。

2.2 信息检索

鉴于WoS自2005年起提供ESCI数据库信息,因此在所有字段和子字段中检索了2005年至2018年列出的文献。

2.3 数据分析

首先,为了比较ESCI中出版物的数量和主题分布,将ESCI与WoS收录的其他索引进行比较,计算了数据库之间的重叠度。同时,按文档类型对ESCI中的出版活动进行了分析。

为了分析ESCI在不同学科领域的收录范围,综合考虑了2005~2018年间出版物数量的变化。

为了分析引用影响力(即引用量),将研究时间范围限定于2005~2012年,以确保引用窗口(截至2019年)的全面可靠性。前期研究表明,在生物医学、物理学和某些生命科学等领域,计算影响因子使用2年时间可能足矣。而在SSH领域和数学领域,大多数论文需要更长的时间才能得到认可和引用。

03

结果与讨论


3.1 收录范围扩大了多少?

分析数据显示,就学科领域而言,SSH期刊明显占主导地位

对ESCI收录范围的分析揭示的一个主要结果是,文献数量随着时间推移而增加。2005~2018年,ESCI出版物数量的增幅超过了WoS核心合集。出版物数量的增长与索引期刊数量的增长正相关。在2015年11月创立时,ESCI收录了82个国家出版的2400种期刊。到2017年1月,该数字增加到102个国家的5534种期刊,期刊数量增幅超过100%。2015~2019年间,期刊数量增幅最大的是社会科学引文索引(SSCI),约为20%,科学引文索引(SCI)的期刊数量保持稳定,艺术与人文引文索引(A&HCI)的期刊数量有所下降。

对于SSH领域的深入分析显示,艺术类期刊的数量急速增加,在2005~2018年间增长了9%,这可能是由于2005年列出的期刊数量较少。其他更综合的领域,如经济学、商业与管理、教育与信息、人文学科的增长率在6%~7%。这些领域在ESCI中的变化与在WoS核心集合中有明显差异。特别是艺术学科,在WoS其他索引中下降了1%,此外在WoS核心合集中,人文学科、教育学和经济学的增幅分别为1.9%、3.2%和5.3%。

尽管ESCI出版物数量明显增加,但这些期刊的影响力仍有待探讨。有研究表明,ESCI期刊的可见性(以是否被摘要索引数据库收录为衡量标准)远低于WoS核心合集或Scopus索引的期刊。对图书情报科学领域期刊的研究表明,ESCI的影响力整体低于SSCI中同类别的期刊

3.2 对影响因子有何影响?

为探究ESCI对影响因子的影响,本研究分析了截至2012年发表的论文,以确保足够周期的引用窗口。如图所示,虽然2005~2012年的影响力非常低,但它们在首年和最后几年大幅上升。虽然高被引论文的比例逐渐增加,但比例仍然很低。2005~2012年增长最为显著(前10%)的SSH领域是艺术与综合、区域和社区问题、伦理学、哲学和宗教。

3.3 对学科引用有何影响?

关于第三个问题,即引用对学科的影响。研究显示,人文学科子领域之间的差异更大,社会科学子领域之间差异相对较小




3.4 是否可以将ESCI用于评估?

针对评估的有效性问题,调查结果表明, ESCI显著提高了期刊覆盖率,特别是在SSH领域,同时提高了小众专业的可见性。但是,收录期刊的影响力似乎并不是很高

对于InCites用户而言,是否需要将ESCI纳入其文献计量分析有待探究。ESCI可能会不同程度地改变研究评估的结果:宏观层面(国家或地区层面)的评估预计只会出现很小或是微不足道的变化,尤其是对于在WoS核心合集中代表性最强的国家,例如美国和英国。这两个国家在ESCI的出版物数量上持续领先,但与此同时,西班牙和拉丁美洲等国家的影响力正在增加。西班牙和其他拉美国家可能会从ESCI的扩展中受益,这种影响在语言层面也将更为明显。微观层面,对个人或团队出版成果的分析可能会有明显变化。在组织(中观)层面,这将取决于所研究的领域或分类及其在ESCI中的覆盖程度


04

结论


研究评估机构日益依赖国际数据库来衡量机构和个人的产出、影响力及知名度。这也解释了为何自ESCI推出以来,围绕其作为评估工具价值的讨论不断增长,在西班牙等国家尤为明显。随着ESCI中SSH期刊数量的显著增长,评估机构开始将这一来源纳入评估标准中。

从本文研究结果来看,ESCI扩大了SSH收录范围,在很大程度上填补了WoS核心合集的空白,提升了新学科领域期刊的知名度,并且收录了核心合集中未充分收录多语种和多地区的出版物。尽管如此,由于图书仍然是SSH领域知识传播的主要工具,因此很大一部分成果仍然是不可见的。因此,尽管ESCI期刊是分析出版物收录范围的有价值来源,但到目前为止,ESCI在影响力衡量方面尚未显示出同等的重要性

那么,什么情景下我们可以使用ESCI来衡量SSH的影响力

虽然ESCI似乎并没有优化影响力衡量方面的评估,但是这一引文索引可以为微观和中观层面的评估提供相关信息,这涉及到作者、团队、机构乃至一些SSH研究领域。鉴于ESCI收录了大量高被引论文,在许多未被核心合集索引的学科中,使用ESCI可以提高特定领域个体、团队或机构引文分析的完整性和质量。因此,本研究建议对成果较少和引用量较小的学科进行定期研究,以分析影响力的变化,因为ESCI中的数据对研究变化十分敏锐


(全文及参考文献见Journal of Informetrics 2020年第14卷第4期,原文链接:https://www.sciencedirect.com/science/article/pii/S1751157719304067#sec0005,本期推文为节选摘编,略有删减和编辑。)




本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 邓晨菲 宋欣雨 王译晗

本期责编 | 宋欣雨

基地官网:https://statevalbase.fudan.edu.cn



· end ·

下一篇

如何开展负责任的学术评价?淡化指标,强化质量

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433