知评价

首页 > 评价前沿 > 知评价 > 正文

衡量人文学科和社会科学学术活动的影响力

发布时间:2024-05-03 编辑:王译晗 来源:


摘要人文社会科学(SSH)的学术活动有其独特性,需要结合多种来源和方法以全面评估其对学界和非学界受众的影响。本研究旨在探索传统信息源与替代信息源在分析SSH研究特征及其影响力(包括社会、媒体、信息和政治影响)的有效性。同时,探讨人文学科与社会科学之间的影响力差异以及影响变量。研究结果显示,机构层面的信息源提高了本土研究的可见性,且其中开放获取的比例很高。替代信息源能够有效衡量社会网络、媒体、信息和政治方面的影响力。人文学科与社会科学在出版物收录范围(机构数据库中人文学科占比较高)、语言(人文学科中母语使用较多)、开放获取(社会科学中比例较高)以及通过 conCIENCIA 衡量的影响力(人文学科中高影响力的成果数量更多)上存在显著差异。此外,研究的国际化、更强的学术影响、社会科学专门机构的参与以及出版物的时效性,对于研究的社会影响力提升起到不同程度的影响作用。

关键词研究影响;社会影响力;人文学科;社会科学

引言

近年来,随着知识生产和传播方式的革新,关于新评估指标需求的讨论日益增多。《旧金山科研评估宣言》《莱顿宣言》 以及《计量潮流报告》等声明,均呼吁不能仅基于期刊的影响因子来评估科研成果,而是应重视期刊的影响力,并且考虑不同研究领域成果的具体特点。

就人文社会科学(SSH)而言,探索更加适合的评估指标尤为重要。与其他研究领域相比,SSH的研究实践有其固有的特殊性:研究对象通常具有地方性或国家性特征,使用地方语言,并且尽管国际期刊文章数量在不断增加,但研究成果通常主要通过书籍或书籍章节来传播。因此,SSH需要寻求适合自己的替代方法来衡量其研究活动和影响力。此外,SSH研究者往往不仅为学术读者撰写文章,还面向广泛的非学术读者,寻求更广泛的社会利益,因此收集和分析这类成果对社会的影响非常有价值。正如Giménez Toledo 所指出,虽然SSH的学术出版物依然是具体化的研究成果,但其背后对社会的影响和作用也应被充分考量,需要考虑多种维度和数据来源(如科研信息系统CRIS)。从这个角度看,与商业数据库相比,国家书目数据库(或CRIS)通常更全面,也更适合于文献计量分析

科学计量学界投入了巨大努力来完善SSH评估方法,开发了传统引文分析之外的替代计量指标。这些替代计量指标在SSH领域有着适宜的应用土壤。有研究发现,与自然科学相比,在SSH领域替代计量指标的使用更为常见。因此,学者们建议将这些指标作为对研究评估中引用指标的补充,为影响力评估提供新的视角。Altmetric指标的主要优势之一是可以衡量每篇出版物的重要性,而不必考虑发表该出版物的期刊的质量或知名度,这对SSH领域尤为有利。此外,SSH领域的研究存在极大的异质性,这为社交媒体分析提供了机会,为相关研究提供了新的视角。

基于此,本研究旨在从传统信息源和替代信息源分别收集数据,以西班牙国家研究委员会CSIC的成果为例,研究SSH学术活动的影响力。本研究认为替代信息源有助于了解公众对SSH的兴趣以及SSH学术活动的范围和影响。我们的起始假设如下:

(1)人文学科和社会科学的知识生产和传播实践有很大不同,因此它们的影响力和预期影响力也会不同。

(2) 揭示与出版物影响力相关的变量将有助于增强其社会影响力。

为了验证或反驳这些假设,我们提出以下研究目标:

(1)探索传统和替代信息源的有效性及其与学术影响和社会影响之间的关系。

(2)分析SSH活动模式及其影响力,并对人文学科与社会科学进行比较。

(3)研究可能影响SSH社会影响力的变量,及其之间的关系和相互作用。

来源和方法

文献计量分析

文献计量分析主要使用了以下信息源:Web of Science(WoS)、conCIENCIA(CSIC机构数据库)、Google Scholar、Unpaywall。CSIC是西班牙出版物数量最多的机构,WoS中检索到2017~2020年间CSIC出版物48,062份,其中SSH领域出版物1,035份。在conCIENCIA数据库中检索到了1,935份出版物,其中29%未被WoS收录,26%为书籍和书籍章节。根据检索结果,将所有文献分为三类:①WoS-art,即被WoS收录的文章,通常为国际性的学术期刊论文,被用来分析研究的学术影响力和被引情况。②C-art,即被conCIENCIA数据库收录的文章,其中包含了未被WoS收录的文章,可以提供对于本国研究成果的深入了解。③C-book,即被conCIENCIA数据库收录的书籍和书籍章节,因为在SSH领域,图书是主要的传播形式。文章的OA信息从Unpaywall查询获得。本研究从两个维度展开分析:①整体SSH领域;②人文学科与社会科学的对比。

替代计量分析

在获取了CSIC出版SSH出版物后,本文选择具有DOI的出版物进行分析,使用Altmetric.com和Overton工具提供的指标。选用Overton的原因是因为它索引了大量的政策文件。这些工具提供的数据让我们能够了解每种学术出版物在媒体和社交网络上的影响力。

本文分析了四个影响维度:社会网络影响力(通过Twitter衡量)、媒体影响力(通过新闻兴趣衡量)、信息影响力(通过维基百科衡量)和政治影响力(通过Overton衡量)

变量之间的关系

据四个影响维度(社会网络影响、媒体影响、信息影响、政治影响)和多个自变量,以存在/不存在(1/0)为因变量,构建了Logistic回归模型。自变量包括学术活动、主题专门化程度、国际合作、可获取性、Google Scholar影响力和出版年份远近,如下图所示:

结果与结论

科学活动的目标之一是促进知识进步,并确保研究的影响能够超越学术,触及社会不同层面。本文对CSIC的SSH出版物进行了充分研究,并得出以下结论:

文献计量分析

对具有DOI的文献进行的文献计量分析证实,WoS数据库具有强烈的国际导向,即文献多以英文出版且涉及广泛的国际合作。因此,使用包括机构数据库在内的多种数据源,以获取超越传统国际数据库的更广阔视角尤为重要。值得注意的是,C-art的OA比例相当显著高于WoS数据库的平均水平。WoS-art中有64%的文献是OA的,略高于2017~2021年西班牙总体的62%开放获取率。WoS收录文献的国际合作比例是conCIENCIA的两倍,C-art和C-book的国际合作比例较低。尽管WoS-art显示出高引用率和高影响力,但C-book也展示了高影响力(在conCIENCIA中73%-78%的文献被评为高影响力),在Google Scholar中的引用率也很高。

在不同数据库中,SSH的收录范围存在显著差异。WoS的收录较为平衡,而conCIENCIA的收录则相对倾斜,偏向于人文学科。这一现象可以通过人文学科更倾向于在国家层面期刊发表论文来解释。此外,还存在其他差异,如在英语出版物中,C-art中人文学科使用母语的比例最高;在OA出版物中,社会科学的比例最高;在Google Scholar的平均引用次数方面,社会科学明显高于人文学科,因为两个领域的引用习惯存在显著差别。

替代计量分析

传统文献计量指标主要反映的是学术影响,对其他方面影响的考量也同样重要,特别是社会影响。研究表明,SSH在Altmetric.com评估上的表现超过了自然科学。因此,从这个角度来看,Altmetric指标可以作为传统引文分析的有效补充,用作探索SSH研究在社会网络、媒体、信息和政治方面的影响力。

SSH的社会网络影响力十分显著,出版物在Twitter上的提及率从WoS-art的59%到C-art的23%不等。在Altmetrics相关研究中,Twitter被认为是最常用的替代计量来源。一些学者认为,Twitter之所以引人关注,是因为它在学术界之外被广泛使用,因此它似乎是探索公众学术兴趣的重要信息源。同时,Twitter也被学术界广泛使用,因此推文数量可以反映文章的学术影响。先前关于Twitter提及的研究表明,平均而言,社会科学领域约35%的文章至少被推文提及过一次,而人文学科文章的提及率仅为前者的一半。

媒体影响力显示,约8%的WoS-art在数字媒体中被提及,C-book为4%,而C-art为2%。尽管C-book的影响力较小,但也十分重要。这与Taylor的研究相一致,该研究分析了书籍和书籍章节在社交媒体上的影响及其与OA的关系(OA增加了提及次数),这一趋势也在我们的逻辑回归分析中得到了验证。

在影响力研究中,分析政治影响尤其有趣,Overton数据库有可能扩大研究的评估范围,实现更可靠的定量评价。使用Overton数据库还能够提高数据的准确性,并且有助于纠正Altmetric.com中通常被低估的政策文件引用数。因此,如Pinheiro等人所指出的,这一新的数据源是研究政策文件影响力的有力工具,对于SSH而言尤为重要。研究发现,SSH出版物在被Overton索引的政策文件中被引用的可能性最高,12%的SSH出版物在政策文件中至少被提及一次,反映了SSH领域的研究成果越来越多地受到政策制定者的关注

在社会网络、信息和政治影响维度上,人文学科和社会科学存在统计学上的显著差异,其中社会科学出版物有更高的比例表现出影响力。通过这种比较,我们的第一个假设得到了证实。然而,近期研究显示,不同学科的影响力可能存在显著差异。例如,就WoS收录文章的社交媒体提及度方面,经济学有32%被提及或讨论,社会学为49%,传播学则高达55%。这些研究表明,影响力与研究对象紧密相关,尤其是与科学传播和开放科学相关的领域,这些领域似乎对社会有着重要的影响

为了分析出版物对不同受众产生的影响,本研究在分析中使用了多个逻辑回归模型。分析结果突显了通过使用英语、被WoS收录或与外国机构合作来提高研究国际知名度的重要性。此外,OA文献和学术影响力强的文献也显示出显著的社会影响力。同样,来自社会科学专门机构的出版物和最新发表的出版物也能够在社交媒体上引发极大的关注

变量之间的关系

在分析中,我们发现某些变量之间存在协同作用。例如,由社会科学专门机构发布的出版物对增强C-art的影响力起到决定性作用,同样,Google Scholar中影响力高的出版物也具有类似效果。本文所有的统计测试均揭示了人文科学和社会科学在影响力方面存在一些差异(如假设一所示),本研究识别了有助于提高出版物社会影响力的变量,包括研究的国际化、更强的学术影响、社会科学专门机构的参与以及出版物的时效性(如假设二所示)。

总体而言,本研究表明,使用多种信息来源可以更有效地收集本地成果,获取国际数据库中未收录的其他数据,特别是那些与出版物的社会影响相关的数据,这对于SSH研究评估十分重要。

本研究为未来的研究奠定了基础,探索和评估了多种工具和信息来源,以便衡量SSH研究对不同受众的影响。替代计量指标可以作为学术影响评估的补充,并为同行评议提供支持。系统全面的分析将进一步促进SSH领域研究评估新指标的开发,突显SSH对整个社会的重要性。


(全文及参考文献见Palgrave Communications 2023年第11期,原文链接:https://www.mdpi.com/2304-6775/11/2/31,本期推文为节选摘编,略有删减和编辑。)




本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 |邓晨菲 金潇苒 王译晗

本期责编 | 邓晨菲

基地官网:https://statevalbase.fudan.edu.cn



·end·


下一篇

负责任的AI:ChatGPT和负责任的研究与创新

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433