
摘要:近年来,研究人员对文献计量指标的认知与态度已成为一个日益重要的研究领域。本研究针对这一议题开展研究,特别聚焦于哲学与伦理学这两个较少被探索的领域,并以在评估过程中广泛使用了文献计量指标的西班牙为研究背景。研究结合了两部分数据:一是来自201位研究者填写的调查问卷;二是对14位跟据所属机构、职业类别、性别及研究领域精心挑选的研究者进行的深度访谈。定量调查数据显示,研究者并不认为文献计量指标是质量评估的首选标准,尽管他们对多种指标的认知度较高。定性访谈数据则揭示了一种普遍的对指标使用方式的排斥态度,主要分为四种立场:(1)对计量逻辑的否定;(2)对使用定量方法评估质量的可能性的怀疑;(3)抱怨引入被认为属于其他学科的方法;以及 (4)批评这对哲学学科本身造成的后果。
关键词:文献计量指标;哲学;西班牙;研究质量;评估
文献计量指标在科学评估中的普遍使用已成为多种背景下和学科中的常态。尽管最初人文学科似乎因其认识论差异、研究实践、出版习惯和引用行为的特殊性而被排除在文献计量指标的应用之外,但如今这些指标也已被广泛用于这一领域。然而人们认识到,对于人文学科而言,研究评估指标的使用可能具有挑战性或存在问题。人文学科更强调国内热点,更多地使用本土语言,偏爱出版专著,倾向于单一作者,且面向非学术公众的出版物数量较多,这可能导致文献计量指标的使用效率低下或产生不平衡。人文学科领域广泛且多样的学科和身份认同也使得以定量方式衡量其质量十分困难。另一个困难是引文数据库(如Web of Science和Scopus)中人文学科的覆盖率较低。最后,关于在人文学科评估中使用文献计量指标的另一个核心议题也警告我们,这可能会对学科的特质产生影响。
专注于分析人文学科研究人员对文献计量指标认知的研究强调了许多方面。例如,研究人员对使用被认为属于其他学科的方法的批评、对研究质量量化方法使用的保留态度,或对不同领域之间共享的质量标准缺乏共识。人文学者也普遍感到沮丧。还有报告指出,人文学者对期刊如何提升指标表现缺乏了解。尽管有如此丰富的文献,人们对文献计量指标在人文学科评估中的使用仍然知之甚少,在哲学和伦理学等特定领域更是如此。
本研究的目标是回答一些关键问题:以西班牙为例,伦理学和哲学研究人员最了解和最重视的文献计量指标是什么?他们的主要担忧是什么?他们是否认为指标能够评估其出版物的质量,并能间接评估其研究的质量?
本研究将一项问卷调查和14次深度访谈相结合,以收集定量和定性数据。
2.1 问卷调查
研究人群包括在西班牙哲学和伦理学知识领域工作的大学研究人员,共计541名研究人员。该调查包括22个问题,其中21个是多项选择题,1个是开放式问题。这些问题分为四个主要部分:(1)信息搜索行为,(2)付费出版和开放获取的传播实践,(3)科学出版中的伦理,以及 (4)科学评估和指标,后者是本研究的主要焦点。
2.2 访谈
14名受访者根据隶属关系、专业类别、性别和学科领域方面的标准选出。受访者中有7名男性,7名女性,7名从事伦理学工作,7名从事哲学工作,包括三名研究员、两名讲师、五名高级讲师和四名正教授。
半结构化访谈平均持续35.30分钟。访谈围绕五个核心问题展开:(1)文献类型和首选出版语言,(2)同行评议,(3)付费出版和开放获取,(4)对研究不端行为的看法,以及 (5)文献计量指标和西班牙评估系统。随后,笔者对从访谈和调查中的开放式问题中收集的定性数据进行内容分析,根据提出的主题进行新的编码和分类。
3.1 对文献计量指标与出版物及其潜在质量相关性的看法
当研究人员被问及评估出版物质量考虑的标准时,他们将文献计量指标排在次要位置(图1):引用次数排在第五位(3.2分,满分为5分),期刊影响力指标排在第七位(3.1分)。文献计量指标的得分彼此之间非常相似,这反映了所获得答案的高度可靠性。尽管这些量化标准不是首选,但它们确实获得了略微积极的分数。较多研究人员对文献计量指标给予较高或相当高的评价。值得注意的是,评估出版物质量时最重要的标准是同行评议。哲学家们最喜欢的正是这种基于研究人员价值判断的定性和主观标准。期刊影响力指标并不是研究人员的首选标准,尽管对这些指标的总体评估是积极多于消极。
3.2 对文献计量指标的认识和评估
哲学和伦理学领域研究者对某些文献计量指标的了解程度高于预期。研究数据显示,研究者对指标的了解程度不一,明显反映出存在两种类型(图2和图3)。一方面,有四个指标(SJR、期刊影响因子、H指数和Citescore)被70%以上的受访者认为有价值,而对其不了解的受访者比例不到20%。特别是,如果我们将SJR的认知度与其他研究比较,比如Springer的调查结果中,有多达52%的人不知道这个指标,而影响因子和H指数分别只有5%和10%的参与者表示不了解,SJR的高认知度尤为引人注目。另一方面,有三个指标被受访者明确表示不了解(仅有40%的人认为它们有价值,而另外40%甚至不知道它们的存在),即RG分数(ResearchGate)、Altmetric分数和SNIP。


当被问及对这些指标的评价时,它们都没有得到研究人员的很高评价。但有四个指标得到了受访者的积极评价:SJR、期刊影响因子、Citescore和H指数。
最后,关于文献计量指标评估的数据使我们观察到,尽管研究人员表示他们不使用引用次数作为定义出版物质量的优先标准,但他们确实表现出了对西班牙科学评估中最常用的两个期刊影响指标(SJR和JCR)有良好的了解和略微积极的评价。
3.3 哲学和伦理学研究者对于文献计量指标使用的立场
3.3.1 积极态度:定性访谈中的例外
在整个定性评价过程中,只有两位受访者对文献计量指标的使用明显持积极态度,一位受访者可以归类为中立。具体而言,一位受访者将“采纳不能仅由同行小圈子控制的指标”描述为一种终结被称为庇护主义的学术体系的明确尝试。另一位则认为基于期刊引用指标的科研评估模式并无实质问题。
这些声音均来自处于职业生涯早期的研究人员。鉴于提及年轻人地位数据的研究似乎注意到该群体对指标有更大的偏好(或者至少是更多的使用和了解),这一点很重要。
3.3.2 批评声音:多数且不同的论点
哲学和伦理学研究人员在定性表达自己的观点时,大多对文献计量指标持批评态度,这些指标实际上与期刊级别的指标相一致。这些论点各不相同,但可以将它们分为四类中心思想:(1)对计量逻辑的否定,(2)对使用定量方法评估质量可能性的怀疑,(3)抱怨引入被认为属于其他学科的方法,以及 (4)对哲学学科产生后果的批评。其中批判的声音主要针对于文献计量指标在西班牙情景中的特定使用。
哲学研究的质量是不可“量化的”。哲学和伦理学研究者的主要论点集中在指出使用“定量”指数来评估哲学研究的“质量”的不足之处。
对质量定量评估的批评与其他研究不谋而合。一些关注生命科学领域研究人员看法的学者指出,该领域的科学家也讨论了这种情况,并指出“有些人强调,引用只能反映学术界内的影响力,并不代表质量的均衡指标”。
在人文社会科学领域,对量化质量的抵制似乎更加强烈。此外,调查年轻研究人员看法的研究指出,“艺术、人文学科和社会科学领域的ECRs(早期职业研究者)对依赖可量化的指标评价最低”。同样,在哲学领域内,也有对研究成果量化的反对声音。
本研究的参与者基本认同使用定量方法所产生的评估分歧。正如其他学者针对人文学科所指出的,对研究质量的含义以及如何(甚至是否有可能)对其进行衡量,存在严重的分歧。
批评也延伸到哲学领域内部。因此,一些声音认为当前文献计量指标的使用优先考虑(并催生)了某些部分。换言之,学者们认为这使得哲学专业内部的冲突更加激烈。
学者们观察到文献计量指标的使用对其学科产生了一些负面影响。这一观点与关于评估政策效应的文献相呼应。在此背景下,西班牙哲学与伦理学领域的研究者表示,评价体系以显著方式影响了研究行为:研究议程转变、出版实践改变(文献类型与出版语言)、对教学工作的忽视、学术不端行为的增加,以及最终对心理健康产生负面影响。
研究表明,在评估出版物质量以及间接评估研究质量时,文献计量指标并不是研究人员的首选标准。然而,尽管引用次数指标并没有被视为首选标准,但也能够看到研究人员在1到5的评分范围内对其给予了略微积极的评价。评价结果非常相似,表明学者们的判断具有相当的一致性,同时也证实了定量数据的可靠性。
这些数据并未反映出对定量测量指标的坚决拒绝,但另一方面,它们似乎表明文献计量指标在西班牙哲学领域的渗透率相当有限(至少目前如此)。事实上,研究人员将其置于其他标准之下。将这些数据置于西班牙评价体系的背景下是有意义的,因为该体系要求研究者必须在高影响力期刊上发表一定数量的文章,才有机会在其学术生涯中获得晋升。此外,西班牙的大学本身也经常鼓励并监测其研究人员的文献计量成果。尽管如此,这似乎并未成为研究人员决策的条件,至少他们目前是这样表达的。
同样,当被问及对指标的看法时,他们表现出对指标的良好认识,尤其是对期刊影响力指标的认识。尽管哲学和伦理学研究人员表现出如此程度的认知可能令人惊讶,但这些数据在一定程度上与这些领域现有的少数研究提供的数据相符。从这个意义上说,当被问及在人文学科不同领域的申请和简历中是否使用指标进行评估或自我推销时,Hammarfelt等人研究发现,“‘哲学、伦理学和宗教’领域的使用频率高于其他领域,平均为37%,而艺术领域的平均使用频率为32%或24%”。还值得注意的是,我们的调查数据侧重于研究人员的认知,特别是他们对指标在反映出版物质量方面的相关性的自我感知。调查显示,国家评价系统使用的指标不仅最能被识别,而且最受重视。在这方面,SJR是评价得分最高的指标(3.7/5),考虑到它在该领域期刊的更广泛覆盖,这是可以理解的。这些数据整体上可以被解释为,在西班牙的评估文化中,通过优先考虑这些指标,已经形成了一个社会和学术环境,即使是在艺术领域如哲学和伦理学的研究者,也意识到这些指标并了解其在他们所在环境中的重要性。
值得强调的是对指标的普遍拒绝,尽管这种拒绝更多地是针对这些指标的具体使用。与其说是文献计量指标本身引起排斥,不如说是它在西班牙哲学评价体系中的主导地位、它引发的不平衡以及对学科的影响。专门针对指标本身的见解非常稀缺,以指标驱动的评价过程更引人关注。西班牙的哲学和伦理学研究者认为,定性评价是评价其领域最合适的方法,这一立场普遍为人文学科所表达。当在调查中被问及哪个是最佳质量标准时,同行评议是研究者最为看重的,基于审阅和评价的定性标准恰恰被认为是学科所特有的。
简而言之,研究使我们观察到,批评或挫败感的根本原因与量化评估哲学质量的方式,以及被视为指标殖民化的现象有关。这再次引发了关于用数值衡量人文学科分支质量的复杂性以及呼吁建立一套自身共识标准的讨论,这是一个任重而道远的目标。
(全文及参考文献见Scientometrics 2022年第127卷,原文链接:https://link.springer.com/article/10.1007/s11192-022-04265-1,本期推文为节选摘编,略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 邓晨菲 王译晗
本期责编 | 邓晨菲
基地官网:https://statevalbase.fudan.edu.cn