知评价

首页 > 评价前沿 > 知评价 > 正文

如何开展负责任的学术评价?淡化指标,强化质量

发布时间:2024-03-15 编辑:王译晗 来源:复旦智能评价与治理

摘要:随着科学共同体的快速发展和资助获取的愈发紧张,学者们面临的压力不断攀升。在此背景下,我们应重新评估知识成果及其管理机制,反思如何改进招聘、晋升程序和评价方式。当前,知识已经沦为一种商品,过度的学术量化和成果评价,以及出版行业的乱象使学术评价变得不可持续。本文提议落实现有评估原则,并制定新的指导方针来解决这些问题本文提出“负责任的科学评估倡议(IRSA)”,旨在深化学界以往的评估倡议,实现更高质量的学术评价,关注更优质的科学研究

关键词:评估;影响因子;同行评议;政策;计量痴迷




“急躁的科学”:知识

是否已沦为商品?




多年以来,学术界的结构和文化发生了根本性的变化,自由思想和批判思维不再是许多大学的核心价值观。相反,管理策略、市场利益以及官僚主义影响了学术文化。大学的现代化是必要的,应鼓励大学与社会进行更密切的互动,科学进展评估同样是追求科学进步的基础,但这些活动不应阻碍大学对于知识文化的生产与传播

毫无疑问,研究生产力评估对于如何分配有限资源(如资助和职位)是必要的。但是,当前的学术评价高度依赖用于衡量学术质量的数字指标,以及对即时性知识生产的刺激。例如,衡量科学出版物通常基于其发表所在期刊的量化数据。此外,许多资助申请书要求提交大量“初步成果”,用于证明所申请项目实际上在获批之前已近乎完全执行,从而确保可量化的学术成果。我们将这一现状称为“急躁的科学”(源自Harrison提出的“急躁的资本”,用于描述投资者对快速财务回报的增长渴望)。



最大的障碍,正是我们自己




受这一急躁风气的影响,学者们不得不在高影响力期刊上快速且频繁地发表论文,科学出版物的数量以每年接近9%的速度增长也就不足为奇。科学信息的爆炸式增长,导致学者们难以投入必要的时间和精力去阅读并充分理解这些出版物。随着知识变得更加易于获取,学者们的阅读却变得越来越浅薄,过多的非学术活动使得学术阅读变得更加匮乏

“急躁的科学”导致了整体研究质量的下降。结果之一是产生了更多渐进性发现而非颠覆性发现。同时,迫于发表压力,许多不可靠的数据被生产出来。例如,高影响力期刊中因行为不当而被撤稿的文章数量增加,以及缺乏可重复性的现象激增。“急躁的科学”很可能是近年来学界出现学术欺凌、职业倦怠和其他心理疾病的核心原因。

除了影响知识生产的质量,过度竞争和发表压力使编辑出版市场乱象横生。学术出版成为了一项极具价值的业务,其利润率远高于大多数经济实体——因为出版公司不需要向研究人员支付“原材料”的费用,论文发表前的同行评议也近乎免费。出版成本可以由论文的读者支付,或者在“开放获取”模式下,由作者在论文发表前自行承担。

不可否认,开放获取有其优势,使得被发表的科学知识能够为全球任何人无限制地获取。但这也带来了一些负面影响:一是近年来掠夺性出版的快速增长,同行评议几乎完全缺失或缺乏可靠性;二是开放获取出版的真实成本鲜为人知且缺乏监管,著名期刊可能收取远高于市场价值的出版费用。本质而言,“急躁的科学”推波助澜了这一现象。此外,越来越多的期刊转向采用专业的内部编辑,而非让科学家作出决策,导致一线研究人员对期刊在科学和财务决策方面的话语权式微。

本文认为,解决这一问题的关键,在于学者应开展两种迥异且互补的行动:一方面,重新思考学术过程及其评价,避免“急躁的科学”,重点关注研究质量和真正的知识增值;另一方面,尊重学者在学术出版渠道方面的选择权



“学术量化痴迷”背景下的

学术评价反思




当前,通过指标来衡量学术贡献已成为一种普遍现象。对量化指标的过度关注“培养”了一批在各种指数上表现优异而不注重探求科学本身意义的科学家,即Sorokin所描述的“学术量化痴迷”

期刊影响因子(JIF)由Eugene Garfield提出,目前由Clarivate Analytics管理,是当前期刊量化中最常见也最具争议的指标。尽管JIF的计算方法十分简单,但存在透明度不足、可复制性差以及可操纵的问题。尽管存在这些问题,JIF仍然被学界视为判断特定期刊质量的代理指标。其实,问题并不在于JIF本身,而是在于我们的使用方式——过度的学术参数化和量化痴迷往往是由学者自身导致的

为了克服JIF的局限,学界提出的解决方案包括h指数、g指数、特征因子、SCI期刊排名等。尽管这些新的科学计量工具进行了一些改良,但量化痴迷的问题不能仅通过引入新的指标来解决,因为这些指标正是导致量化痴迷、损害学术质量的核心原因。计量指标应作为评估的辅助工具,不能直接用于判定研究人员的声誉和研究质量,也不能决定他们的职业发展,这些都需要专业同行对其研究进行深入理解和定性评估。但定性评估的难点在于,尽可能迅速和有效地比较数十个或数百个提案需要花费大量精力和成本。

因此,应在定量评估和定性指标之间取得良好的平衡。同行评议的批判性意见须成为资助决策的核心,并与更高质量的代理指标(例如关注成果本身的指标)以及评议专家对于成果相关性和独创性的主观看法进行综合分析。学界应认识到,专业同行审稿人的主观判断是一个强有力的价值指标。主观判断的形成中可以借助定性信息来提供辅助,例如要求被评估者提供5篇代表作或对其主要科学发现进行描述。这并不是复杂化本已繁重的同行评议,而是提倡在资源分配中更高效地利用时间,进行更高质量的修订。可以通过认可和奖励同行评议专家的辛勤工作来实现这一做法。

“急躁的科学”和“量化痴迷”的另一个原因,与学者对研究成果发表渠道的选择偏好有关。学者在知名“品牌”期刊上发表研究成果,至少在社交媒体头条上,可以增加对其出版物的即时关注。这促使出版商创建更多这样的平台,例如创建与其成熟期刊具有相同品牌的“子刊”。“子刊”通常定价高昂,更加关注市场价值而非学术价值。

为了减少掠夺性、低质量的出版物,遏制定量痴迷趋势,我们呼吁学者重新考虑研究成果的出版渠道。一是可以在正式出版之前使用预印本服务器发布文章,促进原创研究的共享。当前预印本在学界还不够普及,其来的机遇与挑战仍需讨论。从这个意义上讲,在经过同行评议的期刊上发表成果仍是可取的,特别是鉴于同行评议对稿件质量的提升作用。二是在期刊选择上,研究人员应当优先选择与科学协会有关联的期刊,因为这些期刊至少有部分出版利润可以用于支持与研究相关的事业。与科学协会的紧密联系还有助于确保期刊重视学术利益而非市场利益。此外还有那些由公认的科学家担任编委会成员的期刊,能够为每篇投稿选定最佳的同行评审人,保证期刊发展方向清晰通过优先选择由活跃科学家担任编辑的、得到科学协会支持的期刊,学者可以在一定程度上扭转当前量化痴迷的趋势

“急躁的科学”同样影响了知识获取的过程和基础科学的发展,因为这涉及对未知不确定性领域的探索。在“急躁的科学”的影响下,学者越来越被迫提供能够证明其想法可以被立即应用的证据,即使是在寻求公共资金支持时也是如此。因此,必须重视、优先考虑并保护基础研究。政府机构应设立稳定、有专项资助的基础科学计划。科学家们必须团结起来,共同捍卫基础研究。此外,基金评审专家和同行评议专家应尽可能识别和突出真正具有创新性的基础科学。



新的倡议:负责任的

科学评估倡议(IRSA)




为了扭转急躁现象,促使研究充分发挥潜力,本文发出面向学者的“负责任的科学评估倡议(IRSA)”,以改进学术评价现状,内容如下:

(1)支持并宣介《旧金山科研评估宣言》、《莱顿宣言》、负责任的研究与创新运动、The Metric Tide报告。注重质量评估而非量化指标评估,并在您所在的学术社区、科学协会和资助机构中传播这些理念。

(2)提高同行评议质量。在担任审稿人时,尽可能提供最佳和最客观的评估意见,注重提升论文和研究的整体质量。在为投稿论文筛选推荐审稿人时,优先选择权威专家。揭露不当的同行评议行为或掠夺性出版行为。支持旨在奖励和认证同行评议的政策。思考并讨论开放同行评议的优缺点。

(3)尊重学者的开创性发现。引用原始文献,避免仅以综述文章作为参考。认可做出原创发现的科学家。在资金和招聘决策中关注核心科学发现。

(4)在学术评价中促进质量评估与科学计量指标的结合。重视学术研究本身的价值,而不是发表期刊的影响因子。认识到计量指标在评估中的缺陷,思考能够改善学术质量评估的新方法。在使用与质量评估相关的衡量标准时,优先考虑关注个人工作的衡量标准,而非仅关注期刊指标的衡量标准。

(5)向编辑是活跃科学家且在该领域内享有盛誉的期刊投稿。在选择期刊时考虑其声誉以及学术编辑和编委会的资格,以确保高质量的同行评议。请勿支持将利润置于知识之上的掠夺性期刊。要考虑版面费资金的受益实体,优先考虑与科学协会有关联的期刊。考虑开放获取成本问题,并使用预印本平台促进可持续的开放获取。

(原文链接:https://www.scielo.br/j/aabc/a/gZ7MfbHTB3Bdc5X45Z5NhKN/?format=pdf&lang=en,本期推文为节选摘编,略有删减和编辑。)




本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 金潇苒 宋欣雨 王译晗

本期责编 | 金潇苒

基地官网:https://statevalbase.fudan.edu.cn



·end·



下一篇

什么构成了人文学科的质量观?

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433