摘要:研究评估正在受到越来越多的审视,批评者认为这类评估对不利于保证研究质量,并且助长了竞争性研究文化,削弱了合作精神。本文基于三位学者视角,探讨当前的研究评估体系如何将早期职业研究者及其导师的研究实践“束缚”在现有评估框架中。我们回顾了一些有助于促进更“好”研究实践的相关变革,其中许多方面与开放科学理念一致。我们建议采用系统性的研究评估方法,并考虑其与广泛科研机构和高等教育财政支持机制的联系。我们呼吁学术界就这些问题展开更多对话,并相信这是赋能早期职业研究者提升其研究质量的关键。
关键词:研究评估;研究文化;卓越;开放科学;变革路径
研究评估正在日益成为学术界内外争论的核心议题。以发表和引用指标为主要依据的研究人员评估体系受到了严厉批评,因为它产生了“不发表就出局(publish or perish)”的压力,从而导致对学者学术生涯的诸多不利影响,包括:
· 在出版物以及相关讨论中,过度强调研究结果的新颖性,而对所采用方法的稳健性和严谨性重视不足,导致学者倾向于采用会产生假阳性结果的高风险方法。
· 研究人员为了在个人评估指标上最大化自身优势,产生歪曲作者署名、分割研究成果等行为,甚至其他更为不端的做法,如数据操作等。
· 大量资金被投入到有利于出版商进行寡头垄断的出版模式中,即使是在向开放获取过渡的背景下,这一趋势也依然存在。
研究评估改革将带来诸多益处。新的评估体系将更加全面地关注科学家工作的各个方面,而不仅仅是成果发表。这有助于缓解研究人员的心理压力,鼓励更好的科学实践,如数据共享和其他开放科学实践。
那么,早期职业研究者(early career researchers, ECRs)在这一问题上的立场如何?其中许多人都是开放科学的坚定支持者,但意识与行动之间总是存在差距。无论我们是否愿意接受,但都清楚,指标不会在一夜之间消失,我们在被评估时仍然需要面对它们。“游戏”可能是被操纵的,但我们都被迫参与其中。
本文分享了三位学者的观点:一位博士生、一位已担任博导的年轻学者,以及一位最近从学术研究转向科学倡导的早期职业研究者。
博士生:如果我想取得进展,就要服从当前体系的“束缚”
基于发表和引用指标的评估体系对早期职业研究者的影响尤为显著,尤其是在申请博士后职位或研究资助时,评估者的关注点仍然集中在被评估者的出版物表现上——不仅是工作本身的质量,更重要的是论文发表的期刊在期刊引用报告(JCR)中的分区。
我十分愿意将文章投给创新领域的开放获取期刊或其他有吸引力的平台,如开放同行评议平台或文章处理费(APC)合理的期刊,以积极推动文化变革。然而,我深感,在未来的评估情景下,例如在申请博士后资助时,这些选择可能会让我付出巨大的代价。
现有的体系在某种程度上迫使我们所有人参与其中——体系倾向于推崇那些在我们学科领域内最具声望和引用率最高的期刊,这些期刊往往设置了付费墙,或者仅在支付较高的APC后才允许开放获取,或通过昂贵的转换协议开放出版。可以说,早期职业研究者在选择发表平台时就已被“束缚”,当前的评估体系不仅基于工作内容(以及同行评议的有效性),更大程度上是基于其所发表的期刊。
尽管创新的开放获取期刊/平台在质量控制和科学讨论透明度(如预注册、开放同行评议、发表后评议)方面具有诸多优势,但选择这些期刊仍然存在代价:在申请研究经费和职位时,可能会面临来自同行评议的负面评价。
我从博士时期就一直支持开放获取。尽管我尽可能地选择公开发表文章,但在导师的建议下,我有意选择了那些被认为最具声望的期刊,以帮助我的职业发展。这一策略确实奏效:由于有充足的第三方资金支持,我能够支付APC,我发表的大部分成果也都是公开的,与此同时,我也申请到了许多声望卓著的研究资助,并在相对年轻的时候拿到了终身教职。
尽管从某种意义上说,我已经“赢得了学术界的幸运大奖”,我的职位得到了保障,但新的挑战也随之而来——我不再只对自己的职业负责,我还要为博士生和博士后研究人员的职业发展负责,确保他们的前景。我应该将博士项目的关键发现投稿到声望较小但开放获取的期刊,还是直接选择顶级期刊?早期职业研究人员在选择在哪里发表成果时就会“被束缚”,这种“封闭”的选择,可能限制了开放科学的发展,却为他们提供了最大可能的职业成功机会,就像我曾经一样。
对我来说,这个选择虽然令人遗憾,但却非常明确:我必须确保我的学生和研究人员拥有最好的职业发展机会。这种两难困境清楚地揭示了问题的系统性本质,也突显了早期职业研究者的脆弱性——虽然开放获取对科学发展具有巨大价值,但任何研究者都不应为了推进开放性而牺牲自己的职业前景。相反,我们迫切需要对整个奖励和评估体系进行系统性改革,确保研究的评估标准集中于其本身价值,而不是发表在哪些期刊上。
任何查看过我发表记录的人可能都会认为“这就是当前体系的问题所在”。我所在的研究社区很早就教会我,要取得成功,唯一的途径就是在高影响因子期刊上发表大量文章。我曾为自己的名字能够出现在Science和Nature品牌期刊以及类似的知名期刊上感到非常自豪。虽然我参与的研究项目团队确实擅长将文章发表在这些高影响力期刊上,但这些团队也是我参与过的对如何改变研究文化讨论最热烈的群体。学者们普遍意识到目前的体系存在诸多问题。然而,我们中的许多人(包括我自己)认为,改变它的最佳方式是遵循现有规则,直到自己“足够成熟”,然后利用这种“成熟”的地位来推动体系变革。但核心问题在于:何时才算“足够成熟”?其背后还有一个问题是:“如果当前的体系确实能帮助我取得成功,那么随着时间的推移,我对改变它的兴趣会不会逐渐减弱?”
与此同时,在实验室里我们也热烈讨论如何改进日常的研究流程,包括引入GoPro摄像机帮助改进生物纳米研究,与癌症纳米医学建立联系,乃至推动制定“最低信息标准”等等。这种对于改进研究过程的热情,逐渐演变为改善整个研究文化的强烈愿望,这也是我现在在CESAER(Conference of European Schools for Advanced Engineering Education and Research)中所倡导工作的核心内容之一,包括推动研究职业的现代化。在我目前与非学术界人士合作的宣传工作中,几乎没有人关心我在Science和Nature上发表的文章。这一新视角让我更加确定,这种痴迷(我也曾延续这种痴迷)主要泛滥在学术界。正是这种反差,赋予了研究人员更多改变评估体系的力量和决心。
变革是一个复杂的过程,需要学术界各个层级和相关行动者的广泛参与。显然,那些负责评估研究人员的人——他们大多数已经成功跨越了“不发表就出局”的门槛——可能很难重新审视自己所擅长的体系。因此,强调对以下事实的认识至关重要:虽然现行的评估体系确实可能奖励了“卓越”研究(尽管这一点备受质疑),但这种奖励是以负面影响为代价的。我们应努力构建一个更加平衡的奖励体系,支持协作实践(如数据共享)、透明度(如同行评议),以及有效的价值与影响(通过分析文章内容及文章级别而非期刊级别的指标),从而奖励真正的“卓越”,而非仅凭表面上的感知,以避免前述的负面影响。
同时,学术界需要展开对话,探讨如何从依赖指标、使研究人员容易被分类的评估体系,转向一个能够回归科学家工作质量本源的评估体系。“质量”应首先得到关注,而研究内容及其传播应是次要的。这种文化转变似乎与当前研究和高等教育机构的排名及其相关的资助趋势相悖,而这种趋势正是由研究人员的评估体系直接激化的。因此,改革需要在更广泛的框架下进行审视,即政府机构如何资助和支持研究和高等教育,特别是在确保可持续资金水平方面,更系统地考虑研究评估问题。
在我们看来,当前的评估体系并未赋予研究人员追求卓越的真正动力。相反,现行制度,尤其是在研究资金的公共预算逐渐减少、竞争日益加剧的背景下,更多地充当了一个方便“控制和分类”的工具,无法有效支撑早期职业研究者(ECRs)设定切合实际的目标,以助其在职业生涯中成长与发展。当今的体系中,提升研究可靠性与影响力的机遇在哪里?例如,对数据集稳健性进行关注、为政策制定者提供外联材料、对不确定结果的探索,或通过同行评议对其他科学家的方法进行建设性批评……研究远不止于发表文章。我们应致力于建立一个评估体系,使研究人员能够在构成研究生态系统的所有(包括目前隐藏的)方面积极行动,并为保持研究的活力及与社会的联系做出贡献。
一个令人振奋的事实是,与关于学术出版未来的讨论不同,研究评估更多地掌握在学术界及其资助者的手中,并不涉及显著的商业利益。诚然,部分政府确实依赖排名和指标来资助大学,我们认为,这在很大程度上是得到学术界默许(甚至明确支持)的。因此,只要我们对这一问题有共同的认知,并且能够达成一致的解决方案,我们完全有能力在不依赖外部利益相关者的情况下实现变革。
那么,我们需要采取哪些步骤来实现这种文化变革?
首先,作为研究共同体,各职业阶段的研究人员都需要认真、现实且坦诚地审视当前的奖励体系及其缺陷,无论这个体系曾经对我们有多大的帮助。
其次,除了在一些院系或研究机构中逐步改革的局部研究评估实践案例之外,研究社区(包括资助组织,参见全球研究理事会相关讨论)需要开展更广泛的内部对话,明确什么是重要的,什么应该得到奖励,以及如何在研究人员职业生涯的不同阶段进行评估。
我们相信,推动这一切的核心动力应该是赋予早期职业研究者(ECRs)权力,因为他们的未来直接面临着威胁。作为一个共同体,我们感受到了改善研究文化的迫切需求。态势正在积聚,我们应通过改变研究评估体系,赋予ECRs权力,来释放这一势头,这是改善研究质量与文化的最重要路径之一。
(原文链接:https://insights.uksg.org/articles /10.1629/uksg.548,本期推文为节选摘编,略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 金潇苒 邓晨菲 王译晗
本期责编 | 金潇苒
基地官网:https://statevalbase.fudan.edu.cn