
摘要:近年来,研究评估方式日益受到关注。批评者指出,当前的研究评估过于侧重生产力,加剧了科研人员所面临的不合理压力。然而评估体系应如何具体调整,目前仍存在争议。我们面向佛兰德斯地区的研究者开展了一项问卷调查,旨在了解其工作状态,并征询他们对研究评估中所用各项指标重要性的看法。调查发现,大多数研究者的实际工作时间远超合同规定。尽管科研工作已占据他们大部分时间,受访者仍表示希望投入更多时间于研究本身,而减少在撰写项目申请书、承担行政事务及参加会议等其他活动上的时间。在“成功”指标方面,与开放性、透明度、科研质量和创新性相关的指标被认为对推动科学进步至关重要,但在职业晋升中却未得到足够重视。相反,体现声望和竞争性的指标普遍被认为对职业发展较为重要,却对科学进步无实质贡献甚至可能产生阻碍。受访者在开放评论中进一步指出,开放获取出版、发表阴性结果、数据共享等代表开放性、透明度和质量的做法应在评估中获得更高认可,但目前缺乏足够的资源与支持以推动研究者广泛采纳此类实践。换言之,现行研究评估体系存在不足,未能充分重视那些真正有助于科学进步的研究行为。然而,在改革评估方式之前,需首先建立相应的支持性基础设施,以确保研究者有条件投身于真正有益科学发展的活动中。
学术成功的定义与研究评估方式直接影响研究行为的导向。科学界对“成功”的定义仍较为模糊,近年来已引发诸多争论。《旧金山研究评估宣言》《莱顿宣言》及Metric Tide等倡议均指出,当前研究评估中所采用的指标并不合理。批评者普遍认为,现有指标过于简化,不适用于对研究者个体进行评价。尽管质疑声日益增多,替代性评估方案仍较为缺乏。部分观点主张应在评估中重新引入叙述性与主观判断,另一部分则支持开发新指标以扩展评估维度。由于具体路径尚未达成共识,目前已有部分机构与资助组织率先探索评估研究者的新方法。
研究评估不仅关乎机构与资助方。在由机构组织评估时,研究者本身常担任评审角色。因此,研究评估的变革不仅需要机构层面出台新规、指引与政策,也离不开科研群体内部的文化转变。
去年,我们在比利时佛兰德斯地区开展了生物医学研究中“成功”定义的探索性研究。通过访谈和焦点小组,我们收集了不同科研主体对科学成功决定因素的看法,包括研究机构、资助者、科学编辑或出版人、学者、研究生以及其他在学术研究中发挥重要作用的角色。尽管受访者在当前科学成功的构成要素上认知大体一致,但某些方面仍存在意见分歧。通常,同一项成功指标会引发相反的观点:有人认为某指标对推动科学进步至关重要,其他人则认为同一指标可能损害研究诚信。基于访谈与焦点小组中提及的成功指标,我们设计了一项简短问卷,以进一步了解各项指标在推动科学进步、促进职业发展以及带来个人满足感三个方面的重要性。
基于先前访谈和焦点小组中提取的主题,我们使用Qualtrics WM平台构建了调查问卷。问卷内容围绕那些被认为在科研成功中起重要作用但同时也引发分歧观点的指标展开,最终问卷聚焦在以下三个维度:①职业发展;②科学进步;③个人满意度。为了进行广泛的招募,我们直接联系五所佛兰德斯大学的生命科学与医学类院系,请求其在内部转发问卷。共126人完成问卷,其中三分之二为博士生或博士后/非终身轨研究者,性别分布均衡。
在时间分配分析中,我们使用RStudio 1.1.453中的配对t检验,比较受访者在各项科研活动上实际投入的时间与理想中希望投入的时间。在成功指标维度方面,我们采用五级李克特量表收集参与者对每项指标在“推动科学进步”“促进职业发展”及“带来个人满意”三个方面的重要性评价。使用SPSS Statistics 25.0.0.0进行了重复测量方差分析(ANOVA)及Bonferroni事后检验,以比较每项陈述在三个维度上的平均评分差异,同时也通过Tableau Desktop 2018.1和Excel生成详细的数据可视化图表。
近四分之三的受访者(n=93)称自己为全职科研人员或博士生。其中,全职研究人员自报平均每周工作46.91小时(中位数46小时),但分布差异较大(表3)。
随后我们针对更具体的研究活动展开时间分配调查。参与者希望投入更多时间于“教学”和尤其是“研究”,而减少“其他”活动时间。在细化活动中,参与者普遍希望增加“实际操作研究”“保持前沿”和“撰写论文”的时间,而减少“撰写基金”和“处理其他事务(如行政、会议等)”的时间。“直接指导学生”和“评审”的实际与理想时间占比无显著差异。完整统计结果见表4,图1展示了各项活动的回答分布。
我们要求参与者评价18项科研活动在以下三个方面的影响:①职业发展,②科学进步,③个人满意度。
图2展示了18项陈述在三个维度上的平均分与中位数。我们将陈述分类排列,以便直观呈现哪些被认为对推动科学进步重要但在职业发展中受忽视(东北象限),哪些对职业发展关键但对科学进步作用较小(西南象限)。除“进行公众传播(如社交媒体、新闻等)”外,所有陈述的主效应均显著,即至少两个维度之间存在评分差异。各项平均值与统计结果详见S1表。Bonferroni事后检验显示,大多数活动中,其对科学进步的推动作用和职业发展的促进作用被评为显著不同。仅“论文被阅读和下载”一项在职业发展与科学进步上的评分相近。“发表论文”在职业发展上的重要性(均值4.52)略高于科学进步(均值4.37),但差异不大。个人满意度有时更接近职业发展,有时更接近科学进步:“同行评议”和“跨边界、跨学科与跨部门合作”在职业发展和个人满意度上评分相似——前者两项均低,后者两项均高。“在高影响力期刊发表”“比他人发表更多”“与知名研究者联系”及“拥有运气”在职业发展上的贡献高于科学进步与个人满意。而“研究成果被实际应用”在个人满意和科学进步上的评分高于职业发展。
进一步分析可见以下趋势:首先,许多促进开放与透明(如“发表未成功的(阴性)结果”“共享全部数据与详细方法”“开放获取出版”)、质量保证(如“重复前人研究”“同行评议”“评审学生与合作者的原始数据”)及创新(如“从事高风险创新研究”)的活动被认为对科学进步很重要,但对职业发展的重要性显著较低。从图3全答案分布可见,部分受访者认为某些活动对职业发展不利甚至有害。另一方面,部分陈述被认为对职业发展比科学进步更重要,尤其涉及竞争(如“比他人发表更多”)和声望(如“被文献引用”“在高影响力期刊发表”“联系知名研究者”)的指标。总体来看,受访者从“跨边界、跨学科与跨部门合作”及“研究成果被实际应用”中获得的满意度最高。
近年来,科研人员的职业现状引发广泛担忧。众所周知,研究人员普遍超时工作、承受较高的绩效压力、面临严重的心理压力与健康风险,并时常遭遇职业倦怠。这一黯淡的学术生涯图景已引起科学界警觉,也凸显出共同改进不良科研生态的迫切性。
我们的研究进一步丰富了现有关于研究人员工作习惯、意愿及其对科研与评估态度的认识。具体而言,本研究更细致地剖析了用于评估科研成功的具体指标,分别探讨这些指标是否真正有助于推动科学进步、提升个人满意度,或仅服务于职业晋升而未对科学或个人发展带来同等贡献。
在本调查中,近80%的全职科研人员表示每周工作超过40小时,其中44%甚至超出欧盟规定的周工作时间上限。这一发现并不出乎意料,因为科研人员普遍存在加班和超时工作现象。我们的结果还显示,科研人员对当前的时间分配方式并不满意。受访者希望将更多时间用于教学与研究,尤其是“实际操作研究”“跟踪前沿动态”和“论文撰写”等任务——该发现也与以往研究一致。另一方面,他们希望减少在撰写项目申请书以及处理行政事务和会议等其他活动上的时间。这种现实与理想的矛盾与此前研究相呼应,这些研究揭示了当前科研职业中沉重的行政负担,而作为本研究基础的访谈与焦点小组中也多次指出,科研时间的缺乏最终可能损害研究的完整性与质量。
有关具体研究评估指标的调查结果清晰显示,不同指标在“推动科学进步”和“促进职业发展”两方面的重要性存在显著差异。我们发现,旨在提升开放性与透明度(例如发表未取得预期结果的研究、共享全部数据与详细方法、开放获取出版)、加强质量控制(如重复验证已有研究、同行评议、审核学生及合作者的原始数据)以及鼓励高风险研究(如从事高失败风险的创新性研究)等实践,通常被认为对推动科学进步具有重要甚至关键作用,却在职业晋升中被视为无关紧要、不利或甚至有害。这一观点已获多项关于科研评估的重要文献与报告支持,也显著体现在构建本问卷的前期定性研究中。由此可见,科研评估体系亟需改革,应更充分激励开放性、质量保证以及合理包容失败。
然而,本研究也揭示出这些领域内可能存在的障碍。首先,从答案分布和开放评论中可看出,并非所有人都认同开放获取的价值,或认可公开数据与方法所能带来的附加效益。部分受访者认为开放获取对科学进步有害,还有人指出其基于出版收费的盈利模式可能加剧发表偏倚并降低质量保障。该发现与我们先前的定性访谈结果一致,表明学界对“最佳实践”的认知尚未统一,在推动科研文化与行为转变之前,仍需进一步达成广泛、普遍的共识。另有受访者提出,尽管理论上支持开放获取,但缺乏支付文章处理费(APC)的资金支持,使他们难以在开放获取期刊上发表。在发表阴性结果和数据共享方面也存在类似问题,受访者表示这些工作既增添额外负担,又带来新的伦理挑战,而他们缺乏足够时间应对。因此,仅靠在评估体系中重视开放性并不足够,必须进行远超评估改革本身的系统性重构。若要在科研评估中真正体现开放性的价值,则必须为研究人员提供相应的资源、基础设施及必要的人力支持,使其能够在不增加现有负担的前提下践行这些实践。否则,强调开放性却无配套支持,可能进一步加剧科研不平等,使已取得成功的研究团队获益,而损害青年研究人员、小型机构以及非主流研究领域的发展机会。
本研究结果也印证了当前科研评估体系中对竞争与声望的过度强调。受访者普遍认为,在职业发展过程中,“发表数量超过他人”“在高影响力期刊上发表论文”“获得较高引用次数”以及“与知名研究者建立联系”等因素非常重要。然而,这些指标在推动科学进步及提升个人满意度方面的作用则被认为较为有限。在当今学术环境中,研究人员被要求达到卓越水平,但其卓越性仅在高产出、高可见度及高影响力的条件下才获认可。这些特征与有限的高级职位资源相结合,进一步加剧了学术界的竞争氛围。激烈的竞争迫使研究人员将大量时间投入于撰写项目申请书,以应对极低的资助成功率。与此同时,庞大的资金申请数量也给资助机构带来沉重负担,使其面临超量的评审工作。然而矛盾的是,资助机构同样需要研究人员参与项目评审,这又进一步挤占了科研人员从事实际研究的时间。
本研究通过问卷调查,反映了科研人员对不同研究活动在推动科学进步、促进职业发展以及提升个人满意度三个方面所具价值的看法。调查发现,受访者普遍希望将更多时间投入于诸如论文撰写和实际操作研究等直接科研活动,而减少在撰写项目申请书、参加会议及处理行政事务等其他任务上的时间投入。结果还表明,许多涉及开放性、透明度、质量保证和包容失败的研究实践被认为对推动科学进步非常重要甚至至关重要,但在职业晋升中却被视为无关紧要或甚至具有不利影响。相反,那些有助于提升研究者声望、可见度和竞争力的活动,在职业评估中受到重视,却被认为对科学进步的推动贡献有限。需要指出的是,本调查样本主要来自佛兰德斯地区的研究人员,样本规模有限,因此结论的外推需谨慎。尽管如此,本研究结果与越来越多国际文献、宣言和报告的主张相一致。与这些文献共同表明,当前科研评估体系亟需改革,应更充分认可那些真正有助于科学进步的研究行为。然而,调查也反映出科研群体对某些具体实践在推动科学进步方面的效果存在分歧与不同看法。为确保科研评估的改革能够真正改善科研实践和研究者的工作条件,而非带来负面影响,必须对支撑科研生态的资源配置与基础设施进行系统重构。除在理念上重视开放性、透明度和质量外,研究机构与资助者还应协同合作,建立健全本地化支持体系,为研究人员践行这些价值观提供实际帮助与资源保障。
(全文及参考文献见PLOS ONE Feb 2021,原文链接:https://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0243664,本期推文为节选摘编,略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 金潇苒 王译晗
本期责编 | 金潇苒
基地官网:https://statevalbase.fudan.edu.cn