实现系统性变革需要政策、流程、组织结构以及规范和价值观方面的根本转变。改革者需要了解系统中所有利益相关者的角色，特别是他们如何相互作用和相互依赖，以及他们如何应对内部和外部压力。为此，DORA和霍华德·休斯医学研究所（HHMI）召开专门会议，汇集研究人员、大学管理人员、图书馆员、资助者、科学协会、非营利组织和其他利益相关者，共同讨论这些问题，探讨研究评估中的新兴政策和实践，以及这些政策和实践如何与不同机构的学术使命保持一致。

会议讨论有助于确定制度变革的可能形式，提出新的思路，并为寻求变革的研究机构制定实用指南。会上提出了一个行动框架，包含四大目标：了解变革的障碍；在各个层面尝试不同的想法和方法；在审查、修订政策和实践时，为研究评估设立共同愿景；在校园内外将这一愿景传达给其他研究机构。

大多数研究评估制度依赖于研究质量的代理指标。这种对代理指标的过度依赖引发了许多问题，尤其是在采用忽视个体成果差异的综合措施时。期刊指标、H指数等定量指标以及出版商声望和机构声誉的定性概念构成了研究评估的变革障碍，这些障碍已根深蒂固。这些障碍之所以存在，是因为它们能够看似简单、直观地代表研究质量，具有很强的吸引力（但这种吸引力有很大的局限），并且它们为繁忙的评估者提供了一条评估捷径。此外，这种过度依赖可能会使研究人员忽视对大多数研究机构使命来说同样重要的活动，如教学、指导和能够产生社会影响的工作等。

对代理指标的依赖也助长了偏见。近年来，性别和种族平等方面虽然有所进展，但变革的步伐仍然十分缓慢。最近基于美国医学院基础科学系的一项研究表明，在目前的做法下，要到2080年才能实现与全美人口代表性相符的教师多样化水平。

因此，重新审视研究评估意味着要解决学术界存在的特权问题，并反思运气和机会如何比天赋、技能和坚韧等个人特征更能影响决策。若要找到最理想的答案，那么就需要思考当我们谈论“成功”和“卓越”时，其背后的真正含义是什么。

这绝非易事，许多外部和内部的压力阻碍了有意义的变革。例如，作为研究评估变革的一部分，机构必须与大学排名作抗争。资助通常被视为研究人员是否成功的重要信号，对于许多大学和研究机构来说至关重要。然而，在招聘、晋升和终身教职的决策中过分强调资助会使研究人员忽视他们工作中的其他重要部分。过度竞争带来的巨大心理健康负担也是一个不容忽视的问题。

文化变革通常由个体行动形成的集体力量而推动。这些行动形式多样，但其共同的出发点是倡导负责任的研究评估实践。在DORA/HHMI会议上，Needhi Bhalla（来自加州大学圣克鲁兹分校）提出了提高教师招聘公平性的策略——通过多样性声明评估候选人与院系公平使命的契合度，从而作为更全面的研究评估方法的一部分。

个体研究人员的行动往往受到其职业阶段和职位的限制。通常，拥有更多权威的人影响力更大。作为德克萨斯大学西南医学中心细胞生物学系主任，Sandra Schmid对招聘程序进行了改革，将重点放在关键的研究贡献上，而不是发表或资助指标上，并探索如何更好地支持申请人的未来发展。Schmid指出，通过使用Skype面试（允许更多候选人参加面试，从而改善入围流程）以及为每位候选人指定来自不同部门的教职支持人员，该系的招聘流程得以拓展广度和深度。另一个建议是要求申请资助和职位的候选人从简历和出版物列表中删除期刊名称，以将评估者的注意力从代理指标转向申请人论文及其他成果的实质内容。

我们需要鼓励个体行动，以便将关于研究评估的讨论扩散到整个机构。鉴于现代大学的规模和组织自主性，这并非易事，这也是为什么有些大学会成立工作组来审查其研究评估政策和实践。例如，乌得勒支大学医学中心（UMC）不仅修订了其晋升和内部评估流程与标准，还对这些变化对其研究人员的影响进行了深入评估。为提高变革的成功率，这些工作组需要确保女性和其他弱势群体拥有发言权。同样重要的是，要听取管理者、图书馆员、终身教职人员、非终身教职人员、博士后和研究生的意见，这种包容性非常重要。然而，谈判桌上的观点越多，达成共识就越困难，因为每个人都有自己的参照系、想法和经历。为确保工作组不会陷入细节中，应该在流程早期明确其目标，并确保目标简单、清晰且切合实际。

4.1 使政策和实践与机构使命对齐

对机构政策和程序的重新审视可以揭示出那些可能在理想化的使命宣言中被掩盖的真正优先事项。尽管期刊影响因子（JIF）作为研究评估工具广受质疑，但美国和加拿大超过40%的研究密集型大学在评审、晋升和终身教职文件中明确提及JIF。而那些没有在此类文件中提及JIF的机构，也往往在非正式的情况下将其视为绩效标准。因此，工作组的关键任务之一是审查机构在其使命宣言中表达的价值观在其招聘、晋升和终身教职实践中得到了多大程度的体现。尽管多样性、公平和包容性越来越多地被宣传为核心价值观，但和这些领域相关的工作仍然经常被归入服务类贡献，这在晋升和终身教职中是最不被重视的学术贡献类别之一。

弥合这些认知差距需要机构内部的勇气与诚实——打破对指标的迷恋，并创建真正融合机构核心价值观的评估流程。例如，HHMI致力于通过制定注重质量和影响力的评估标准，来推动基础生物医学研究的发展，以造福全人类。

4.2 提升概念清晰度

在将实践与机构价值观相结合时，招聘、晋升和任期政策的概念清晰度是另一个需要重点审视的领域。“世界一流”或“优秀”等通用术语看似提供了质量标准，但这些术语过于宽泛，以至于评估者可以依据个人理解作出评判，从而为偏见留下了空间。尤其是当决策小组缺乏多样性时，这种情况更加明显。使用这类术语还可能延续“马太效应”，即资源进一步向已经拥有大量资源的人集中。Moore等人（2017年）批判了“卓越”这一概念的使用，建议将评估重点转向更为明确的概念，例如稳健性和能力建设。

4.3 制定标准

近年来，一些机构在推进更全面的研究人员评估形式方面进行了有趣的创新。乌得勒支大学医学中心、英国皇家学会、荷兰研究委员会和瑞士国家科学基金会都在尝试推行结构化的叙事简历，这些简历格式可以根据机构的具体需求和价值观进行定制。此类简历结构简洁统一，便于申请者之间的比较，并能为学术贡献的定量评估提供更丰富的定性信息。

虽然结构化的简历有助于一致性，但审稿人的主观性仍然是一个复杂因素。在会议上，与会者提出了一个两步策略，以减少个人主观性对决策的影响——首先，评估者应确定并达成共识，制定所有所需能力的具体评估标准。例如，里士满大学生物系的教师会在招聘申请开放之前，讨论所需职位的专业知识、经验和特征类型。这为第二步奠定了基础，即在评估过程中定义一套全面的绩效标准。

4.4 认可协作贡献

研究人员评估的重点通常关注个人成就，但如今越来越多的研究人员是在团队和协作中开展工作的。自1950年以来，每篇论文的平均作者数量稳步增长。团队合作对于解决最复杂的研究和社会挑战至关重要，并且通常在机构的使命声明中被视为核心价值。然而，评估协作贡献以及确定个体贡献仍然充满挑战。在某些学科中，出版物的作者顺序可能暗示个人的贡献程度，但这往往更多依赖于假设而非实际贡献。为了应对这一挑战，学术界正在引入更为有效的团队评估方法。例如，加州大学欧文分校为研究人员和评估人员制定了如何描述和评估团队科学贡献的指南。

尽管许多研究人员感到受制于他们几乎无法掌控的评价制度，但在机构层面和更广泛的外部环境中，他们仍然可以了解并参与到研究评估的改进过程中。如果政策变革要得到有效落实，那么通过多种方式传达和落实前文所述的愿景就显得尤为重要。UMC是研究评估改革中最积极的机构之一，在新政策正式制定之前，举办了一系列会议，收集教职员工的意见。同时还与莱顿大学的社会科学家合作，监测UMC研究人员对这些变化的反应。尽管这项工作尚未完成，但他们已经发现了三种主要反馈：①一些研究人员已接受变革，并看到了将评估标准与社会影响和学术责任多样性结合起来的积极潜力；②有些人倾向于维护现状，重申传统指标的价值；③有些人对新的评估标准可能带来的不确定性感到担忧。

无论采用何种形式，政策和实践的透明度至关重要。我们鼓励各机构和院系公开其研究评估政策和实践信息，以便研究人员能够了解机构对他们的期望，并据此监督其所在机构的执行情况。尽管透明度保障了问责机制，但有人认为，这可能会限制创造力。通过对话和协商，可以减少这种风险，我们建议各机构在发布指南时，应强调其中的精神实质，而非拘泥于文字。大学之间应相互分享新的政策和实践。研究评估改革是一个不断迭代的过程，各机构可以从他人的成功和失败中汲取经验，可行的解决方案应适应不同机构的传统和特质。

即使有了新的工具，要使研究评估政策和实践与机构价值观对齐仍需要时间。随着新政策和实践的制定，如何在时间紧迫性与倾听和理解学界关切的需求之间找到平衡，显得尤为重要。如果学界希望成功实现其“让世界变得更美好”的使命，那么机构和个人就需要持续投入时间和资源来制定和维持新的政策和实践。

(全文及参考文献见Elife 2020年第9期，原文链接：https://pubmed.ncbi.nlm.nih.gov/32782065/，本期推文为节选摘编，略有删减和编辑。)