摘要：本文旨在研究开放科学如何影响/支持研究评价，以及开放科学实践是否/如何在努力避免古德哈特定律(当一个政策变成目标，它将不再是一个好的政策)所预测的情况下进行评价。我们试图在人文社科研究评价中实施开放科学，这并非易事，因为这代表着要抛弃已成为硬科学评价惯例的部分参考项。 互联网改变了科学生产、扩散、验证和评价的方式，传播渠道迅速增加。因此，传统的文献计量指标——将在同行评议期刊(最好是英文期刊)上发表的文章作为唯一可行的出版物已不再适用。在开放环境中，同行评议特别是单盲或双盲同行评议必须进行彻底改革。
关键词：开放科学；文献计量学；研究评价；非预期效应；开放同行评议
研究的定量评价已经深入到研究人员的日常实践中，在很大程度上(通常为负面)引导他们的行动。定量评价体系(特别是基于绩效的体系)有时会产生非预期的影响，相关文献不胜枚举。
由于问责制和资源分配等原因，在资金短缺时使用定量指标已越来越方便和普遍。其理由是基于从新公共管理中诞生的一种科学理念：科学研究是一个生产过程，与生产过程遵循着相同的规则，大学被同化为公司。 研究评价曾是学界的特权，现在被越来越多地委托给管理者和政府，他们并不是被评价领域的专家，他们依赖于算法，相信数据可以解决他们唯一的问题：根据价值合理分配资源 。
因此，近年来在国家或地方的评价中都强调数量，特别是文献计量指标的应用。在意大利这样一个以绩效为基础的评价体系中，定量评价导致学界与高校及研究机构国家评估署(ANVUR)在其评价工作中使用的标准和指标保持一致，造成的后果是， 研究评价本应是改进科学及其社会效用的手段，却成为了研究的最终和唯一目标 。研究人员的最终目标是满足要求以发展事业或获得资助，无论是什么要求。
这十分令人担忧，因为大多数研究人员和决策者都没有意识到这样做的后果，以及所采取和做出的政策和决策带来的效果，而其只有在多年后才能显现。2018年发表在《研究政策》上的一项研究表明，在意大利第240/2010号法律生效后，意大利科学家一直以非常投机的方式自引。
第240/2010号法律采用一套定量文献计量指标定义了如何获得教授职称。Marco Seeber等研究发现，2010年之后，在采用引文指标的领域中，自引次数显著增加(高于其他研究领域)。Baccini等进行的后续研究证实了这一趋势。 这意味着学界以一种自适应和机会主义的方式对国家层面实施的规则做出了回应，其主要目的是为了达成目标，而不是进行良好的研究 。这是第一点。
第二点在于， 对定量指标的强调助长并加强了商业实体的垄断(如爱思唯尔) ，这些实体不仅是研究生产过程中的看门人和控制者，现在还管理着用于荟萃分析和研究评价的数据分析。显然，所有这些数据都是封闭的，只能在订阅模式下才能访问。
因此， 学界不仅放弃了对研究验证和交流过程的掌控，同时也放弃了对评价的管理，而是宁愿把这项特权放任给商业主体、大学或部委的管理者 。
欧盟已经就“开放性”制定了许多指导和建议文件，但尚未在评价程序中应用这些建议。下一个欧盟框架计划(FP9)可以为欧盟提供机会，以在评价标准的实施和应用监测方面采取更强有力的态度。
欧盟最近发表的一份报告中指出：“ 为使开放科学实践成为主流，就必须将其嵌入到研究人员各个职业生涯阶段的评估中 。这要求大学改变其在招聘和晋升中的职业评估方法；要求资助机构改革其向研究人员提供资助的办法；要求专家在评选研究资助项目时改变他们评价研究人员的方式。这是对研究进行方式的改变，明确谁参与了研究过程以及如何进行评价， 从一个封闭的竞争系统过渡到一个更加开放协作的系统。总之， 机构和学界需要进行文化变革以促进和参与开放科学。”
以上是欧盟向所有相关方提出的建议。这似乎主要是一个文化变革问题，是加强合作而不是加剧竞争的问题。但很难理解(文字中也未作解释)该由谁在评价体系中做出这一新改变，是欧盟、成员国还是具体机构。进行文化变革是必要的，但还没有发生(至少在意大利没有)，也没有迹象表明它将在不久的将来发生。
意大利尚未有国家层面的开放科学计划，荷兰、法国等国已经发布了相关计划，并制定了未来几年开放科学路线。 如果没有自上而下的推动，就很难建立起相关实践 。
意大利当前的研究评价是ANVUR采用与开放科学原则相冲突的方法（特定定量指标和匿名同行评议）进行的：评价过程是封闭的，用于评价的数据也是封闭的，只有在明确要求访问时才能得到。在研究评价方面，意大利是国际舞台上的后发国家，它正在重蹈其他领先国家的覆辙。开放科学在意大利还未提上日程。
研究人员备受定量指标所控，并且这些指标牢牢掌握在少数垄断者手中(如爱思唯尔、科睿唯安)，在这种背景下很难讨论如何进行文化变革，就像很难制定评价标准和评价程序并在地方层面发挥作用一样 。
因此， 在解决开放科学和研究评价或研究实践中的开放性评价之前，让开放科学成为研究人员日常工作流程的一部分，并改变研究生产、验证、交流和评价的方式，是重要的优先事项 。
如果没有人首先告知研究人员(机构)在开放环境中工作很重要，出版物应该公开，数据必须始终可访问且最好开放，课程材料也必须开放，开放非常重要……那么欧盟的建议就不可能被应用。因此， 政策是必要的。如果在国家层面上没有政策，至少应该在地方层面去实施执行 。
机构需要制定关于开放获取(OA)的具体政策 ，明确机构遵循和支持的OA道路(绿色OA、金色OA、钻石OA，或三者兼有)，并确定可以提供哪些工具为研究人员提供支持(整合资金、机构档案馆、电子出版平台、技术和法律支持)，以及如何奖励OA实践。 意大利多所大学都发布了这样的政策，但还没有一所大学监测研究人员对这些政策的反馈，以及这些政策在多大程度上得到了实施 。
机构还需要制定研究数据管理政策，定义哪些数据需要保留、如何处理、如何描述以及在哪存储，以便根据FAIR原则(Findable可发现、Accessible可访问、Interoperable可互操作、Reusable可重用)可以随时访问。这对于遵守欧盟对数据和数据管理方面日益严格的指令十分必要。欧盟要求受资助项目的数据“尽可能开放，必要时封闭”，并按照FAIR原则进行处理。
开放科学可以使面向学界和社会的评价更加透明，通过在评价过程中奖励开放科学的建立起良性循环，使开放科学成为科学生产、验证和评价的方式 。如果没有将开放作为惯例的研究环境，就无法建立奖励开放的评价体系。后者需要驱动力、奉献精神和决心才能实施。
意大利可能理想的路线图是：
1.在国家层面实施开放科学政策计划，并由第三方监督其执行情况
教育部应在开放科学议题上表明立场，并为其在机构中的实施、监督和资助制定规则。必须明确今后几年的目标和指标，第三方(如校长会议)应监测该计划的执行情况。
2.创建国家OA存储库
目前，教育部有储存库，但不仅对公众不开放，而且对各机构也不开放，仅供个别研究人员和教育部使用。研究人员输入存储库的数据没有经过验证，但却基于这些数据制定指标，并用于研究人员评价、晋升和国家研究系统的数据分析。
因此首先可以建立一个全国性的OA存储库。这在意大利并不难，因为几乎所有的机构都有相同的基于DSpace (IRIS)的机构存储库。数据和论文全文可以在机构系统中收集，然后经过适当的筛选删除，优先考虑来自认证存储库的数据。
3.为定量评价工作提供大量免费引文
就出版物的定量评价而言，可以创建大量能够自动收集引文（引文从出版商处免费获取）的OA出版物，这将使每个人都能获得定量指标所依据的数据。
4.创建地方和国家数据库
数据存储库必须根据FAIR原则处理数据，从而使数据始终是开放的或应要求提供的，以备用于出版物验证。
5.采用开放同行评议制度进行定性评价
真正的文化变革应该是从单盲或双盲同行评议转向开放同行评议，避免匿名评议中的闹剧，让评议人对自己的判断负责。匿名同行评议可能包容了不恰当的行为，因为必须在评议结果上签字的人会对自己写的评议更加负责，而那些躲在匿名背后的人可能会做出草率或考虑不周的判断。事前同行评议的案例如预印本(arXiv，bioRxiv)，事后同行评议的案例如Frontiers期刊、Wellcome开放研究。
6.将定量和特定评价标准边缘化
(部委和机构)可以签署《关于科研评价的旧金山宣言》，并认真执行其建议，尝试在内部征集提案时引入奖励制度，奖励践行开放科学的研究人员。
总之， 开放科学和研究评价是同时进行和发展着的实践，二者相互支持，但若要进步，则需要改变环境、改革文化，这是十分艰难的 。机构决策者还没有完全意识到数字治理不利于科学发展的事实，并且为了方便依赖于算法；同时，研究人员正在为一个尚未建立的综合的评价体系而努力。
互联网扩大了研究交流的渠道，OA使得许多文章能够立即被广泛受众所获得。如果不考虑这些巨大变化，那么研究人员和评价体系的制定者就会犯下错误，我们应该努力构建一个综合的、多形式的评价体系，而不应削弱和抑制其潜力。
(全文及参考文献见SCIRES-it-Scientific Research and Information Technology 2020年第10卷特刊，原文链接：http://www.sciresit.it/article/view/13341，本期推文为节选摘编，略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 金潇苒 宋欣雨 王译晗
本期编辑 | 宋欣雨
基地官网：http://statevalbase.fudan.edu.cn/main.htm
· end ·
