前言
本报告旨在构建一套涵盖广泛开放科学指标的框架，促进当前的学术文化向开放科学转变。开放科学指标对开放科学的实现路径有着重大影响，这些指标将直接关乎科学政策的制定和知识生成的决策。
本报告重点关注开放知识实践以及支持和加强这些实践的行动。本报告认为，“开放科学”是一种更具社会影响力的知识实践制度，不仅包含自然科学、工程科学、医学和数学，还包括艺术、人文学科和社会科学，以及教育、技术和基础设施等领域。
鉴于开放知识实践的多样性，需要不同的指标来描述这些不同的实践。可以根据评估目标将指标分为三类：监测、学习和资源分配：
监测学术系统在多大程度上向更加开放和包容的运行方式转变。这类指标可以为各类科学政策提供信息并对其负责。
学习指标在形成性评估中扮演着核心角色，使用时需要与研究背景和具体研究工作紧密结合。该指标能够向研究人员提供反馈，例如提供其可能需要的开放科学技能。
指标通常在研究机构的资源分配(以总结性评估为主)中用于对比。为了理解指标的作用，我们需要区分面向特定学科的声誉体系和面向机构的评估奖励体系，前者重视研究人员和研究团队在国家/国际层面的学术贡献，后者则涉及对研究人员职业发展(如终身教职)的管理，以及对本地研究基础设施和资源的利用。
对前者的评价主要由各种形式的同行评议和定性评价所主导，如学术出版物的评审系统。后者的评价体系主要涉及两方面：一是分配由国家和资助机构调拨给研究项目的研究经费，二是分配由国家和资助机构调拨给大学和研究机构的运行经费。这两类体系通过多种方式相互作用。在基于出版物的声誉体系中取得成功往往可以获得更多的研究经费，从而进一步提升在声誉体系中的地位。定量和定性指标作为评价的中介，其发挥作用的方式正在受到审视。由于两种评价体系之间相互作用的复杂性，不能仅凭指标的特性预测研究的价值。因此，报告建议在设计开放科学指标时充分考虑这些评价体系及其所处背景。
从根本上思考和改革学术领域的资源分配体系和研究评估体系是开放科学能否实现的关键先决条件。当前，学术成功主要依赖于发表论文和获得资助，在资源密集型的研究领域中更是如此。而其他工作，如教学和培训——作为最传统且重要的知识共享方式，其重要性通常被相对低估。同样，开放知识实践的重要性也常常被忽视，如与用户群体的互动、与非学术伙伴的合作、为公共辩论提供研究支撑、开发新的学术信息系统等。欧洲越来越多的大学和研究机构意识到，研究人员的奖励机制和职业路径需要进行更加多样化的设计，将开放知识实践作为有价值的研究工作纳入到研究人员的绩效评估中。
使用开放科学指标时应区分三个层次：(1)学术系统层面；(2)研究机构/资助机构层面；(3)研究人员个体/团队层面。
适用于某一层次的指标可能不适用于其他层次。因此需要制定保障措施，避免指标的误用和滥用。应坚持采用多样化的指标框架来评估开放科学，因为开放科学不存在通用的指标——指标的适用与否取决于评估的具体背景和特定前提。但是，在相同的评估目标下，对于类似的研究应当能够使用相同的指标集。
我们建议基于“指标框架”合理运用指标，以评估或监测特定类型的研究。指标框架旨在衡量相似研究环境中的知识实践，允许一定程度的情境化和比较，并允许研究者审视其开放科学实践。
开放知识的指标框架应包括以下维度：(1)监测/评估目标；(2)研究宗旨；(3)评估层次；(4)学科结构、认知文化和研究方法；(5)利益相关者、受众和受益者；(6)研究环境。
3.1 面向国家/国际/学科层面研究体系的基础设施指标
该指标集包括一系列定性和定量指标，用于评估开放知识基础设施的建设、增长数量、实质贡献以及学术界的使用和接受情况。该工具集应基于开放科学监测结果，并链接到欧洲开放科学云(EOSC)。
这一指标集旨在监测学术界的开放知识能力水平，包含一系列定量和定性指标。能够识别特定群体的资源可用性，挖掘成功案例，并为提升研究体系的包容性、多样性和公平性提供解决方案。
第三套指标集主要为一系列定性的、基于案例研究的指标，定期在公共平台上维护更新，提供关于开放知识创新实践的最新信息。
第四套指标集由一系列以职业发展为导向的定性和定量指标组成，这些指标基于《莱顿宣言》和《旧金山研究评估宣言》中提出的负责任原则而制定。
资助机构、研究机构、出版机构和政策制定者需共同努力，优先支持以下四项行动计划以促进开放知识实践：
(1) 建设新的基础设施，在研究生命周期的各阶段实现有效、高效的知识共享。长远来看，这些基础设施应结合适当的质量控制机制，改革学术出版系统。
(2) 基于第一项行动计划，提升学术界的开放知识实践能力。
(3) 支持和资助知识共享的良好实践和开创性示范项目。
(4) 将开放知识实践纳入国家和国际层面的奖励和激励体系，弱化有碍参与开放知识实践的评价指标。
资助机构、研究机构、出版机构和政策制定者需共同努力，针对以上四项行动开发并运用四套开放科学指标工具集：
指标工具集一旨在能够在系统层面监测开放科学基础设施建设的进展情况。包含面向开放知识基础设施的定性和定量指标，并考虑到国家、国际及区域性学术系统的差异。
指标工具集二用于监测学术界的开放知识能力水平，重点关注学术社区与基础设施之间的互动。
指标工具集三致力于让学者更加熟悉开放知识实践。这套工具集可以成为相关评估体系的一部分，其使用取决于评估的具体背景和目标。
指标工具集四旨在支持研究人员个人层面的管理和评估。该工具集由一套以职业发展为导向的定性和定量指标组成，必须符合“负责任的指标”的要求，对两种不同的职业路径予以区分：一是专门的“开放科学家”职业，主要负责开发和维护开放科学基础设施；二是在研究人员自身学术职业中的开放知识实践情况。对于后者，将开放知识指标与现有职业标准相结合至关重要。对于前者，制定一套新的职业标准更为可行。
所有开放科学指标工具集均应遵循FAIR原则(可发现、可访问、可互操作、可重用)，使用开源算法，遵守知识产权制度，以防止数据垄断或寡头垄断。资助机构、研究机构和出版机构应摒弃不透明的指标。引用指标也应基于FAIR数据原则构建。指标的制定应由用户驱动，并由社区共同定义。这些指标工具集应以负责任的方式被使用。
指标工具集应在指标框架的指导下使用。指标框架包括两种不同的使用模式：一是学习模式(适用于激励研究人员参与开放知识实践)；二是监测模式(用于跟踪新政策和基础设施的发展以及资助机构和出版机构不断变化的行动)。
建议资助机构和研究机构合作成立开放知识指导组，由经验丰富的研究人员领导，吸纳所有利益相关者。指导组的主要职责是就指标框架和指标工具集的制定及其后续应用提供咨询意见。这将确保指标框架和工具集的使用和迭代将基于研究人员开放知识实践的需求，而不是仅仅基于现成指标或可用数据。
建议欧盟委员会根据所有可用的描述性统计数据、四个指标工具集以及案例研究，以年度开放科学总结的形式发布关于开放科学现状的年度审查报告，展示指标框架的制定，并提供在特定情况下使用指标工具集的示例。
(报告原文链接：https://op.europa.eu/en/publication-detail/-/publication/b69944d4-01f3-11ea-8c1f-01aa75ed71a1，本期推文为节选摘编，略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 邓晨菲 金潇苒 王译晗
本期编辑 | 宋欣雨
基地官网：https://statevalbase.fudan.edu.cn
· end ·
