知评价

首页 > 评价前沿 > 知评价 > 正文

开放科学:学术评价变革的新视角

发布时间:2024-01-26 编辑:王译晗 来源:复旦智能评价与治理,复旦新学术


摘要:开放科学源于信息和通信技术的发展,以及开放获取模式在出版领域的推广。其发展主要受到三方面因素的影响:与传统科学价值观的关联、组织者和决策者的行动、以及来自委员会和各类研究资助机构的支持。本文分析了开放科学的多种定义并归纳其基本特征,包括开放性、透明性和可重用。开放科学包含了多个构成要素,如开放获取、开放数据、开放同行评议、预印本、公民科学和新型评估等。本文聚焦于开放同行评议、预印本和开放评价,总结其发展现状和对开放科学的贡献。研究发现,尽管各要素多样化发展,但整体协调性不足,可能会减缓开放科学的进程。尽管开放获取、研究数据共享和预印本使用方面的实践取得了显著进展,但在新的衡量标准和评估模式开发方面的进展缓慢,而这正是推动开放科学与各学科发展相融合的关键因素

关键词:开放科学;开放获取;开放同行评议;学术评价;预印本

01




引言




开放科学是对科学研究范式的根本性变革,产生在学术界协作工作和研究全过程开放透明(包括但不限于最终出版物、数据集、同行评议和评估标准)的基础之上。在实践层面,这意味着学者不仅应使其出版物开放获取,还应共享这些出版物的研究数据和评议报告。此外,开放科学使评估指标不再仅限于传统的期刊影响因子。因此,开放科学是一种与科学研究实践密切结合的前瞻理念。

开放科学的益处包括透明(所有研究阶段均可见)、高效(促进知识快速传播,避免重复研究,加速研究进展)、可复制(开放数据让任何人都能够重复研究,防范学术不端)以及提升研究的社会影响力(使社会更好地理解研究成果)。

尽管关于开放科学已有大量研究文献,但对于其组成要素仍未达成一致。因此,本文旨在总结开放科学的概念和背景,及其部分构成要素的发展程度,包括开放同行评议、预印本和开放评价。

02




什么是开放科学?




Fecher等通过文献综述解析了开放科学的概念,总结了五大主要思想流派:基础设施(关注技术架构)、公共(关注知识创造的可获取性)、测量(关注影响衡量)、民主(关注知识获取的广泛性)和实用(关注研究)。Ruben等通过对1985~2016年间发表的75篇论文进行文献综述,总结了开放科学的基本特征:开放、透明与合作

除了学术文献,各类组织发布的文本对于塑造和推广开放科学理念具有重要影响。欧盟委员会对开放科学理论与实践的发展起到了关键推动作用。发布的主要文件包括《Horizon2020中的数字科学》(2013年),阐述了互联网和其他技术如何改变知识的创造和传播方式;《开放创新 开放科学 向全球开放》(2016年),将开放科学和创新定位为欧洲经济增长的引擎,并详述了相关行动计划;《开放科学政策平台建议》(2018年),确立了开放科学的八个基本要素,包括开放获取、开放数据(FAIR)、欧洲开放科学云(EOSC)、奖励激励、下一代指标、教育和技能、研究完整性和公民科学。此外还有经合组织OECD于2015年发布的《让开放科学成为现实》,阐释了开放合作对科学和创新的益处。这些文献为梳理全球视野下的开放科学定义提供了框架,帮助我们更准确地理解开放科学的内涵。本文将基于其中的两个定义进一步讨论开放科学:

(1)开放科学是一种基于合作工作和知识传播的科学过程的新方法,通过使用数字技术和新型协作工具提升研究成果的可获取性和可重用性。(欧盟委员会,2018年)

(2)开放科学是一种使研究数据、实验室笔记和其他研究过程可被免费提供,允许研究及其基础数据和方法可被重用、再分配和复制的,人们共同合作促进的科学实践。(FOSTER,2019年)

这两个定义共同强调,我们正面临着一种新型的科学工作方式,基于科学家之间的协作与合作,致力于提升研究的可获取性和可重用性。这种新的工作方式应覆盖研究过程的所有阶段,不仅仅是最终的出版物,还包括研究过程中的数据、实验笔记等。总体而言,开放科学的定义尚存在模糊性。因此,有些学者认为开放科学这一新概念更像是一个集合标签,用于整合一系列相互作用的要素,以概括新型研究环境。我认同这一观点,并认为了解构成开放科学的要素至关重要。为此,本文以开放同行评议、预印本、开放评价为例,阐述这些要素对推进开放科学这一新型科研范式的贡献。

03




开放科学的构成要素




3.1 开放同行评议

开放同行评议(Open Peer Review, OPR)是指将开放和透明的原则应用于论文审稿过程,包括不同类型:公开作者和审稿人的身份(开放身份);公开审稿人的报告(开放报告);以及更广泛地促进审稿过程中的参与(开放参与)。OPR是对传统双盲评议制度的重要改进,深刻影响了作者、审稿人和编辑之间的关系。

OPR的主要优势在于增加了审稿过程中的透明度和信任度,读者能够了解文章的审稿历程。同时,期刊通过公开审稿过程来提高问责性。但它也存在审稿人可能因身份暴露而导致的客观性不足的问题。目前,许多出版商正在尝试引入开放同行评议的部分做法,如开放审稿报告或开放审稿人身份,但这些做法通常只是可选项,需获得相关当事人的同意。Wolfram等人的研究表明,尽管目前实施OPR的期刊仍为少数(617种),但预计未来将会逐渐增多。

虽然OPR相对于其他开放科学要素而言只是一个较小部分,但它很好地展示了开放科学所包含的开放、透明的价值观。

3.2 预印本

大多数学术论文从投稿到发表通常需一年以上时间,因为它们必须经历审稿、修改、校对和排版等过程。在医学等领域,这种时滞会导致研究成果难以得到及时共享。

为了解决这一问题,物理学界早在1991年就创建了arxiv.org预印本存储库,以便作者在审稿前分享研究成果。这一模式已扩展至其他领域,如实验科学、健康科学和社会科学。同时,越来越多的期刊也开始支持预印本存储库。

尽管预印本能快速分享研究成果,但也存在一定弊端,因为这些成果尚未经过专业的同行评议。例如,《柳叶刀》曾发布过一篇有关COVID-19的预印本文章,后因数据错误而被撤回。因此,对于尚未经过专业评审的预印本,应保持谨慎态度

预印本同样是开放科学的组成部分之一,它与科学传播和开放获取紧密相关。在COVID-19研究中,预印本因其加速科研成果传播而备受关注。

3.3 开放评价

当前,用于推动出版物传播、数据共享和开放评议等实践的激励措施和奖励机制明显不够。现行的以竞争为基础的评估体系成为开放科学发展的障碍,学界需要新的评价指标和评估模式以建立更加开放和合作的科研环境

目前,引用次数,特别是期刊影响因子,是评估学术出版物的主要指标。这些指标最初设计的目的并非用于评估,而是为了便于信息检索。尽管计量指标存在争议,但由于其客观性、易于计算和应用,已成为最广泛和最常用的评估标准。但这种评估方法受到诸多批评,例如忽视单篇文章的价值、偏重英文期刊、忽视各学科的出版和引用习惯差异等。

对传统评估模式的不满已持续多年,《旧金山研究评估宣言》《莱顿宣言》《下一代指标》等报告和声明均就此发声。这些声明都对影响因子在出版物评估方面的垄断地位提出了批评,并建议采用更负责任、稳健、透明、多样化和达成共识的评估标准。为此,提出了包括纳入定性评价、以文章为评估单位而非期刊影响因子、扩大评估维度等举措。

目前,用于评估出版物的新定量指标Altmetrics已被广泛应用,该指标考虑了出版物的使用情况(阅读和下载)以及它们在社交和学术网络中的影响力。尽管它们不是研究质量的替代指标,但它们可以通过统计出版物在网络中的传播信息来作为引用信息的补充

鉴于学术评价需要新的指标,欧盟委员会创建了指标专家组,编制了一份包含150个指标的报告,旨在促进研究人员参与开放科学,指标涉及基础设施、培训、实践、个人经历等类型(Indicator Frameworks for Fostering Open Knowledge Practices in Science and Scholarship, 2019)。同样,欧洲大学协会也发布了相关指标并广泛调查研究人员的看法(Research Assessment in the Transition to Open Science: 2019 EUA Open Science and Access Survey Results, 2019)。这些文本可以为评估机构提供指导。

开放评价是推动开放科学发展的关键因素,新的评估指标和框架的实施对于促进这种新型科学模式发展至关重要。尽管已有一些初步方案,但在实际变革的推进方面仍有很长的路要走。

04




结语




如上所述,开放科学代表了科学研究的一种变革性视角,它基于合作、可获取和透明的价值观,将不同研究发展阶段的各种要素聚合在一起:开放获取目前已相当成熟,开放研究数据、预印本和公民科学在各学科中都得到认可,但在新型评价指标和评估模式方面的实践进展相对缓慢,而这对于促进开放研究实践至关重要。开放科学是一种方法而非目标,只有这些构成要素都得到全面发展并且建立起协同作用和协调关系时,开放科学才能发挥其最大潜力

开放科学的发展将面临挑战,开放科学不仅需要基于整体视角开发、协调和整合各个组成部分(尤其是新型评估指标),还需要突破传统研究模式,开发新的开放技术应用。尽管存在难度,但开放科学的普及将会在研究和知识的生成方式上带来真正的革命。


(全文及参考文献见ARBOR第197卷第799页,原文链接:https://arbor.revistas.csic.es/index.php/arbor/article/view/2403,本期推文为节选摘编,略有删减和编辑。)





本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 宋欣雨 邓晨菲 王译晗

本期编辑 | 宋欣雨

基地官网:https://statevalbase.fudan.edu.cn



· end ·


下一篇

人文社会科学内外的认知差异及其对研究评估的影响

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433