通过相关分析,我们可以合理推断,RRA法律框架的特点在于其来源具有不同的法律效力级别。
在欧洲层面,RRA法律框架有相关且具体的软法和自我监管来源,专门解决了RRA的一些内部问题。在过去十年中,欧洲为推动研究评估改革做出了多方努力,《改革协议》或许是自下而上方法的典型范例,其非强制性的规定和建议的灵活性是吸引不同利益相关者参与整个欧洲研究与政策的重要因素。
至少从欧洲的角度来看,软法和自我监管似乎能够更充分地回应道德和社会敏感或有争议领域对新治理模式的质疑。另一方面,这种软法也可以被视为一种局限:自愿基础和不具有法律约束力的承诺意味着可能会忽视甚至阻碍改革的实施。此外,一些国家在改革上的进展较为缓慢,导致改革实施的程度存在差异;有些国家改革实施较快,而另一些则遇到更多困难。
可以看到,虽然所有文件都提及了最佳实践,包括承认多样性和关注质量,但它们并未直接解决不当做法的问题。期刊影响因子(JIF)、H指数或大学排名的使用已被认定为RRA倡议(如DORA)中的不当实践,文献中也明确应负责任地采取评估方法。实际上,这一问题可能是我们面临的最严峻挑战之一。
考虑到自主性、灵活性、伦理和研究自由原则,软法和自我监管的框架显得尤为合适。与最高层级的立法模式相比,软法和自我监管更能满足科学需求和目的。软法和自我监管可以视为最初阶段的法律来源,并为将来制定硬法铺平道路。这是因为这两种法律来源的优势在于,它们易于调整,并能够与科学辩论和研究评估的发展保持同步。
然而,随着研究的社会相关性日益增加,以及科学家道德行为不端问题成为社会与科学关系的核心,越来越多的关注开始聚焦于自我监管的有效性。此外,尽管这些治理工具往往旨在加强学术界的积极参与和对话,但它们也常常被批评缺乏透明度和问责制,从而形成一个悖论。
值得讨论的是,在欧洲乃至全球层面,如何在协调和统一负责任的评估实践之间找到平衡。承认多样性、注重定性评估、摒弃基于期刊和出版物的指标、以及根据核心承诺进行大学排名,可能在一定程度上促进愿意签署改革协议的组织之间在评估实践上的协调。
对通用RRA框架的渴望与协调研究诚信(RI)标准的制定具有诸多相似之处。在大多数欧洲国家,RI标准要么通过法律形式进行约束,要么通过RI机构制定的法律或非法律性文件加以描述。Desmond等曾比较了欧洲国家层面的RI文件,提出了核心与边缘的协调模型。在这一模型中,《欧洲守则》定义了“核心”RI原则、良好实践和不当行为,而“边缘”方面则因国家而异。
因此,国家和组织在RRA实施方面的分歧可能会损害合作与流动性,甚至影响RRA框架的整体可信度。另一个风险是,如果政府机构未能将其法定评估程序与改革协议保持一致,或仅对部分研究进行评估,那么自我监管机制就无法“防止研究、研究人员和机构之间,以及机构之间的评估矛盾”,并且影响资助机构对此做出充分承诺。
欧盟软法中体现的RRA主要原则,极大推动了国家层面负责任评估政策的发展。除了国家层面,招聘、晋升、奖励和项目资助的个人评估也在各地的研究机构进行。这方面的挑战之一是,《改革协议》针对的是各个机构,而这些机构有责任确保RRA的有效实施。相比之下,RI守则则是针对研究人员的。因此,将期刊影响因子(JIF)或H指数在个人评估中作为不可接受的做法之一,可能会更为有效。如果这项规定被纳入《欧洲行为守则》,它也可以在国家和机构层面得到落实。
在国家一级加强各组织间执行RRA的一个可能办法是制定国家政策和联盟,例如荷兰、芬兰和挪威等国家已制定的政策和联盟。特别是,《芬兰研究人员负责任评估的芬兰国家建议》是由芬兰学术学会联合会(TSV)领导的一个基础广泛的工作组自下而上产生的。芬兰大学校长会议(UNlFl)和芬兰科学院(主要的基础研究资助机构)都公开表达了他们对该建议的承诺。芬兰各组织在负责任评估方面的活动是通过芬兰负责任的研究人员评估指导小组和开放科学合作的自我监管组织(即TSV)来促进和监测的。