同行评议,无论是作为一种政治工具还是作为一种加强学术自治的手段,都是知识生产的重要推动力。其主要作用在于确保研究的有效性和质量,因此被作为一种国际通用方法并应用于广泛场景,包括学术论文的发表前评估、资助申请的决策、研究机构的评估、资助机构对研究领域的审查等。在上述场景中,同行评议的开展方式各有不同,有些依赖于学术专家与非学术专家进行公开辩论的团体同行评议,而有些(如学术论文)则是由编辑参与和协商的盲化过程。本文我们重点关注对学术论文的同行评议,以及它的概念和开展方式与SSH(人文社会科学)的关系。
“SSH学科并非同质,学科之间存在重要的认识论和方法差异”
学术论文的同行评议是一种正式的质量保证机制,在该机制中,作品要接受他人的审查,然后结合他人的反馈和判断来进行改进,并决定最终是否出版。由此我们可以看到同行评议的5个不同功能:(1)提供反馈/改进指导,(2)判断可靠性/稳健性,(3)判断论文的创新性、质量和/或潜在影响,(4)判断论文与期刊的匹配度,(5)对论文发表提出建议。这些过程不一定互相交织,例如一些期刊要求审稿人仅关注技术可靠性而非感知重要性(如PLOS ONE和PeerJ),而另一些期刊采用发表后同行评议(例如F1000Research)的做法。同行评议通常可分为单盲或双盲。与STEM(科学、技术、工程、数学)领域不同,在SSH领域,就期刊论文而言双盲评议更为常见,单盲评议则更常见于图书和专著。
当前已有多种开放同行评议模式,并在各种情况下被应用。开放同行评议是指将审稿人身份透露给作者(开放身份),并将评审意见与论文一同发表(开放报告)。在SSH中,对开放同行评议的另一种理解似乎更为普遍,即“开放参与”,也就是说通过网络进行“众包”式的评议。这些同行评议的创新模式似乎在STEM领域中的应用更为普遍。传统的同行评议制度因存在主观性、时滞性和不可靠而备受批评,其可持续性也受到质疑——知识生产水平的不断提高(从发表文章的数量来看),以及许多研究人员参与同行评议并没有获得报酬,使得期刊编辑越来越难以找到和邀请合适的审稿人。
过去对于同行评议的创新和研究主要关注STEM领域且基于STEM视角,这是片面的,因为文献回顾表明,在SSH中,论文发表和同行评议实践与STEM存在诸多差异。在讨论这些差异之前,我们应明确,SSH学科并非同质,学科之间存在重要的认识论和方法差异。例如,一些学科(如经济学、心理学)使用假设驱动的方法和实证主义的认识论,比较类似于自然科学,因此这些学科的出版模式与STEM较为类似 (注重在英文国际期刊上发表文章)。但在其他SSH特别是人文学科中,更加倾向于将专著作为研究交流的主要模式。SSH期刊论文更多发表在当地期刊上并且多使用当地语言。SSH学者发表的文章相对较少,并且SSH文章的共同作者/合著者也较少。与高投稿率且高拒稿率的STEM相比,SSH文章在同行评议之前被拒绝的概率相对较小,但同行评议所需的时间,以及从提交到发表的周期要比大多数STEM领域长得多。考虑到论文手稿平均要投3到6个期刊才能最终出版,我们应思考SSH领域中的拒稿、重投和最终出版周期的延迟对研究进展产生了多大影响。这也与SSH学科交流的速度相关。与快节奏的实证科学不同,SSH领域的引用速度通常较慢,作品的真正影响力可能需要更长时间才能显现出来。
如上所述,专著在许多SSH领域起着更为重要的作用。对专著的同行评议不应与对期刊论文的同行评议相同。虽然这方面的研究较少(尽管似乎正在兴起),但就评议过程和标准而言,专著的同行评议不那么正式:是否对专著提案、单个章节或完整手稿开展同行评议根据具体情况不同而有所差异;评议者可以是独立的同行、编辑委员会或是组稿编辑;商业标准和学术标准没有统一的权衡标准;评议的组织方可以是出版商、丛书或图书编辑、学术委员会等等。
“评议者应采取‘认知情景化’的方法,选择‘最适合评议领域或学科的认识论风格’”
研究人员对同行评议态度进行的调查普遍发现,同行评议虽然普遍来说接受度较高,但也存在一些争议。Rowley等发现,与STEM相比,SSH学者不认为同行评议可以判断创新性或重要性、发现剽窃或欺诈、发现事实错误以及判断文章是否适合期刊,他们倾向于认为同行评议对作者存在着基于性别、世界地区和资历水平的偏见。
这种差异可能反映了不同学科在同行评议目的方面的差异。可以说,在知识生产的方式上的认识论差异,使得SSH所涉及的判断与STEM中的判断往往不同。与药物试验或物理实验等严格控制变量并且会宣布结果成功与否的研究相比,对人类行为和人类经验的研究更加复杂。即使在经济学、社会学或心理学等更加以实证为导向的领域,样本量的大小或实地调研的混杂因素等也会使SSH的解释自由度高于STEM。这意味着以实证主义为导向的成功标准(如严格的方法论或可重复性等标准),可能会侧重于与STEM最相似的部分,而忽视其他部分,在十分依赖互动性专业知识的情况下尤其如此。在这种情况下,“同行”的水平是否专业取决于对知识的不同预设观念。Mallard等采访了来自5个跨学科领域的81位参与资助评估的评委,发现决策过程中存在4种不同的认识论风格,当某种风格去评估另一种风格的提案时,就会产生冲突。这些基本的认识论假设将影响被评估内容的价值、意义的解释方式以及评议者的评估结果。他们的最终结论是,评议者应采取“认知情景化”的方法,选择“最适合评议领域或学科的认识论风格”。就算无法实现这一点,也不应该将评议者的工作价值视为零,而是应首先阐明在认识论方面的冲突。
简而言之,对SSH研究的同行评议通常不像STEM那样,可以在实验环境中检查研究过程和理论的正确性。对人类行为和经验的研究,其复杂性更高,并且可以表现为诸多方式。正如Derricourt所说,“在较‘软’的社会科学和人文学科中,一篇文章是否被录用,可能取决于它是否符合该学科的惯例,审稿人是否认同这种方法和论点,以及审稿人是否认为它重要或有趣。这些与其说是实质性的问题,不如说是编辑性的问题。”
“STEM的价值观和质量观正在不断渗入SSH,需要改进同行评议对其加以控制”
本文探讨了当前同行评议的适用性以及SSH学科对同行评议的需求。本文将同行评议定义为评判科学知识所必需的一种划界行为,这需要审稿人以专家的身份行事,将其职能形式化。同时,本文对STEM和SSH的同行评议进行了区分,我们认为,由于知识生产水平和跨学科研究的增长,以及同行评议不可持续性的凸显,STEM的价值观和质量观正在不断渗入SSH。如果不加以控制,同行评议的黑箱性质将催化STEM相关观念对SSH的渗透,将会迫使SSH研究人员直接服从评议结果,而不是有意识地公开讨论审稿人提出的建议是否合理,这将不利于SSH发展。这会使现有的同行评议制度形成一个恶性循环,阻碍SSH通过其同行评议过程进行独立于STEM的自我管理和规范,不利于明确SSH独特的质量和价值概念。
(本文选自ENRESSH报告Overview of Peer Review Practices in the SSH,原文链接:https://enressh.eu/links_and_literature/enressh-publications/,本期推文为节选摘编,略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 金潇苒 宋欣雨 王译晗
本期责编 | 金潇苒
基地官网:http://statevalbase.fudan.edu.cn/main.htm