知评价

首页 > 评价前沿 > 知评价 > 正文

新型知识生产、传播和评估背景下的人文社会科学同行评议

发布时间:2023-07-14 编辑:王译晗 来源:复旦智能评价与治理,复旦新学术





1.

引言


自20世纪80年代以来,知识的生产、传播和评估逐渐扩散到学术同行之外的利益相关者。这种研究的“外化”不仅是线性知识转移和研究成果市场化的结果,还与(包括非商业形式的)社会创新以及知识社会概念的发展(不再局限于知识经济的狭义概念)相关

在人文社会科学(SSH)领域,例如传播学中跨越学科的发展是培养未来新兴领域专业人士所需的必然结果。总体而言,研究的外化受到决策者的支持,他们希望研究更加贴近现实世界中的问题,而不是局限于严格学科术语中的问题

在欧洲,欧洲研究区域(European Research Area, ERA)旨在为研究人员、科学知识和技术提供自由流动的空间,并通过推动决策者支持研究的外化来实现这一目标。决策者对基于“共同创造”概念的直接或间接概念予以支持——“知识生产模式2”(Mode 2 of Knowledge Production,即多学科团队在有限的时间内共同解决实际问题);“负责任地研究与创新”(Responsible Research and Innovation);“社会挑战”(societal challenges);“公民科学”(citizen science)等。在筹备下一个欧洲研究与创新框架计划“Horizon Europe”(2021-2027)的过程中,“使命”是关键概念之一专注于解决特定问题的社会挑战,并促进多个公共和个人参与者相互合作解决这些挑战。《欧洲开放科学议程》中提及的出版物开放获取、开放研究数据和公民科学,以及欧盟委员会提出的“影响力议程”(impact agenda),也促进了这种外化趋势的发展。

2.

将SSH融入以影响力为导向的跨学科研究


在此背景下,欧洲SSH研究面临着被"整合"或"融入"到受资助的研究中,并为解决社会挑战做出贡献的压力。欧盟委员会近期的一份监测报告显示,在Horizon 2020中,SSH的融入仍然不尽人意。2016年,SSH研究共有239个项目获得资助,其中70个项目(29%)没有SSH合作伙伴,同时一些学科几乎没有参与,如历史学(2%)和人类学/民族学(1%)。同时,SSH融合的质量也存在很大的不均衡性。

此外,人们发现Horizon 2020的评估总结报告中常常缺乏SSH专业知识。这不仅对实现SSH真正融合构成了障碍,而且对同行评议提出了新的挑战。实际上,资助机构需要邀请具有不同学科背景的SSH研究人员参与以影响力为导向的研究项目的同行评议。这需要研究人员掌握适当的技能,例如能够与不同学科背景的同行进行讨论争辩,以及在某些情况下与没有SSH特定认识论和方法论知识的同行进行交流,还应该接受适当的培训以准确评价影响力。

对于与STEM(科学、技术、工程和数学)同行进行跨学科研究项目评估的SSH学者来说,评估超越传统学科知识的研究项目本身就十分具有挑战性,其中存在的一个特殊问题是STEM同行并不总是愿意认同SSH学者具有与他们相同水平的专业知识。因此,SSH同行评议者可能面临着在没有社群和专业知识支持的情况下运用专业知识的困境,即缺乏“合法解释的境地”(legitimate locus of interpretation)。这与其所处的“境地”有关,他们难以基于这样的处境提出合法的知识主张和判断。因此,在跨学科评议小组中,SSH同行评议者经常会因为不同学科声望水平不同,而缺乏决策者所倡导的平等性

合法解释的问题也涉及SSH学者与潜在参与评议的非学术人士之间的关系。正如Lewis所指出的,“在物理、化学和生物科学中,合法解释的境地通常位于生产者的社区内部,因为只有那些具有专业专长的人才被认为能够做出有效的判断。相比之下,社会科学中的合法解释境地要分散得多。”

解决这些问题需要加强SSH学者和STEM学者之间的相互理解和认可。我们应努力创造一个包容和尊重的环境,在这个环境中,不同学科的专业知识能够得到平等的价值认可。此外,推动跨学科培训并鼓励合作开展研究项目可以进一步弥合差距,增强跨学科对话和合作。

最后,决策者和资助者应避免在跨学科评估的背景下强调“SSH专家”和“SSH专业知识”的概念。虽然这些概念确实有助于将SSH具象化为一个具有连贯认识论和方法论的实体,但认识论和方法论在不同SSH学科之间有很大差异。因此,在跨学科同行评议的过程中,决策者应尽可能反映出与项目相关的各SSH学科的多样性。如果无法从相关学科中找到评议专家,则应优先考虑相似学科的专家。决策者还可以建立跨学科评估专家团队,对其主题领域进行标示,而非划分严格的学科范围,以此来增加评估的多样性和广度。

3.

资深社会学家对同行评议的看法


研究的生产、传播和评估的背景正在不断变化,促使同行评议者不断适应更多跨学科和影响力驱动的研究。但文献显示,各个阶段的研究人员(包括早期职业研究人员)普遍对传统的同行评议制度感到满意,并认为它是有价值的。根据Ware的一项调查,绝大多数学者(93%的受访者)甚至认为同行评议是必要的。另一项大规模调查表明,同行评议仍然被认为是评估出版物可信度的最重要指标,并在提高文章质量方面起着重要作用。根据同一研究,研究人员不太可能引用未经同行评议的材料,不过也有一些研究人员(特别是年轻的研究人员)愿意使用这些材料。同行评议和影响因子仍然是选择发表期刊时的决定性标准。但是,研究人员也认识到同行评议存在不公平、偏见和时滞等缺陷,并对评议者承担的责任和整个过程的可靠性表示担忧

有团队研究了资深SSH研究人员对研究评估的态度。该团队成员在2018-2019年对16位社会学家进行了半结构化访谈,这些社会学家在比利时、克罗地亚、塞浦路斯、芬兰等8个欧洲国家十分活跃,并且获得博士学位至少8年。研究者使用各自国家的语言对他们进行了访谈,了解他们对评估中使用的质量标准和原则、传播和实施等方面的看法(重点关注其对同行评议的看法)。

受访者对同行评议的看法主要与他们在研究评估中所感受到的变化相关。根据受访者的观点,当前的评估仍然优先考虑国际出版物和使用定量绩效指标。因此,一些受访者认为,评估中的定量指标会比定性同行评议更重要。其他人则认为,根据他们的经验,定量指标正在被整合到同行评议过程中。

无论如何,大多受访者认为,同行评议是社会学知识生产中一个非常重要、甚至必不可少的质量控制机制。但受访者的态度仍然存在矛盾之处:一些研究人员认为传统的同行评议制度具有明显的优点,一些研究人员则认为同行评议存在突出的缺点,甚至会产生一些威胁。

一方面,许多学者将同行评议视为选择学术期刊的顶级准则。因为它能够明确区分高质量的出版物和其他“不重要”的研究工作,还能够帮助几位受访者寻找擅长在国际同行评议期刊上发表论文的学者。语言(英语)能力,以及如何作为审稿人和被审稿人参与同行评议的能力都十分重要。

同行评议被大多社会学家认为特别适用于个人层面的评估:对文章的同行评议可以帮助作者改进论文,同时使审稿人了解该领域的最新进展;对于小型国家而言,引入国际同行评议被认为有助于克服小型学术社区的固有问题,如人情问题;国家资助机构引入国际同行评议则可以促进国内SSH研究成果的国际化。

另一方面,同行评议远非一个完美过程,在一些受访者看来它存在着偏见。一些受访者提到,同行评议制度并不公正,或者评议专家不愿意进行客观的评议。一位冰岛的女性学者甚至认为,与其他学科相比,社会学领域的同行评议专家尤其苛刻:“或许社会学领域的研究者受过批判性思维的教育…常常提出具有批判性的观点…如果他们没有找出任何问题,就会认为我们有问题,将我们否定。”此外,受访者们认为学界缺乏关于同行评议的规范指南。过度依赖国际同行评议会导致国际同行评议专家不能充分考虑到当地背景和社会影响力,这会造成不良后果。一位比利时男性学者提出“有时候我们会觉得,当我们撰写期刊文章时,仍然存在某种形式的审查,也就是说,只有符合期刊要求的论文才能被发表,我并不喜欢在我认为我是正确的情况下重新改写文章。

根据一些受访者的陈述,那些要求支付文章处理费(APC)以出版论文的“掠夺性”开放获取期刊削弱了学者们对同行评议的信心,因为这类期刊在维护同行评议(如有)水平方面做的很差。但是这些“掠夺性”期刊还是能够吸引到研究人员投稿,因为研究人员有发表国际论文的压力。

最后,一些受访者认为,在本土影响力方面,对同行评议出版物的认可度应与一些非同行评议出版物相平衡,比如国内期刊或面向非学术受众的出版物——“一些面向公众的期刊也许影响因子较低,但在这些期刊上发表文章可以使更多人阅读到你的研究成果,以便与更广泛的社群建立联系,这对于那些实际应用你的研究成果的从业人员来说也很重要。”

4.

讨论


综上所述,除了应使同行评议适应跨学科研究和影响力驱动的研究所带来的挑战之外,我们还需要对作为审查研究结果的学术过程中的同行评议,和作为衡量研究产出水平高低指标的同行评议进行区分。虽然同行评议在SSH领域中确实很重要,但是若将其视为当前阶段衡量科学质量及其相关标签的唯一方法(如在STEM领域),则可能导致我们忽视大量且重要的SSH研究成果。在SSH学科中,存在着更广泛且更有价值的研究出版物类型,其价值甚至超过在(国际)同行评议期刊上发表的文章,例如专著或一些非学术出版物。

此外,在认识论层面上,SSH知识主要通过同时存在的异质范式而发展,而不是通过大多数科学家会达成共识的连续范式。研究表明,与STEM领域相比,SSH领域的同行评议对原创性的定义更广泛,包含发现、理论、方法和途径等方面的特性。因此,一方面,在将SSH融入跨学科研究和影响力驱动的研究的同行评议过程中时,应予以充分考虑SSH研究视角;另一方面,在讨论SSH领域的质量问题时,应防止决策者和评估者仅关注同行评议并将其视为“卓越”研究的标签,而忽视其他因素


(本文选自ENRESSH报告Overview of Peer Review Practices in the SSH,原文链接:https://enressh.eu/links_and_literature/enressh-publications/,本期推文为节选摘编,略有删减和编辑。)




本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 邓晨菲 金潇苒 王译晗

本期责编 | 金潇苒

基地官网:http://statevalbase.fudan.edu.cn/main.htm



· end ·



下一篇

如何发展人文社会科学中的同行评议?

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433