摘要:塞尔维亚黑山大学将传统上应用于自然科学的评估标准应用至社会科学与人文学科(SSH),引发了激烈讨论。本文通过组织焦点小组访谈,调查了学者对该研究评估方式的看法。25位来自不同SSH领域的学者被分为5个焦点小组,针对特定问题展开深入探讨。结果表明,在SSH的不同领域,受访者对于评估的感知各不相同。受访者认为,目前评估SSH研究成果的方法未能充分考虑SSH研究方法与实践的特殊性。SSH研究质量评估必须是多维度的,既要包括尽可能贴合具体研究领域的必要指标,也要包含公认的质量标准。
关键词:人文社会科学;研究质量;研究质量感知;定性评估与定量评估
社会科学与人文学科(SSH)的研究质量评估已成为国际学术界高度关注的问题之一。一些研究机构致力于开发质量指标,并尝试通过转变SSH研究人员的观点来实施自下而上的评估实践。通常情况下,自然科学的研究质量评估方法也被应用于SSH,导致了SSH研究方法和出版实践的改变。在此背景下,《莱顿宣言》建议谨慎使用定量指标,要根据研究的性质和特点,以及每个领域研究工作及其出版特征进行考量。
现代科学传播方式和与之相关的所谓高校及研究人员的竞争力评估实践,主要参考了那些源自自然科学领域的比较机制,如影响因子、h指数和其他科学计量指标。与之相比,SSH与上述科学计量指标并不兼容。SSH在很大程度上依赖于定性评估(同行评议),同时在研究评估中存在一定量化的余地。
为了更好地开发SSH评估框架,笔者结合以往文献和社区感知,对SSH领域成员的认知态度进行实证分析。
黑山大学自2004年起,在所有学科领域的质量评估中均使用同样的评价标准。那么,SSH领域的学者如何评价这一评估方式?
“感知”对科研人员的整体行为有着显著影响,它通过影响研究者的信念、态度和价值观发挥作用。本研究为了解SSH领域研究人员的感知,设置了一系列问题开展焦点研讨:
· 在您所在学院内,同一学科领域的研究人员在评估科研工作质量时是否具有共识?
· 该评估标准是否适用于国内或海外类似机构?
· 您所属的学术团体(如大学)是否认同这种评估方式?
· 在评估您所在学科领域的研究质量时,您认为是基于指标的评估合适,还是其他更佳方式?
· 您的学科领域主要通过定性研究还是定量研究获取更佳结果?
· 请评估您所在学科领域研究合作的可能性——更适合团队合作还是个人研究?
· 您所在学科领域的跨学科/多学科研究的可行性有多大?
· 所在领域研究成果的国际化可能性有多大?
本文邀请到来自黑山大学4个学院(经济学院、哲学学院、语言学院和体育学院)的25名受访者开展研讨。我们选择了研究方法论与学科领域十分贴近的学科(如经济学和体育学),以及在国际科学索引(ISI)中覆盖不足的学科(如哲学和语言学)。此外,我们选择了不同经历和角色的受访者,从博士研究生到正教授,因为学术生涯的不同阶段将显著影响研究者的感知。25名受访者被分为5个焦点小组,小组一、二均来自哲学学院和语言学院,小组三来自经济学院,小组四来自体育学院,小组五为来自经济、哲学和语言学院的5名学生。
前三个问题旨在了解受访者对评估实践的意见。受访者们的看法截然不同,可分为四类:
1. 不认同该评估方式;
2. 不熟悉,尚不清楚什么是“质量”;
3. 存在基本共识,但认为很难对不同领域的研究成果进行比较;
4. 在评级层面上达成一致,认为领域中的高质量成果通常发表在著名期刊上。
受访者均认为,这两种评估方式都是可行、必要且至关重要的。此外,他们强调评估需要纳入各种学术活动及其成果,如会议、专著、教科书、专业活动等。受访者认为,考虑SSH的学科规范十分必要,并认为定性评估,即“同行评议”具有特殊的意义。受访者表示,“首先应重新设定指标,然后才能遵循标准”。所有焦点小组均认为仅依赖定量评估是不够的,制定一套标准至关重要,这也将优化同行评议过程。
(1)定性研究与定量研究
这两种研究范式的选取通常与在顶尖期刊上发表论文的可能性相关,主流观点倾向于认为定量研究的认可度更高,定性研究往往被视为解释性和分析性的。所有受访者均认为这两种研究方法都很重要,研究范式的选择应基于研究主题和目标。假如所有的学科都一味追求或实现方法论的量化,那将是一种遗憾。
(2)团队工作与个人工作
人文学者们对此看法不同,且他们团队合作的经验也明显不足。因此很难断定在人文学科中更容易产出好成果的个人还是团队。但所有受访者均认为跨学科是科学发展的未来。
(3)国际化
在国际期刊(英文期刊为主)上的研究发表需求,促进了研究成果的国际化。但是,很多国际期刊对本土化研究并不感兴趣,而是更加关注全球性议题或社会现实主题。若要在被主要数据库索引的国际期刊上发表文章,研究者需要基于期刊的兴趣而非本地的社会和科学需求,这被受访者视为某种形式的(地域/种族)歧视。此外,有社会科学家认为,当前的评估标准常常忽视“会议”的重要性,而会议在国际交流中发挥着十分重要的作用。
访谈结果展现了研究人员之间的不同感知和经验。就研究质量评估而言,学者之间尚未形成共识。所有研究质量评估,都与SSCI和A&HCI期刊文章直接相关。人文学者们认为通过这些期刊进行质量评估存在不透明性和不熟悉性。部分社会科学(如经济学、体育学)领域对出版要求适应很快,而人文学科整体领域的适应程度则远远落后。但是,即使是在高度适应的社会科学领域,学者们也同样认为难以直接评估在上述期刊上发表的成果的质量,因为这并不等同于质量保证。由于科学知识积累的非线性特征,受访者认为,对“优质成果”的评估可以独立于期刊或出版社完成。
对于如何评估本土研究和其他地区研究的质量,受访者持有不同看法。信息不足可能是阻碍评估的一个因素。在大学层面的评估中,自然科学的评估标准在SSH研究质量评估方面发挥了主导作用。部分社会科学领域已接受了这一标准,同时认为质量评估应考虑不同学科的特殊性。
研究的定性评估与定量评估并非是对立的。受访者普遍认为,这两种评估方法都是必须的。因此,单一的线性评估模式(如仅依据影响因子)并不适用于SSH。对这些学科而言,开发一套或多套更为复杂的评估体系尤为重要。受访者同时表达了对同行评议过程及评估指标的正面和负面意见。他们对经过同行评议的论文普遍持积极态度,但是,同行评议的众多缺点,特别是评议的主观性也不容忽视。
当前研究评估中采用的主要指标,如论文数量、期刊排名或影响因子,与研究范式(定性/定量)、研究特点(个人/团队合作)、以及研究成果的国际化潜力紧密相关。这些因素在不同的学科领域间具有显著差异,社会科学在课题的设计和实施上开展定量团队研究更为常见。
本研究揭示了SSH与自然科学的差异,传统的质量评价指标对SSH并不适用。在进行任何研究评估时,都应充分考虑不同学科领域间研究方法和实践的多样性。受访者主要围绕出版实践(尤其强调WoS收录期刊)展开讨论,其背后原因与学术传播和科学标准相关。
仅依靠定性评估是远远不够的,因为评审过程中不可避免的主观性会导致诸多问题。研究结果证实了这一点:多位SSH受访者提及了他们经历的困难和挑战,共同指向了这样一个共识——SSH的研究质量评估必须同时采用定性(基于充分信息的同行评议)和定量(基于特定研究特点制定的指标)方法。
本文为定义SSH研究质量评估框架及指标提供了启发,这不仅是改善同行评议的关键,也是构建评估体系的基础。
首先,在那些较为依赖统计数据的学科中,学者对质量评估感知的内部一致性较高。但这并不意味着所有学科领域都要以统计为导向。为了提升学科内质量评估感知的内部一致性,我们需要确定清晰明确的指标,体现SSH的独特性。通过以下3个步骤,可促进SSH研究质量评估形成共识:1) 开展涵盖广泛研究人员的研究;2) 强化关于“质量”问题的理论基础;3) 进行比较研究。
其次,指标设置不应是单一维度的,仅用单一标准来衡量研究质量(如期刊、特定类别的文章、影响因子等)是不够的。本文讨论到的SSH学科特征,也属于这些学科的全球共性特征,在指标开发时应予以充分考虑。
最后,在开发评估框架的同时,必须促进研究人员之间的讨论与思想交流。受访者的经历各不相同,分享这些经历对于改善整体的工作氛围有所裨益。例如,研究发现,一些研究人员缺乏团队合作经历,而另一些研究人员的团队合作流程则十分明确。在现代世界,科学很少是个人问题。研究现象的复杂性促进了团队合作,并推动了跨学科领域的发展。
总之,访谈结果显示,我们需要指标,但是应该选择哪些指标是未来研究中必须解决的问题。“质量”的评价指标很难协调一致,这意味着未来研究应侧重于寻找更加客观的定性指标。
(全文及参考文献见Business Systems Research Journal 2023年第14卷第1期,原文链接:https://sciendo.com/article/10.2478/bsrj-2023-0007,本期推文为节选摘编,略有删减和编辑。)
本期策划 | 复旦大学国家智能评价与治理实验基地
供稿 | 金潇苒 宋欣雨 王译晗
本期责编 | 邓晨菲
基地官网:https://statevalbase.fudan.edu.cn/