基于计量的绩效评估体系如何推动问题出版物的泛滥?-国家智能评价与治理实验基地
知评价

首页 > 评价前沿 > 知评价 > 正文

基于计量的绩效评估体系如何推动问题出版物的泛滥?

发布时间:2025-05-09 编辑:王译晗 来源:复旦智能评价与治理


图片


摘要: 问题出版行为的泛滥引发了学术界的广泛关注,促使学者们深入探究研究人员对问题期刊的偏好动机。本研究旨在探究土耳其现行学术绩效评估体系对学者选择问题期刊的影响。基于Kulczycki等关于问题期刊的综合研究数据,我们分析了398名在问题期刊上发表417篇论文的土耳其研究人员的学术生涯。研究结果表明,现行研究评估体系与期刊选择之间存在显著关联,这一现象在申请副教授职称的过程中尤为突出。值得注意的是,96%发表于问题期刊的论文均被列入学者的学术履历,表明这些成果被用于学术晋升或激励申报。本研究为理解学术绩效评估体系与问题期刊选择偏好之间的关系提供了见解,但若要全面把握学者发表选择背后的动机,并制定有效策略以遏制学术界的问题出版行为,仍需开展进一步研究。

关键词: 掠夺性期刊;问题出版;学术绩效评估;学术生涯;高等教育;土耳其


01

引 言


学者选择在问题期刊发表论文的原因,部分可归因于其对期刊甄别的认知不足。然而,现有研究表明,更多情况下学者是出于加速学位获取、申请终身教职或参与激励项目等目的而主动选择问题出版。对于青年学者和早期研究人员而言,情况则更为复杂。当"不发表即无法获得学位"的压力、机构发表要求与自我效能焦虑共同作用时,这些出版平台便为年轻学者构建了一个"影子学术圈"。这些现象充分表明,遏制问题出版的关键在于改革现有的科研绩效评估标准。尽管学界对此类期刊和出版商的讨论持续不断,但由于缺乏权威的负面清单,问题出版行为依然存在。然而,问题期刊产生的根本动因在于学者对快速、便捷发表的诉求,而现行学术晋升与激励制度正是助长这一诉求的主要推手。因此,若不对现有学术晋升与激励体系进行实质性改革,打击问题期刊将难以取得成效。

基于上述背景,本研究的主要目标是探究现行学术绩效评估体系对学者选择问题期刊的影响。研究以土耳其学者为研究对象——由于激励津贴制度与学者认知不足等因素,土耳其位列问题出版偏好国家前三,重点分析研究人员学术生涯与其问题出版偏好之间的关联,旨在回答以下研究问题:土耳其各大学在问题出版偏好方面是否存在明显的模式(如学校类型、建校时间、地理位置等)?学者在学术生涯的哪个阶段倾向于选择问题期刊发表论文?在问题期刊发表论文的作者是否会将此类成果纳入职称晋升与终身教职评审材料?

土耳其学术评估体系的核心特征在于其基于量化指标的评估标准。这种机制驱使研究人员追求快速发表以累积评分,往往导致产生数量优先于质量的现象。并且,由于该体系对"国内出版商""专著""书籍章节"和"国际出版物"等关键概念缺乏明确定义,最终催生了大量无人问津的学术成果。因此,深入理解基于计量的评估体系的影响机制,对有效治理问题出版行为具有重要意义。


02

数据和方法


2.1 初始数据与问题期刊界定

本研究核心数据来自Kulczycki等人的研究,该研究涵盖了2012年至2018年间在社会科学期刊上发表的3,234篇问题文章,以及引用这些文章的5,964篇文献,其中包含土耳其398名学者在问题期刊上发表的417篇论文。原始研究采用三个步骤构建社会科学领域问题期刊数据集:首先从Beall名单的1,310种期刊中筛选37种社会科学期刊;其次从Cabell名单的10,496种期刊中另选37种;最后通过交叉比对确定74种社会科学问题期刊。

2.2 分析方法

本研究采用多种可视化工具进行数据分析:饼图、堆积条形图、散点图通过Excel生成,并运用Adobe Photoshop CS6软件优化可读性;以及在线可视化平台Flourish9、Statplanet等软件。鉴于数据呈非正态分布,研究采用Spearman相关性检验来分析机构历史与问题期刊发文量之间的相关性。


03

调查结果


3.1 描述性统计

尽管本研究采用的数据源自仅针对社会科学期刊的分析,但通过检视土耳其纯科学领域学者的名单,可以证实问题期刊具有显著的"跨学科性"特征。既往关于问题出版的研究表明,健康科学、人文学科和技术等多元领域均存在对此类期刊的偏好,本研究结果进一步验证了这一现象。


图片



图片


虽然普遍认为青年研究者对问题期刊的认知水平较低,但本研究发现,81%的作者具有教授或副教授职称。考虑到这些论文发表于2012-2018年间,厘清作者在其学术生涯哪个阶段选择问题期刊具有重要意义。现有文献指出,学者在问题期刊发表论文往往是有意识的主动选择,因此这种现象在资深学者群体中的凸显并不意外。博士学位获取后快速申请副教授职称的机制、以发表为导向的评审标准,以及公立大学实施的学术激励政策,共同构成了这一选择行为的重要推动因素。

在分析学者的国际背景时,一个显著特征显现:约80%的学者仅与国内机构存在关联,而20%具有国际机构联系。既有研究证实,拥有研究生阶段及以上国际学术经历的学者更少选择问题期刊发表,本研究数据支持这一结论,显示具有国际联系的学者更能明显规避问题期刊

图片

图4显示,建校时间在20年内的大学其学者在问题期刊的发表量显著偏高,这可能反映新建院校面临的发表压力。特别是在建校5-10年的私立院校中,问题期刊偏好现象更为突出,而在历史较久的院校中相对少见。

3.2 职业阶段对期刊选择的影响

图5中,红色基准线标示问题期刊论文发表年份,各数据点对应研究者学术生涯的关键节点。可视化分析表明,多数研究者(深蓝色数据点集中于基准线上方区域)在获得副教授职称前选择问题期刊发表。表1的量化数据显示,问题期刊发表与获得副教授职称的中位时间间隔仅为1年,而与教授职称的中位间隔达4年,证实研究者倾向于在申请副教授职称的关键阶段采用问题期刊发表策略


图片



图片


3.3 在问题期刊上发表的文章是否被纳入学术晋升或激励档案中

研究结果发现,96%的问题期刊论文被学者收录于高等教育委员会(HEC)数据库的个人档案中(图6)。卡方检验显示,不同职称学者在此行为上存在显著差异,表明职称晋升需求与问题期刊使用之间存在关联。


图片



3.4 作者的发表和引用模式

如图7所示,教授群体在问题期刊发表前后的WoS索引论文数量无显著变化,而其他职称群体则呈现明显差异。这种差异主要源于学术生涯的累积效应和阶段性特征。值得注意的是,随着职称晋升,学者的论文发表量和被引频次通常呈现同步增长趋势。


图片




04

讨论


问题出版议题最初由Beall名单引发关注,随着Cabell等商业机构黑名单的出现而持续发酵。现有研究对这一主题进行了广泛探讨,多通过定性数据和分析方法,致力于了解研究人员选择问题期刊的动机。在这些研究中,学术绩效评估体系(包括激励机制和晋升结构)的影响成为一个反复出现的主题。通过实证数据验证这种影响机制,对于制定有效的应对措施至关重要。

本研究的结果表明,当前的研究评估体系显著影响着土耳其研究人员的期刊选择偏好,这一现象在申请副教授职称的过程中表现得尤为突出。在纳入研究的398位学者中,这一影响得到了普遍验证。值得注意的是,就研究人员选择问题出版物的倾向而言,学术机构的类型或历史并未显示出明显的规律性模式。虽然新建大学在问题期刊上的发表更为普遍,但这一问题在历史较久的大学中同样存在。这一发现强调了需要制定全面的应对策略,以便在更广泛的范围内解决和纠正这一问题

研究结果还显示,研究人员的学术档案中存在大量问题出版物,表明这些出版物被用于申请学术激励和副教授职称。此外,研究发现具有国际机构联系的学者在问题期刊上发表论文的倾向较低,这为相关讨论提供了一个新的视角。

关于问题期刊论文的引用情况,观察到一个值得注意的现象。尽管学术界对于引用量能否作为衡量论文质量的标准一直存在争议,但这些论文仍然获得了大量引用,表明它们对学术界产生了显著影响。对这些引用进行更深入的分析,可能有助于我们理解这些出版物对学术文献的实际贡献。


05

结 论


本研究揭示了当前学术绩效评估体系对研究人员选择问题期刊的重要影响。尽管在机构类型和历史方面没有发现明显的模式差异,但研究结果显示,无论是新建大学还是历史较久的大学,都存在选择问题期刊发表论文的共同趋势。这些发现凸显出一个迫切需要解决的问题:必须制定全面统一的应对策略,以改进学术研究评估实践。对于那些正在努力在当前学术生态系统中确立地位,并为此投入大量资源的新兴国家来说,这一需求显得尤为迫切。必须采取有针对性的干预措施和改革方案,以确保建立一个更加透明、严谨和符合伦理规范的学术出版环境,同时培养一种重视研究质量而非单纯追求数量的学术文化



(全文及参考文献见Scientometrics 2024年第129卷,原文链接:https://link.springer.com/article/10.1007/s11192-024-04991-8#Sec10,本期推文为节选摘编,略有删减和编辑。)






本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 宋欣雨 王译晗

本期编辑 | 宋欣雨

基地官网:https://statevalbase.fudan.edu.cn



· end ·



下一篇

从指标到叙事:叙事文献计量学的基本理论

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433