知评价

首页 > 评价前沿 > 知评价 > 正文

别无选择:研究评估对英国学者写作实践的影响

发布时间:2023-03-31 来源:复旦智能评价与治理,复旦新学术


摘要[目的] 考察三所不同的高等教育机构和三个不同学科的研究评估政策对学者写作实践的影响。具体来说,本文讨论了英国研究卓越框架(REF)和机构对其的回应如何影响学者的写作。[过程/方法] 共有来自英国三所大学的49名学者接受了访谈,这些学者分别来自STEM学科、人文学科和应用学科中的一个学科(数学、历史和市场营销)。本研究开展了多次半结构化访谈,重点关注学者写作实践的不同方面,对院系负责人和行政人员也进行了访谈。最后使用定性数据分析软件ATLAS.ti对访谈数据进行编码。[结论]学者在职业生涯中取得成就的能力与他们实现研究评估制度中定量和定性目标的能力密切相关,但这些目标包含了对知识创造不合实际的理解。研究评估制度限制了学者的认知选择,部分原因是它将写作导向了不适合学科传统的出版物类型和出版渠道,部分原因是它对各个机构和各个年龄段都产生着影响。[创新点] 本文填补了以往研究空白,提供了关于研究评估制度影响的实证和定性发现,是为数不多的关注学者个体学术写作实践,特别是学者个体受研究评估制度影响的论文之一。

关键词高等教育;定性研究;研评估;认识论;REF;学术写作;知识创造


01


引言



科研人员都需要写作,无论是日常工作,还是学术研究。随着学术环境的变化,写作及其相关实践也发生了变化。当前高等教育发生了变革,引入了更多管理方法,已经改变了对于学者写作要求的性质,其中最主要的是与评估研究质量相关的制度。英国的研究卓越框架(REF)便是这类制度。这项全国性活动每5到6年进行一次,目的是对研究质量进行评级,以便高等教育资助机构能够相应分配资金。REF建立在同行评议制度的基础上,高等教育机构的科研产出等材料被提交给一个专家小组,专家进行审阅并给出1到4星的评分(4星为最高),最后将所有分数进行汇总,然后相应地分配政府资金。各院校公布其院系的REF评估分数,以展示其质量并吸引学生。因此,REF的分数与大学排名和排行榜相关联,反过来又会影响大学的学费收入。

鉴于高REF分数背后的金钱和声誉价值,大多数大学和院系都制定了关于学术人员工作的政策,以尽可能在REF中获得高分。这些政策包括文章或专著出版数量、出版物类型(期刊或图书)和出版渠道,也包括设立目标期刊(著名/高影响因子)标准,对在这些期刊上发表文章的学者予以奖励。

本文旨在探讨评估研究的制度(REF及其衍生的制度政策)如何影响英国三所不同大学学者的学术写作实践。通过半结构化访谈结果,本文认为,这些评估政策对学术写作施加了相互矛盾的压力,对学者们所能保持的认知立场和所能做出的选择造成了限制。


02


研究评估及其效果



机构和个人的卓越研究都是基于一定的社会和政治背景,“卓越”的概念和用于评估研究的方法都在意识形态层面上受到了广泛的批评。Moore等认为“卓越”包含了比较,因此它主要是一种跨越机构和学科来宣扬价值的手段,而不是一种能够描述任何既定成果内在品质的有意义的方式。Strathern认为研究审计制度倾向于将研究本身的质量与院系或研究中心的质量混为一谈。同样,Wilmott和Burrows认为,诸如期刊目录和h指数这样的评估工具已经开始以它们从未设计过的方式来制定学术价值。

科技研究和政策研究领域的实证研究倾向于从宏观视角考察研究评估制度在国家或机构层面的影响。例如,许多研究比较了不同国家的研究评估制度,运用文献计量学研究检验了引用模式与研究评估框架之间的相互作用。在机构层面,Espeland和Sauder考察了美国法学院大学排名的影响,Rushforth和De Rijcke研究了荷兰两所大学医学中心的研究团队使用期刊影响因子的方式。Hammarfelt和De Rijcke将瑞典的出版实践数据与一所艺术学院的调查数据相结合,以了解学界如何应对瑞典的研究评估政策。

一小部分文献试图通过观察研究评估制度对个别学者的影响,自下而上地研究研究评估制度带来的影响。Gill考察了研究评估对学者动机和幸福感的影响,其他人则研究了学者对评价工具(如期刊影响因子和h指数)的态度。但是,人们对研究评估对实际知识创造的影响知之甚少,尤其是在个别学者的学术生活经验和写作实践层面。最近,Fochler等人调查了奥地利博士生和早期职业研究人员如何将其价值归根于其工作的不同方面,并发现博士后的价值感与主要的研究评估制度密切相关。

上述大部分研究都集中在自然科学领域,人们对所谓“透明”的研究评估政策如何与不同学科的知识创造实践相互作用知之甚少,特别是很少有研究关注人文学科或市场营销等应用学科。此外,缺乏能够阐明个别学者如何诠释和感受研究评估的定性研究。最后,尽管写作是学术工作的核心,但评估制度影响写作实践的方式却很少受到关注。写作不是一种信息交流的透明媒介,而是一种知识创造的高度社会化活动和谈判场景。

本文旨在探讨学者对其学术写作多重要求的回应,特别是他们的写作和出版实践如何直接或间接地受到研究评估政策的影响,以及这些政策如何影响他们对研究写作的选择。利用对英国大学不同学科学者的定性访谈数据,本文研究了知识是如何通过学者的写作实践产生的,以及这些知识是如何被当代高等教育背景塑造的。

本文中写作被视为一系列实践,这些实践嵌入在特定时空的社会背景之中。这种定义承认学术写作需要Van Leeuwen所说的“社会规范的行事方式”,并包括分析参与者日常写作经历和活动的要素。其中包括他们写作中涉及的关系和合作,使用的工具和资源,以及写作活动在空间和时间上的分布。本文的研究结果主要集中在这些实践的一个方面,即学者的出版选择和优先级,并考虑这些如何反映更深层面的认知价值和身份认同。


03


方法



为探究研究评估政策如何与制度背景、学科文化等因素相互作用以影响学术写作,本文从英国三个不同机构和三个不同学科招募了参与者一个是大型研究密集型罗素大学集团(The Russell Group)成员,一个是成立于1960年代的新型研究密集型大学,另一个是一所以教学为重点的前理工学院,于1992年被授予大学地位。选择数学、历史和市场营销这三个学科是为了从不同的学科传统和知识创造规范中获取数据。

本文最初采用便利抽样和滚雪球抽样进行招募参与者,同时通过机构网站直接联系和邀请认为合适的学者。本文共对49位学者进行了81次访谈,所有参与者都从事科研工作,资历从讲师到教授不等。大学名称、个人姓名、身份信息都进行了匿名处理。

由16位学者组成的核心小组接受了3次采访,每次采访都集中在他们写作实践的不同方面。为更好地了解物理空间和资源对他们的知识创造实践的影响,本研究首先进行了随行访谈,对他们的工作场所进行了虚拟和实际的参观;第二次是数字传记,访谈重点关注他们在生活的不同阶段和不同领域对数字技术的使用;最后,“生活中的一天”访谈聚焦于参与者生活中的特定一天。其余33名学者接受了1次访谈,目的是验证对核心小组的调查结果。一次性访谈主要关注学界的写作实践,包括他们被期望的写作类型、他们为实现这一目标所利用的资源,以及对他们写作的评估方式。此外,笔者还与行政人员和院系负责人进行了访谈,以了解如何在院系层面分担、分派、计算和评估写作。

本文使用ATLAS.ti定性数据分析软件对访谈的记录和转录数据进行编码,以对数据进行分类和标记,例如参与者谈到的不同写作类型或评估他们工作的方式。本文的重点是明确国家REF政策、机构和院系政策、个体学者写作实践之间的影响链。


04


结果与讨论



研究结果揭示了国家层面REF推崇的知识形式与学界本身推崇的知识形式之间的紧张关系,这对学者优先考虑何种写作形式以及在何处发表研究成果产生了强烈影响。研究评估制度的影响在学科、机构和学术年龄段之间不均匀分布,对学科价值和职业流动性产生影响。以下三节内容首先讨论了学者的职业成就与基于REF的对知识创造的理解之间的密切联系;然后讨论了两个学科研究评估制度造成的认知影响;最后是REF对非学术读者写作影响的采访数据分析。


4.1 对学术成就的狭隘理解



研究发现,学者的考察和晋升与学术写作相关,这几乎完全源于REF。英国的国家研究评估制度已成为评价个别学者表现的核心因素,它不仅决定了学界预期出版的出版物数量,还决定了这些出版物的类型和出版渠道。Stephanie认为,REF限制了学者写作中的合作,因为单作者论文是首选。

不同的机构、院系和学科根据REF以不同的方式理解和制定了对学术写作实践的要求。例如,虽然Stephanie的院系根据其学科领域期刊的声誉地位制定了质量评估的隐性标准,但在其他情况下,外部显性标准被用于评估研究产出。参与这项研究的每个市场营销院系都参考英国商学院协会(ABS)《学术期刊指南》设定质量标准。这份每年出版的指南对包括市场营销在内的商业和管理领域的期刊进行排名,使用的是仿照REF命名的星级评级制度,学者们被期望以在特定期刊(即被ABS期刊指南被评为三星级和四星级的期刊)发表文章为目标。ABS的星级评级制度深度影响着他们的学术写作,每位接受采访的市场营销学者都用ABS期刊指南的星级评级来谈论自己的作品与成就。

访谈中展现了这样一种学术写作的场景,包括长时间与数据较劲,一直面对着许多质疑、修改和拒绝。学者们实际感受到的知识创造过程可能是一个混乱的、此起彼落的过程,而不是一个持续、高效的直线。正如其他人所指出的那样,推崇持续不断发表“世界领先”期刊文章的一个潜在后果是,没有知识工作开展实际需要的负面结果和“死胡同”。学者可能会逃避有风险或创新难的研究领域,因为他们担心这会导致他们进入一个无法直接发表论文的死胡同,或者被顶刊拒绝。

不仅学术写作本身的性质可能比REF所包含的更混乱,而且不是所有学者都具有写作的有利条件。在1992年成为大学的机构中,大多数学者的教学负担相对较高,也不是一直有重视科研写作的文化。这所大学的一位系主任将科研描述为“锦上添花”,但也承认“每个人都在做”。有学者直言,虽然他希望能发表高影响力的学术出版物,但这并不是他工作的优先事项。可见REF的一个影响是,教学密集型机构的学者的职业流动可能会受到限制。一位学者提到,他所在院系的写作标准无法支撑他跳槽到一所研究性更强的大学。更加具有讽刺意味的是,除非一个人已经做出了“卓越”的研究,否则他很难再做出更多同样的研究。参与本研究的机构和院系将其员工的工作要求(包括考察和晋升)与同REF密切相关的绩效目标联系起来。学者们普遍认为,无论是从实践还是认知角度来看,这作为衡量员工工作业绩的标准都是不合适的。

那些在科研强度较低的大学工作的学者面临着这样一个悖论,即虽然科研是被期望的,但它不是优先事项,因此他们没有足够的时间来达到预期的绩效水平。这种抱怨背后隐藏的含义是,撰写高质量的期刊文章需要时间。参与者们认为,通过学术写作生产知识的过程具有创造性、脑力劳动、起落并存的特点。这与知识创造的概念化是不一致的,知识创造是研究评估制度的基础。评估制度中认为,学者们的学术写作可以挤进教学间隙,并且在整个学术生涯中,都可以达到统一的高标准。      


4.2 认识论与研究评估



研究评估制度在学科和机构层面以不同方式相互作用,尤其是在历史学和市场营销中。这显然影响到一些写作类型和出版渠道的价值,也对学科知识的概念化方式和研究的性质造成了连锁反应。

当提到REF时,这三个学科的学者都将经过同行评议的期刊文章作为他们的代表作。这与传统是相悖的,因为专著是传统上最受重视的出版物类型。根据Harley等对美国7个学科领域160名学者的调查,历史学是一个“以书籍为基础的领域”,学术专著是出版的黄金标准。本研究中的历史学家还将专著描述为他们最有价值的知识创造形式,但由于需要在每个REF周期中产出足够的作品,专著这种出版物类型面临着压力。然而,关键不是出版物类型本身,而是对它的认知意义。期刊文章的发表压力并不是专著受到威胁的唯一原因。伴随着狭隘的研究评估,会产生一些额外的写作,这些写作占用了学者们视为学科核心工作的宝贵时间。许多参与者将收益目标写进了合同,因此花了大量时间去撰写资助申请。一位历史学家说,由于要写基金申请,他无法投入足够的时间来写一本书。

历史并不是唯一一门被认为受到REF及其不良认识影响的学科。市场营销中,目标期刊目录的使用被认为是在逼迫学科的极限。大多数顶刊(根据ABS期刊指南)都位于美国,研究中的英国学者普遍认为这造成了他们获取的障碍。其中的问题不仅是“腔调”问题,而是一个与学科中对知识的理解和验证方式相关的、更深层次的认识论问题。Diane所指的“腔调”包括这些美国期刊着重发表定量研究的趋势,这构成了一种从根本上不同于她自己看待世界的方式。一个人是否是“实证主义者”,不仅关系到他使用的研究工具,也反映了一种完整的方法论范式,一种关于什么是知识的特殊观点,这种观点反过来又塑造了一个人提出的问题、做出的解释以及与世界有关的立场。尽管Diane眼中的自己和她所在的院系要求她做的事情之间存在着认识论上的鸿沟,但她和其他参与者一样,认为这些目标是不可避免的,并试图围绕目标来开展她的写作,即便这意味着改变她的研究,威胁她作为学者获得认同感的途径。

Diane的说法不仅呼应了Burrows的观点,还反映了一种深层次的认知不安。目标期刊目录的使用不仅影响了研究的最终发表场所,而且还可能改变应用领域学者的研究领域,缩减定性研究的规模,仅仅因为它们不符合不断苛刻的“卓越”定义。


4.3 评估面向不同受众的写作



本节将分析面向同行评议期刊的学术写作与面向非学术受众的知识创造其他形式之间的紧张关系。尽管REF没有考虑期刊质量评级,但各机构用来确定员工是否达到了可被REF收录的出版物的标准往往是基于对期刊的感知质量,而这主要是基于引用指标。因此,REF促使学者们撰写主要面向学术受众的文本,这些文本的影响力可以通过引用来衡量。但在2014年,REF首次加入了影响力的概念      ,允许研究在学界之外产生的影响力占REF得分的20%。根据英格兰高等教育拨款委员会(HEFCE)的定义,“影响力”是指“在经济、环境、政策、文化、健康或整个社会等领域,在学界之外产生的影响、改变或利益”。

这一定义明确指出,“影响力”不是指以引用的形式在学界内产生影响,而是指与专业或非专业群体的互动为了接触到学界以外的受众,学者们必须将他们的发现,甚至他们的研究目的传达给那些很可能不会阅读高影响力学术期刊的人。实现“影响力”可能需要以报告、政策建议、网站、博客、展览目录、期刊文章等形式为非学术读者写作。然而,这种非传统的学术写作往往不符合院系对“卓越出版物”的标准。因此,存在着这样一种矛盾,一种是需要写出能体现学术成就的文章,另一种是需要写出能证明其研究的社会相关性的文章。

当被问及面向非学术受众撰写的与影响力相关的写作时,许多参与者表现出了热情。但由于他们认为这类写作在他们的机构眼中价值较低,所以他们参与的程度有限。数学家David对这些新兴的学术形式充满热情,但指出了这类写作的障碍——缺乏时间,并且在机构层面没有得到重视。鉴于学者们面临着明显越来越大的压力(要发表三星级和四星级的论文),他们觉得缺乏时间也就很正常了。REF是英国大学极其重视的研究评估制度,但David认为他的大学并不重视灰色文献,这似乎与影响力被正式纳入REF的事实不符。但这与Watermeyer之前的发现一致,即此类工作被视为边缘活动,而Harley等认为除非在高影响力的同行评议学术期刊上发表的文章已经足够,否则此类工作将毫无意义。此外,Hefce认为影响力必须以REF期间的研究为基础,它与提交给REF的具体研究成果直接相关,只有当与面向学术读者的学术写作直接相关时,面向公众的写作才有价值,它们必须起源于学术读者。当被问及与影响力有关的写作时,历史学家Colin也持有矛盾的立场,他专长战后历史领域,他谈到,为大众媒体写东西比写一篇只有少数学者阅读的学术论文所能达到的影响力更大。虽然他热衷于这种方式,但他认为这种公众参与是次要的,不是更加核心的知识创造。这与Felt等的发现相似,他们发现,针对非学术受众的成果被学界充其量视为“也很有价值”。这与Fochler等人关于教学和科研在博士后学术生活中的作用的结论一致,本节分析得出的结果指出了这样一种知识关系形式,非学术知识创造的价值仅在于它不妨碍“世界领先”知识的稳定生产。

在当前的研究中,那些确实从事面向非学术受众的写作的学者,只是在优先考虑了对考察和晋升最重要的写作形式之后才这样做的。这也支持了Harley等的发现,即在学术生涯的某些阶段,从事以影响力和公众参与为导向的写作比其他阶段更合适。Robert认为,更多的知名学者可能会从REF的压力中享有更大程度的自由。久负盛名的学者,他们早已通过考察,不再需要申请晋升,这可能会将他们从评估制度中解放出来。这与先前关于学界“代沟”的发现一致,即年轻的研究人员更受研究评估制度的影响,因为他们必须在竞争激烈的环境中获得永久职位。从这个意义上说,抵制或不遵守研究评估制度要求的立场可能只适用于某些年长的、更成熟的学者群体。


05


结论



本研究表明,写作不仅是学者日常工作中的重要活动,也是评估专业能力的途径。拥有一定数量和质量的文章不仅是“可引用的”,而且有助于聘用和晋升。颇具讽刺意味的是,学者需要获得必要的时间和资助以支持开展高质量研究。

为了在REF驱动的研究评估制度的规定下取得成功,英国学者不得不将他们的实践与新自由主义文化保持一致。这种文化从根本上误解了学术写作过程的本质,认为它是一种容易复制的技术性技能,而不是一种艰难的、具有创造性的和相当不可预测的努力。本研究还表明,学者在写作上的努力主要是为了在高影响力期刊上发表文章、获得引用和得到资助收入,而挤压了其他形式的知识创造,因为前者是决定他们是否成功的关键。某些出版物类型和出版渠道的价值高于其他类型,但在更深层次上,研究评估制度也塑造了“什么可以被讨论以及如何评估学术价值”具体来说,在学科层面,可用的研究范式、可以进行研究的环境和学者所属的学科都受到了质疑。这可能意味着除了回避有风险或创新的研究之外,定性研究的价值,尤其是在营销方面的价值,也受到了侵蚀。

本研究中,机构对REF的理解方式造成的另一个影响是,从学术职业发展角度考虑的写作和从更广泛意义上对公共利益做出贡献的写作之间关系紧张。虽然影响力已正式成为REF的一部分,并且在原则上受到了学界的重视,但仍被视为一种奢侈品,学者只有在时间允许的情况下才能开展,因为为了公众参与和影响力撰写文章对实现“REF能力”几乎没有贡献。这一观点不仅体现在在繁忙的工作日中应优先完成哪些任务,也体现在学者们在其职业生涯的不同阶段所追求的写作类型方面。为非学术读者写作的自由在很大程度上是由年长的、更成熟的学者所享有的。

在是否选择追求顶刊方面,也出现了“代沟”。即使所在机构不要求学者们发表三星级或四星级的论文,他们也会认为这会限制职业发展。这意味着存在一个双重轨制发展的风险,一些学者陷入教学密集型角色,无法从事使他们能够流动的知识创造工作。对于年轻学者来说,这是一个特殊的问题,他们可能会在研究强度较低的机构开始他们的职业生涯,并希望随着时间的推移建立起研究轨迹。

REF的要求和机构为响应它而制定的内部政策正在以相互矛盾的方式塑造学者的写作实践,因为其中对的成功定义排除了许多有价值的知识创造实践,并且限制了学者在开辟其学术领域时的选择。

由于学术写作面临着来自多方面的压力,要厘清学术写作变化的每一个来源是十分困难的。首选的写作类型可能会因为其他因素和研究评估方式而发生变化。总体而言,数字化和学术性质的变化——学者的知名度被视为越来越重要——无疑提高了人们对学者撰写博客、推特和从事新兴的半学术写作类型的期望。但很明显的是,研究评估实践对学者的写作优先级和选择有重要影响。当然,这些选择不是学者们内心真正的选择,因为朝着由REF驱动的目标写作是学者必须做的事情,不仅是为了在他们的职业生涯中取得进步,也是为了保住他们目前的工作。


(全文及参考文献见《Aslib Journal of Information Management》2017年第69卷第5期,原文链接:https://www.emerald.com/insight/content/doi/10.1108/AJIM-12-2016-0216/full/html,本期推文为节选摘编,略有删减和编辑。)



本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 宋欣雨 邓晨菲 王译晗

本期责编 | 金潇苒

基地官网:http://statevalbase.fudan.edu.cn/main.htm

· end ·

下一篇

为人文学科创建“人文”研究评估指标的路径

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433