践评价

首页 > 评价前沿 > 践评价 > 正文

ENRESSH政策简报:研究评估

发布时间:2023-05-19 编辑:王译晗 来源:复旦智能评价与治理,复旦新学术


欧洲人文社科研究评估网络(European Network for Research Evaluation in the Social Sciences and the Humanities, ENRESSH)是一家致力于研究人文社会科学(SSH)研究评估协议和政策的协会,旨在提出SSH研究评估领域的最佳实践,其主要目标包括:    

·改进评价程序以融入SSH研究的多样性和丰富性;    

·为SSH增加社会价值的方式提供强有力的证明;    

·帮助SSH学者更好地调整其研究议程,克服研究碎片化。    

ENRESSH汇集了来自37个国家的120余名参与者,有着极高的国际声誉。ENRESSH于2020年4月结束,于同月发布了一份名为《研究评估》的政策简报,从研究评估和评估实践两方面提出了对SSH研究评估的实用建议。让我们一起来看看吧 ↓    

01

研究评估


研究评估是一项复杂过程,既可以通过设立研究标准来直接影响研究实践,也可以在资助、出版和奖励方面间接地影响研究实践。无论采用何种方式,研究评估都向研究人员传递出什么更有价值、什么相对不重要的信号,有意或无意地影响着研究实践。

研究往往包含许多目标,使用许多方法和不同语言;研究的背景兼具地方性、国家性和国际性;研究通常按照学科划分,但随着研究问题的复杂性不断提高,跨学科研究越来越普遍。

这意味着,研究评估必须充分考虑趋势上的分歧和有争议的情况,有时还必须权衡来自不同利益相关者、学科和区域之间相互冲突的意见。

1.1

与研究实践相匹配


合理的研究评估应考虑到不同学科、研究类型(基础/应用)和机构间研究实践的多样性,包括但不限于扎根相关领域的传播实践。首先,有效的评估标准来源于研究实践,以产生相应结果;其次,科学的评估程序应意识到它将如何潜在地影响研究人员行为,并对此保持敏感。

研究评估是研究政策的体现,研究政策则通过激励某些行为和实践,从而影响研究实践。对这些关系进行明确协商和自我反思,可以降低意外后果的发生概率,并且提高利益相关者的接受度。

1.2

与政策目标相关联


优秀研究的评判没有单一的标准。各个国家背景不同,大学深受当地环境影响且具有其特定使命,资助者也有着不同的目标。研究评估的目标必须根植于当地或国际背景,来确定评估的参考框架。这些目标包含对利益相关者的定义、评估所应用的标准和程序。

评估的参考框架依据政策目标(如授予优秀研究人员奖项、改进或确保研究团队的研究质量、评估由欧盟资助的研究项目)而确定,评估结果会对研究实践或研究人员造成影响。因此,评估委托机构首先必须要阐明政策目标;其次在评估标准和程序中必须体现出其对研究实践的潜在影响,将政策目标转化为不同利益相关者对这些目标的理解;最终审查应包含对研究实践的潜在影响,明确“质量”概念在不同利益相关者协商过程中的特殊作用。

1.3

包含所有利益相关者


研究评估涉及众多利益相关者。我们将利益相关者分为四类:研究生产,研究政策和管理,研究消费和使用,评估服务。利益相关者的数量随着学科和评估环境的变化而变化,一部分利益相关者可能会同时属于多种类型。

利益相关者的多样性还未得到足够重视。通常来说,利益相关者被简化为决策者和公众。但研究人员(被评估者)和服务提供者对评估及其效果有着重要影响,但很少能被予以重视。

10DB3


02

评估实践


2.1

承认评估实践的多样性


研究评估嵌入在国家和国际研究评估体系当中。研究评估可以包含许多目标,因此保证评估程序多样化是正常且必要的。但是,评估实践需要确保它们与其他评估实践的前提条件不会互相矛盾,特别是在嵌入本地以及国际学科背景下的职业道路发展方面。SSH研究评估需要意识到研究的本地价值,评估的国际化意味着语言的多样性但不能局限于英语

2.2

吸纳广泛的评估标准


评估目标需要转化为评估标准,即要关于要衡量/评估内容的概念。为了得到有效且适当的结果,这些评估标准必须是明确的。如果使用了指标,则需将其与标准相对应。关键是要明确不同利益相关者对这些目标的理解。因此,评估中使用的标准要考虑所有相关利益相关者的标准,通过糅合不同利益相关者的观点,增加评估的透明度和接受度

研究质量是一个复杂的结构,需要考虑广泛的标准,这对于SSH研究尤为重要。如果缺乏对某些重要方面的考虑,可能会导致结果的偏差和潜在的负面影响。SSH特定标准的一些示例包括写作风格、论证、概括、批判性思维等。

2.3

综合不同的评估方法


纯粹的定量方法已被证明在研究实践、研究人员行为和研究的公共价值等方面容易产生意外风险。以数据驱动的指标方法往往会忽视研究的重要方面,尤其是研究的公共价值。但是基于同行评议的定性评估也存在保守性、裙带关系、主观性等缺点。为了提高评估的有效性,我们建议让专家分别对每个标准进行评估,并辅助以相关的定量信息。这可以确保在不同的标准上,对所有的评估对象都采用相同的权重。同时需要特别注意专家的选择。在SSH中,需要尊重认识论的多样性。

2.4

慎重评估跨学科研究


跨学科研究的评估尤为微妙,需要考虑到反映研究过程中涉及的所有学科研究实践的评估标准,并承认跨学科标准的特殊性。参与评估过程的评估人员和同行应具备相应的能力,并意识到自己在专业知识上的局限性。

此外,必须确保不同的研究领域能够得到同样的关注。通常,像HSS这样的“软”学科不仅就评估本身而言受到的关注较少,而且在评估目标和应用标准上也是如此。例如人工智能项目通常更关注概念的“人工”部分,而不是 “智能”部分。

03

结论


在SSH(及其他领域)中,科学的研究评估应与研究实践相匹配,明确其政策目标,包含所有利益相关者。通过尊重研究的本地性和国际性确保评估实践的多样性,并使用适用于所评估学科的广泛且明确的质量标准进行评估。应对每个标准分别进行评估,以可靠的同行评议为基础,将定性判断与定量信息相结合。评估应尊重跨学科研究,而不是偏向某些领域


(原文链接:https://figshare.com/articles/online_resource/ENRESSH_Policy_Brief_Research_Evaluation/12049314/1,本期推文为节选摘编,略有删减和编辑。)



本期策划 | 复旦大学国家智能评价与治理实验基地

供稿  | 金潇苒 宋欣雨 王译晗

本期责编 | 金潇苒

基地官网:http://statevalbase.fudan.edu.cn/main.htm


·end·


下一篇

从学术评价框架HuMetricsHSS出发,再寻人文社会科学学术价值

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433