知评价

首页 > 评价前沿 > 知评价 > 正文

为人文学科创建“人文”研究评估指标的路径

发布时间:2023-03-24 编辑:刘意泠 来源:复旦智能评价与治理,复旦新学术


摘要:在人文学科中开发“人文”研究评估指标极具挑战性。这项艰巨的任务,只能通过鼓励资助机构、科研机构、专业协会和研究者个人,在其学科实践中采用基于“价值观”的自下而上评估指标来解决。本文将HuMetricsHSS倡议的工作描述为这样的框架。

关键词:人文学科;研究指标;文献计量学;评价;指标

01

引言


人文学科中,越来越多的学者担心“非人文”的研究工作实践会不利于人文学者及其所在学科发展。近年来,机构和政府对大学院系施加了巨大的压力,要求其为受到的资助提供投资回报(ROI)。教师个人也面临着越来越多的考核(写更多论文、被更多引用、进行更多教学、在更多委员会任职、获得更多奖项),同时还要面临时间、薪资和资助的缩减。这让人文学者忧心,一些科学计量学家也指出,这些压力已经影响了人文学科的研究,在一定程度上削弱了学科的质量,因为有时研究会为了追求在文件和报告中看起来不错的指标而牺牲质量

本文认为,产生此类问题是由于对人文学科院系及其研究人员的衡量标准和激励机制不一致造成的。只有阐明所有能够推动积极学术实践如撰写高质量同行评议、发表OA文章、创建适合所有学生的课堂作业)的价值观(如合作性、开放性、公平性,我们才能确定衡量人文学科院系、同行和我们自己的标准

本文讨论的问题与资助机构、研究人员、相关部门、研究机构和学术协会相关。评估指标塑造了研究人员的专业实践,资助机构、院系、研究机构和学术协会一直在使用或参考这一衡量标准。

本文首先讨论了学术评价文化以及人文学科与其他学科的区别,然后讨论了一些问题,这些问题指导了作为HuMetricsHSS倡议的一部分,以为人文学科开发更加人性化的研究评估指标,问题包括:我们如何更好地将人文学科的学术实践与试图衡量它们的指标结合起来?我们想要激励人文学科的哪些实践?哪些价值观决定了人文学者认为最重要的实践?在阐明我们共同的价值观、期望的实践和评价指标方面,当前面临哪些挑战?我们如何应对它们?最后讨论了HuMetricsHSS未来的工作计划。

02

人文学科研究实践的改变


目前的研究评估实践并不能反映当今人文学科学术工作的现实。对于许多人文学科的研究者来说,传统研究成果的创造只是他们对学术界的一小部分贡献,此外他们还著书、教学、编纂公开教材、组织系列演讲并指导青年同事等等。但通常,这些实践在晋升和终身教职等评估过程中,并没有得到与传统研究相同程度的正式承认。

即使研究本身也在实质上发生了变化。当前的评估体系未能识别到我们所从事的研究中的最实质性的东西。从多模式开放获取(OA)教学材料的创建,到用于计算分析的文本的数字化,再到通过丰富的数据可视化来讲述文学或历史中随着时间推移的故事等等,数字化工作通常被认为是人文劳动的补充,而不是劳动本身。美国的几个主要学术协会已经制定了将数字化工作纳入晋升和终身教职考核的指导方针,但采纳这些建议的仍然很少。这可能是由于研究文化一旦根深蒂固,就会抗拒改变。

数字和公共人文项目对当前人文评价如何理解贡献和归属提出挑战,这些项目几乎都是合作开展的,需要大量的幕后工作,而这些工作并不总是得到认可。这些项目也缺乏明确的界限,这就给可发现性提出了挑战:数字项目中可引用的“对象”是什么?如何准确地衡量数字和公共人文项目的影响?

03

评价人文学科


多年来,人文学科研究者认为,研究评估过程是从硬科学“嫁接”到人文社会科学中的,而不是为了符合人文学者的需求而从“根本”上开发的。为了改善人文学科研究评估,一些研究试图探索“价值观”在研究评估中如何发挥以及应该发挥的作用。然而,它们的研究范围大多局限于反思基于质量和独创价值的指标。要了解人文学科如何衡量其他类型的有价值的影响(例如合作),还有很多工作要做。

文献计量学在人文学科研究评估中的使用受到了一些质疑,一些研究反映了人文学科在引用模式、自引和合作实践以及区域方向上的差异。尽管近年来有所改善,但在主流的学术数据库中,人文学科的研究仍然覆盖不足。可用数据的缺乏使得衡量任何质量以及质量之外的价值变得困难。

也有一些人文学者质疑追求可衡量结果(即“影响力”)的目标在根本上是不可取的。正如Belfiore所述,“影响力在很多方面都是有问题的……我们要否定目前的形式,因为它不能充分代表价值,这会导致知识创造和学术产出的压力越来越大。”对影响力的追求,就像是对人文学科研究投资回报率的追求,这反而煽动起了对人文学科的伤害

04

HuMetricsHSS:

为人文学科开发“人文”指标


HumetricsHSS倡议的建立基于此理念——描述和重视研究过程,无论其结果成败,以迈向更加健康、更高回报的学术道路。该项目诞生于2016年的三角学术交流研究所(SCI),当时一个由图书馆员、院长、资助者和人文学者组成的团队提出了这样一个问题:“如果我们将高等教育声明支持的价值观——公平、开放、合作、质量等核心价值观,作为学术评估框架的基础,会发生什么?”

在研究所时,我和同事们通过头脑风暴,列出了一系列推动人文学科发展的实践、产品和核心价值观。然后我们反问自己,这些核心价值观如何在平时的学术实践中体现出来,比如制定教学大纲、主持会议或出版专著。例如,“公平”这一价值观如何指导教学大纲的设计?更多的同行评议如何提高专著的质量?

在Andrew W Mellon基金会的支持下,我们试图验证我们的理论,即人文社会科学的确拥有一套共同的价值观,可以用来制定更好、更人性化的指标。我们举办了一场研讨会,汇聚了来自不同高等教育机构的25位学者、管理者、图书馆员和研究生,帮助我们将团队的核心价值观发展为一套经过检验的、学界认可的核心价值观。虽然我们未能就一份共同价值观的清单达成共识,但我们离它已经很接近了,我们学到了更重要的东西。研讨会中富有成效的讨论和分歧表明,将我们最初的价值观框架作为开端的辩论和讨论过程,是为建立基于价值观的评估制度框架的重要一步

因此我们随后举办了第二场研讨会,围绕价值观如何在一个特定的学术实践——教学大纲的制定中体现。例如,我们要求参与者考虑“质量”这一价值观如何影响他们对过去几年的教学大纲的评估。参与者也提出了一些问题,比如“我的教学大纲中是否包含创造性和/或严格的作业?”“教学大纲是否超出了学科界限?”等。在整个研讨会中,参与者的问题根据他们的机构或个人背景而不同,但有一个共性的问题是:通过在制定教学大纲、布置相关作业和开展讲座时思考价值观,学者将能够在与同事和上级的对话中阐明他们工作背后的意图,并为创造优先思考价值观的文化做出贡献。因此,基于价值观的思考在制度的确立上重要的。

4.1 我们希望鼓励人文学科的哪些实践?

实践根据个人和院系的不同目标而不同。例如,一些机构有OA授权,这意味着可以通过OA出版或编写开源代码来鼓励“开放”的价值观,另一些机构通过在晋升和任期考核中要求公众参与来强调“学术共同体”的价值观,这些目标通常列在院系/机构的战略、使命和愿景文件中。

HuMetricsHSS团队试图采取一种有意的方法来开展我们自己的研究实践,我们通过在项目博客上公布我们的工作,并与技术专家团队一起编写开源代码来促进“开放”和“透明”;我们通过认真思考如何增加研讨会参与者的多样性来践行“公平”;在我们的项目、社交媒体和会议中,我们试图在彼此之间以及与其他人文学者的互动中体现“合作”……这并非容易,但是可能。

无论我们的目标或价值观是什么,我们的专业实践都是由激励机制驱动并由指标来衡量的,通常这些指标会被纳入学术评估过程。例如,资助提案的评估部分基于一些指标:我们将引用和奖励作为质量的衡量标准;存入机构知识库的文章数量作为开放程度的衡量标准,学生的多样性作为公平的衡量标准……因此,我们应认真考虑我们(作为个人/院系/专业协会/机构)基于共同价值观想要鼓励的HSS实践,并设计好指标,以帮助我们通过实践成功实现这些价值观

4.2 哪些价值观会决定HSS中的重要实践?

价值观是针对每个人的组织、院系或个人目标而言的,所以这是一个很难统一回答的问题。请各位读者思考一下您和同行认为重要的价值观,可以以一个特定的学术实践为例,无论是同行评议专著,指导学生,还是撰写期刊文章,它们都是由许多微小的活动组成从而让它一步步成为现实,您可以头脑风暴一下这些相关的活动和决策。在此基础上,考虑每项活动的“产出”,无论其有多微小。这些“产出”可以是任何在活动结束后仍然存在的东西,也可以是因为活动而存在的东西(例如文章、展品、档案、参考书目、目的声明)。最后,思考这些活动和决策是由哪些价值观驱动的(无论是有意还是无意)。

如表1所示,这一示例说明了价值观如何支撑所有的学术实践。您可以用它来探索您自己的价值观,或者您所在机构的价值观。任何形式的自我反思都可以得出类似的结果——一份经过深思熟虑的且基于现实的价值观列表,这些价值观驱动着每个人的学术实践

4.3 在阐明我们共有的价值观、期望的实践和衡量标准方面,当前的挑战是什么?应如何克服?

目前有许多社会技术挑战,使得人文学科的共有价值观、期望实践和适当的衡量标准难以被理解,包括:·

·新自由主义在院系中无处不在,这一思想重在衡量投资回报率,而忽视对人文学科中许多潜在影响的细致理解;·

·倾向于以一个“基准”来进行教师的终结性评价,对那些没有达到标准的教师进行惩罚,而不是采用帮助教师反思个人成长的形成性评价;·

·教师和评价人员倾向于使用简单的指标,而不是丰富的、情境化的影响力证据;·

·组织不透明,教师无法看到或更正评价所依据的数据;·

·对人际政治和机构历史的不信任,不利于价值观的坦率讨论;·

·缺乏机器可读的数据,缺乏允许将其用于开发指标的许可;·

·缺乏潜在的指标来源,例如在主流的引文索引中充分覆盖人文学科,或将区域相关的数据源纳入替代指标服务。

其中一些挑战可以通过创新、政策改革和开放数据来克服。例如,可以开发一种技术来解决机器可读数据缺乏的问题,从而简单地从网络中抓取其他类型的数据并进行处理。越深层次的文化层面问题,面临的挑战越大

4.4 如何更好地促进人文学科的学术实践与指标相结合?

HuMetricsHSS第一次研讨会告诉我们,即使在人文学科内部,也不可能开发出一份适用于所有人的核心价值观清单来阐明衡量标准。它还使我们认识到,与可能和我们立场截然不同的人共同讨论我们各自重视的价值观,可以极大地改进指标的制定和评价过程。

这类讨论必须充分自由,不能被管理者强加或控制,也不能由打着“代议制民主”幌子的工作小组开展。相反,这类讨论必须让每个人都有发言权,并为达成共识作出贡献。这一步骤对于得到多年来评估计划中缺失的信任和认可至关重要,并与HSS评估专家许多关于自下而上方法的类似建议相呼应。

HuMetricsHSS倡议的工作远未完成。但迄今为止的努力使我们得到了许多宝贵经验,如关于学术共同体参与创建任何评估框架的重要性,以及允许(并鼓励)与本地化适应结合的必要性。如果我们想把我们的框架变成一个计算工具,允许人们输入数据并得到一系列衡量指标,从而衡量一个人在某些价值观方面的进展,那么我们就必须努力明确有哪些数据可以实际用于开发基于价值观的指标。例如在研讨会上我们确定了获取以下数据面临的制度和技术障碍,包括大规模下载和分析教学大纲,获取学生的学习数据和满意度数据,以及跟踪研究成果的线上讨论、学术思想和学者的全部工作。

05

结语


人文学科面临着许多挑战,特别是研究评估规范,现有的一些规范误用评估指标,在学术界内的产生了不良影响。HuMetricsHSS倡议希望通过提出基于价值观的评估实践和指标来解决改善这个问题。我们的工作表明,对于人文学科来说,没有一套放之四海而皆准的价值观或指标,但所在机构和个人的目标是最好的决定因素。在与学术界广泛协商以明确最重要的价值观的过程中,我们认识到共识决策和跨域学科与职称建立沟通桥梁的重要性,只有这样才能自下而上设计学术评价的指标,使研究人员和研究机构能够衡量他们在体现自身价值观方面取得的进展,以及明确那些对HSS更广领域具有重要意义的价值观。

最重要的是,HuMetricsHSS团队的工作证实了讨论交流和学术共同体在开展人文、合理和公平的研究评估实践中的重要性。HuMetricsHSS鼓励任何有兴趣在其机构或学科内开发更加“人文”的衡量标准的人,重新思考他们所看重的价值观。


全文及参考文献见Insights,2018年第31期,原文链接:https://www.researchgate.net/publication/328976320_Approaches_to_creating_'humane'_research_evaluation_metrics_for_the_humanities,本期推文为节选摘编,略有删减和编辑。



本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 |  金潇苒 宋欣雨 王译晗

本期编辑 | 学术君001号

基地官网:http://statevalbase.fudan.edu.cn/main.htm

• end •



下一篇

人文社会科学的国际化模式和研究评估标准

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433