4.3 在阐明我们共有的价值观、期望的实践和衡量标准方面,当前的挑战是什么?应如何克服?
目前有许多社会技术挑战,使得人文学科的共有价值观、期望实践和适当的衡量标准难以被理解,包括:·
·新自由主义在院系中无处不在,这一思想重在衡量投资回报率,而忽视对人文学科中许多潜在影响的细致理解;·
·倾向于以一个“基准”来进行教师的终结性评价,对那些没有达到标准的教师进行惩罚,而不是采用帮助教师反思个人成长的形成性评价;·
·教师和评价人员倾向于使用简单的指标,而不是丰富的、情境化的影响力证据;·
·组织不透明,教师无法看到或更正评价所依据的数据;·
·对人际政治和机构历史的不信任,不利于价值观的坦率讨论;·
·缺乏机器可读的数据,缺乏允许将其用于开发指标的许可;·
·缺乏潜在的指标来源,例如在主流的引文索引中充分覆盖人文学科,或将区域相关的数据源纳入替代指标服务。
其中一些挑战可以通过创新、政策改革和开放数据来克服。例如,可以开发一种技术来解决机器可读数据缺乏的问题,从而简单地从网络中抓取其他类型的数据并进行处理。越深层次的文化层面问题,面临的挑战越大。
4.4 如何更好地促进人文学科的学术实践与指标相结合?
HuMetricsHSS第一次研讨会告诉我们,即使在人文学科内部,也不可能开发出一份适用于所有人的核心价值观清单来阐明衡量标准。它还使我们认识到,与可能和我们立场截然不同的人共同讨论我们各自重视的价值观,可以极大地改进指标的制定和评价过程。
这类讨论必须充分自由,不能被管理者强加或控制,也不能由打着“代议制民主”幌子的工作小组开展。相反,这类讨论必须让每个人都有发言权,并为达成共识作出贡献。这一步骤对于得到多年来评估计划中缺失的信任和认可至关重要,并与HSS评估专家许多关于自下而上方法的类似建议相呼应。
HuMetricsHSS倡议的工作远未完成。但迄今为止的努力使我们得到了许多宝贵经验,如关于学术共同体参与创建任何评估框架的重要性,以及允许(并鼓励)与本地化适应结合的必要性。如果我们想把我们的框架变成一个计算工具,允许人们输入数据并得到一系列衡量指标,从而衡量一个人在某些价值观方面的进展,那么我们就必须努力明确有哪些数据可以实际用于开发基于价值观的指标。例如在研讨会上我们确定了获取以下数据面临的制度和技术障碍,包括大规模下载和分析教学大纲,获取学生的学习数据和满意度数据,以及跟踪研究成果的线上讨论、学术思想和学者的全部工作。