知评价

首页 > 评价前沿 > 知评价 > 正文

人文学科研究成果的评价标准及其优先级——以语言文学为例

发布时间:2024-10-18 作者:ED Elahe等 编辑:王译晗 来源:复旦智能评价与治理

undefined


摘要:鉴于人文学科的特殊性和多样性,以及根据其性质和内在特征对研究成果进行评价的需求,本研究提出并回答了两个问题:“衡量人文学科研究成果的标准和指标是什么?” “基于人文学科的研究方法和目标,这些评价标准的使用优先级如何?”考虑到人文学科领域内部的差异,本文以语言文学领域为例进行研究。研究采用了混合研究方法(定性与定量相结合)。首先,通过文献综述提取语言文学领域研究成果的评价标准和指标,归纳为8类标准42个指标:1) 创建、展示和出版平台,2) 写作结构,3) 内容,4) 网络环境影响,5) 学术影响,6) 社会影响,7) 经济影响,8) 文化影响。其次,为了确定最终评价标准及其优先级,设计了一份问卷,通过两轮模糊德尔菲法发放给语言文学领域的多位专家。最后,通过第二轮模糊德尔菲法的平均值确定评价标准的优先级,并展示了研究方法和目标对标准使用优先级的影响。

关键词:研究成果评价;评价标准;评价指标;人文学科;语言文学



1


引言

人文学科是信息社会的“软件”和“灵魂”。如果将人类所有的知识视为一个系统,那么人文学科便是这个系统的核心,其形成和导向将直接影响微观和宏观社会系统的建构和发展。然而,作为软科学的一部分,人文学科的研究成果往往被适用于硬科学(如基础科学、自然科学和工程科学)的标准和指标所评估,这些标准并不适用于人文学科。因此,用相同的标准比较两种截然不同的对象是不合理的,这会导致人文学科相较于其他学科在优先级上处于不利位置。尽管人文学科与其他学科在科学性上是相似的,但在评价时应考虑其固有的差异以及各自特有的语言,避免在所有科学领域中使用雷同的评价模型。人文学科与其他学科的差异主要体现在研究主题和目标、研究方法、引用行为及引文数据库的覆盖率四个方面按照人文学科的特点进行评价,或许更能展示这一领域的进展和现状,并进一步提高其研究水平。

本研究着重于语言文学领域的评估,主要是由于其重要性、地位及其受众多样化的成果。基于方法和目标的评价是本研究的主要创新之处。本研究以语言文学领域既定的方法和目标为基础,试图回答以下问题:评价人文学科,特别是语言文学领域研究成果的标准和指标是什么?根据语言文学领域的研究方法和目标,评价标准的优先级应是怎样的?


2


研究方法与结果

本研究采用混合方法,分为定性和定量两个阶段。首先,通过文献综述提取语言文学领域研究成果的评价标准和指标,重点分析了与研究主题相关的35份文献,并利用MaxQDA软件对数据进行了分析,结果如表1所示。

随后,使用模糊德尔菲法,通过两轮问卷调查确定语言文学领域研究成果评价标准的重要性和优先级。问卷以李克特量表形式设计,分发给语言文学领域的17位专家,专家依据其专业背景对标准的重要性进行了评分。问卷结果通过SPSS软件进行分析,采用模糊化和去模糊化的方法计算出每项标准的平均值,从而确定其优先顺序。最终,达成了具备专家共识的语言文学领域评价标准优先级排序,如表2所示。

研究结果表明,研究目标不仅决定了受众,还显著影响了评价标准的优先级。学术受众和非学术受众的需求各不相同,因此针对不同受众的研究成果应采用不同的评价方式。图1以示意图形式展示了各项标准的优先级。在每类目标中,随着从图形由中心向边缘的延伸,评价标准的优先级和重要性逐渐降低。


3


讨论与结论

文献综述表明,语言文学的不同研究领域对评价标准和指标的使用及其优先级存在差异。这种差异一方面可能源于语言文学领域的特性,另一方面则与研究目标的不同属性相关。因此,研究评估应根据领域特性和研究目标进行规划

从研究评估的角度来看,研究的主要阶段包括投入、过程、产出、结果和影响。正如本研究结果所示,评估方法会随着研究目标的变化而变化。当目标发生变化时,利益相关者的期望也随之改变,这需要调整评估方法。例如,在面向特定受众的学术环境中,基于引用的指标更为重要;但在大众化的公共空间中,研究成果在文化中心的应用及其是否被大众媒体接受则更为关键。

随着科学研究方法、目标和对象的改变,评价标准也应随之调整。发布和分享研究成果有多种形式,不应一概而论。目标、产出、标准三个方面必须保持一致,才能实现预期效果。目前,研究人员往往注重研究影响的易记录性,但若在评估中能从不同角度进行评价并明确优先级,将能够鼓励和引导研究人员从事他们感兴趣且更具多样性的研究,因为他们的努力能够得到认可,并有助于职业晋升。

“科学生产和知识基础的推广”的目标与方法包括理论研究、基础研究、思想生成、创新、自由思考、提出原创性思想、创造力培养、话语构建与领域拓展,以及理论的形成或制定。这些都是推动科学进步和扩展知识边界的关键因素,有助于科学知识的增长。如果将这些目标作为研究的宗旨,那么从学术影响的角度评估研究成果将成为首要任务。任何形式的研究成果都应保证其内容的质量,以在学术上产生实质性影响。同时,高质量的研究内容可以通过相应的平台向社会和文化领域传播。面向学术受众的写作结构则能够提升研究成果的可接受度,并使其在网络环境中发挥作用,从而带来经济影响。

“对社会问题的适用性和响应能力”的目标与方法包括应用研究,重点关注解决特定问题及其在经济、科学、文化、社会和政治领域的实际应用,将科学与社会责任相结合,以解决社会需求。语言文学的实际应用、科学意识的环境应用,以及服务社会的行动主义也属此类。如果研究成果的目标是解决社会问题,那么应期待其产生社会影响,并将社会影响作为优先评估事项在网络环境中发布具有广泛普及性和文化影响力的内容,有助于推广研究发现。采用适当的写作结构并在可靠且易于获取的平台上发布应用研究,将为其在经济领域的应用以及创造收益奠定基础。

“文学创作/创意文学”是指受到艺术与文学情感的启发,在诠释人类和社会世界时,以满足审美需求为目标并弘扬价值。与前述两种目标不同,这一目标更具普遍性,适用于人文学科的所有领域。文学创作/创意文学的方法特定于语言文学领域,并且可以作为对前两种方法的有力补充。根据专家意见,文学创作/创意文学的呈现形式包括诗歌、散文(小说与非小说)及戏剧文学等,评估时应优先考虑其文化影响。其次,研究成果的内容和创建、展示及发布的平台也被认为是重要的,可能会产生社会影响。在网络环境中,通过规范的写作、分享与发布研究成果,可以进一步带来学术和经济方面的影响。

研究质量是一个多维度的概念,各评价标准之间相互影响、彼此补充。单一标准无法全面涵盖研究的所有方面,因此应避免单一使用某一标准,而是通过多重标准互补的方式进行评估

人文学科的影响已超越了单纯的学术层面,扩展至经济、社会、文化及政治领域。从所获得的标准与指标可以看出,人文学科研究成果的评价已超越对学术环境的依赖,逐渐转向在更广泛的层面产生影响。这为人文学科在社会中的应用奠定了基础,并表明了加快研究评估转型的必要性。换句话说,研究成果的发布固然重要,但更应关注其应用与有效性,以提升社会福祉。因此,根据每个领域的特性与研究目标,选择合适的评价标准是十分必要的。

本研究的受益者之一是政策制定者,他们可以参考研究结果,采用新的决策方法并制定评估人文学科及相关领域研究成果的政策。将影响力作为评估的重要组成部分,已在研究评估体系中引发了重大变革。要构建影响力话语并理解其重要性,一方面需要在研究过程中建立影响力基础设施,另一方面则需要通过不断更新研究影响并改进不足之处来巩固影响力的地位。关注影响力既是研究的激励手段,也是优化措施,随着研究数量和质量的提高,研究的影响力和效率也会增强。若要保证影响力及其评估的稳定性,需要考虑更广泛的内在动机,并提升学者与之协调的能力。评价的标准和指标如同过滤器,并非所有研究都能符合其要求,因此低质量的研究将被筛除。随着时间的推移,我们希望这一机制能使人文学科的研究更加精准高效。

为了使这一机制更加切实可行,我们建议分领域评估研究成果,并为每项研究成果分配适当的标准和指标,确定每项指标的最大和最小限度,同时根据各研究机构的实际情况对指标进行本土化调整

简而言之,在评估人文学科领域的研究成果时,应考虑到科学产出及其评估标准需依据领域特性、研究方法和目标的不同而有所区分本研究旨在引入多维度的研究成果评估标准,力求在改善语言文学领域视角、提升该学科及人文学科地位方面迈出前进一步。要实现评估观念的转变,需在微观和宏观层面提供必要的基础设施,并推动新型评估方式的普及。

(全文及参考文献见Journal of Scientometric Research 2024年第1期,原文链接:https://jscires.org/article/7019,本期推文为节选摘编,略有删减和编辑。)




本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 邓晨菲 王译晗

本期责编 | 邓晨菲

基地官网:https://statevalbase.fudan.edu.cn



·end·

下一篇

Human-AI同行评议:通过人类与AI协作实现知识创造民主化

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433