知评价

首页 > 评价前沿 > 知评价 > 正文

系统综述:科学技术创新活动的评估指标

发布时间:2025-01-02 作者:Roelvis等 编辑:王译晗 来源:复旦智能评价与治理


摘要:本文旨在对科学技术创新活动评估指标的学术文献进行系统综述,使用Web of Science、Scopus和Google Scholar数据库,通过应用SysteRe-HSS方法论,筛选出96篇相关出版物。研究结果表明,评估创新活动;分配给科学技术创新活动的人力资源、研究与发展中的财务资源与投资;以及与文献计量学和科学计量学相关的指标在现有文献中占据主导地位。研究也面临着一些挑战,包括如何衡量社会创新指标、如何将现有创新衡量方法与社会创新的基本特征结合、如何衡量科学技术的社会适应实践影响、开放科学的下一代指标、负责任的指标及评估方法,以及Web 2.0环境下研究社会影响的替代性指标等问题


关键词:指标;科学;技术;创新;研究评估。


1


引 言

知识的产生、利用与传播被认为是推动经济增长、发展和国民福祉的关键因素。因此,许多国家将科学技术创新(STI)作为促进经济与社会发展的重要战略之一。为实现增长并促进可持续发展,必须将科技创新活动(ASTI)视为通过知识生成、技术开发和创新实现市场和生态系统结构转型的关键因素。

STI指标则是用来衡量和评估一个社会在科学研究、技术和创新领域发展进程与水平的一系列标准。因此,STI指标、STI系统与社会创新之间紧密相关,被视为一个对国家发展状况的反映

在此背景下,科学技术创新(SSTI)领域的各类参与者有必要了解科学技术创新活动(ASTI)的进展,以便确定可用的能力,并了解研究、开发与创新(R+D+i)的动态,从而为规划行动、做出决策和指导流程提供依据

鉴于STI评估的重要性与影响,以及现有衡量工具在国际、区域和地方层面未能充分考虑ASTI其他发展维度,本研究旨在回应以下问题:学术文献中提出相关指标衡量了STI的哪些方面?这些指标的更新程度如何本研究通过对相关学术文献进行系统综述,识别、分类并表征ASTI评估中的各类指标。


2


方法论

本研究采用SysteRe-HSS方法论(一种系统化研究方法,包括搜索、评估、分析、综合4个阶段),对科学技术创新活动评估指标的相关文献进行了系统综述。首先通过Web of Science、Scopus和Google Scholar数据库筛选相关的学术出版物,确保文献的广泛性和权威性。随后,应用SysteRe-HSS方法论对这些文献进行筛选和分析,最终确定了96篇符合研究标准的文献。这些文献为构建科学技术创新指标描述模型提供了基础。



3


讨 论

3.1 创新指标

衡量创新的文章数量显著高于其他。在国际层面,许多研究致力于评估和衡量国家层面的创新活动,因为创新项目是促进经济增长、知识和技术转移的关键工具。因此,这一分析在多个行业中展开。

多项研究表明,为了更有效地控制研发投资,开发创新管理的指标是必要的。然而,文献综述表明,关于这一主题的讨论仍显不足,因为创新活动本身极其复杂,难以量化。需要研究对于创新的新测量方法,尤其是基于主体或公司层面的创新调查生成的指标。这些调查及其产生的指标能够为理解不同经济体内外的创新表现提供宝贵的数据资源,同时也为政策的发展、监控和评估提供有意义的参考。

这一背景揭示了创新指标开发的三个关键要求:首先,指标必须在部门层面提供,以便捕捉行业的多样性,作为创新生产所涉及的知识、技术和能力领域的基础。其次,指标需要反映企业的异质性和企业规模的人口统计差异,因为它们决定了围绕创新绩效的挑战和战略。第三,指标必须反映相关创新体系的特殊性

作为推动不同国家(无论是发达国家还是发展中国家)创新计划的替代方案,我们建议建立一个全球创新数据库,汇集最佳实践;收录不同国家的年度创新报告,以促进信息交流;推动创新,强化现代知识型经济体系,并将创业精神作为推动创新和经济增长的核心因素,包括新公司、就业增长和小型企业的发展

总体而言,近期的国家创新评估方法采用了复合指标,强调企业的积极参与、高校和公共部门的作用,这些因素对创新的推动至关重要

3.2 社会创新指标

社会创新是创新领域中的另一个重要概念,但由于相关研究相对较少,其衡量具有一定的复杂性。然而,随着对社会创新研究兴趣的增长,已有大量定性研究被开展,并且实施了若干定量创新指标,这些指标试图系统地构建理论概念,并衡量组织单位的社会创新潜力。

在现有评估中使用的基本维度(如财务资源、知识、知识保护和专利、合作与网络、创业活动以及创新文化)的基础上,社会指标被纳入到选定的社会领域(如福祉、可持续性)中,以考虑社会创新的社会组成部分。因此,社会创新指标的总和是将现有创新指标中使用的创新维度与非创新衡量体系中的指标结合起来,以充分覆盖社会维度

社会氛围框架至关重要,其中包括公民对新颖事物的态度、他们的社会需求以及参与公民运动的程度。社会创新的可能性在很大程度上取决于特定社会群体的态度及其愿意为克服社会挑战做出贡献的程度。如果没有来自社会方面的贡献,社会创新将无法有效实现。

通过整合这些社会指标,可以更全面地评估和衡量社会创新的广度和深度,从而促进对社会创新过程和成果的理解。这种综合方法有助于识别并强化那些能够促进社会福祉和可持续发展的创新实践,同时揭示社会创新在解决社会问题中的作用与重要性。

新技术的进步使得更加动态、开放和透明的公民参与渠道成为可能。在这一框架下,评估ASTI的一个关键方面是回应近年来社会的需求,即公共行政部门要以高效、透明的方式工作,并以一种开放评价和问责的管理模式来面对其行动。Alfaro等提出了一种面向公共行政的衡量、评价、创新和参与指标体系的方法,该体系专注于鼓励公民参与并促进社会创新。

一个值得强调的点是科学文化和创新指标的变量集合,旨在收集和测量与科学重要性感知以及科学技术的社会适应相关的数据。包含此类指标非常重要,因为一个以创新和知识为核心的文化无疑将有效地解决集体行动中的问题。

3.3 文献计量学和科学计量学指标

科学产出的增长,以及科学成果传播技术的发展,促进了社会对研究成果的可获取性,增加了数据的信息量。研究者指出,基于信息可视化概念对科技指标的数据和信息进行组织,有助于最大化理解科技举措的结果,同时为制定更合理、可持续的科技政策提供决策依据,并提供关于科学研究文化差异的信息

因此,将科学计量评价作为研究政策绩效工具的采用和应用正在逐渐增加,科学计量评价变得愈加普遍和重要。

在此背景下,引文指标常被用于支持衡量某一学科、机构或国家的科学发展水平,这种做法催生了以高水平生产力和影响力为基础的科学和信息政策建议。所产生的学术文献的知名度和增长率,使得这些领域和机构在政策讨论中占据主导地位。这也意味着处于“主流”的学科、信息来源、机构和国家的群体,通过这些指标能够得到更好的代表,通常这些群体来自“中心”国家或发达经济体

这一现象引发了关于此类指标在科学评价中有效性和有用性的争议。基于更大范围数据库的新提案和指标,如Google Scholar Metrics和Dialnet Metrics已被探索。这些新指标试图提供更全面、多元的视角,评估科学研究的全球分布和影响,尤其是那些在传统引文分析中可能被忽视的领域和地区。通过使用这些更广泛的数据库,可以更公平地评估来自不同国家和地区的科学研究,从而减少发达国家的偏好,促进全球科学界的多样性和包容性此外,这些新指标还旨在捕捉学术成果在社交媒体、在线平台和其他非传统学术渠道中的影响力和传播情况,从而提供更全面的科研评价

随着文献计量活动的日益增多,这些活动的有效性变得愈加重要,并且文献计量的结果不应被过度解释。为了支持这些方面,有研究提出了用于科学绘图和研究影响评估的标准化引文指标。这些标准化指标的提出旨在确保评价过程的公正性和准确性,从而在评估不同地区和领域的科学研究时,更加客观地反映其真实贡献和影响力。这要求文献计量指标不仅要考虑引用数量等传统指标,还要纳入研究的质量、多样性、社会影响及文化和社会背景下的特定条件。通过这种方式,可以更有效地支持科学政策和资源分配的决策,同时减少对边缘科学和地区的不公平评价。

此外,其他研究认为,社会科学和人文学科的学术表现评估是文献计量的一个挑战,因为这些领域的主要出版渠道并未被大型文献计量数据库(如Web of Science或Scopus)充分覆盖。然而寻找国际科学界普遍接受的标准的需求,促使国际书目和文献计量学索引及数据库成为科学评价中唯一的质量指标。许多研究指出,这些指标在评估科学产出方面存在局限性。为解决这一问题,已经创建了适用于特定国家背景的不同产品,涵盖了国际数据库中未包含的某些领域,例如西班牙人文、社会科学和法律期刊的传播与编辑质量评估系统DICE、巴西期刊评价系统QUALIS、哥斯达黎加的UCRindex、墨西哥期刊评价指数、伊比利亚美洲创新与科学知识网络REDIB以及Dialnet Métricas。这些系统都为提升国家和区域期刊的可见性做出了贡献。这些国家和地区的评价系统通常更注重本土语言出版物的评价,特别是那些在国际数据库中未得到充分代表的研究领域。它们提供了更为细化和本土化的评价框架,有助于提升本土研究的认可和价值。通过这种方式,这些评价系统补充了国际评价标准,为科学评价提供了更全面和多维的视角。

Webmetric指标也被视为反映大学国际影响力的重要指标之一,特别强调内容和技术指标,这些指标对提升Webmetric排名具有重要影响。

学术文献中另一个经常提及的领域是专利计量学。通过专利分析,可以了解各公司的技术专长,探讨特定行业的技术发展路径和商业布局。研究基于专利指标,考虑专利申请、发表地点和利润等因素。专利指标包括专利数量、专利增长率、每项专利的引用次数、当前影响力指数、技术强度和技术生命周期,用于评估创新方向和商业竞争。

3.4 下一代指标

其他研究强调,在开放科学(OS)背景下,亟需转向下一代衡量标准,以消除障碍、发展研究基础设施,并使开放科学融入社会。上述内容构成了关键性因素,因为随着研究评估的重要性日益增加,社会影响的评估与研究质量评估同样变得愈加重要,因此,开放科学体系应使这两个目标更加可行。

随着Web 2.0技术的出现,评估科学出版物“影响力”的新方法逐渐兴起,不仅涵盖期刊,还包括书籍、报告、数据和其他类型的非传统出版物。基于这一思路,替代计量学(Altmetrics)成为衡量科学研究广泛社会影响的一种新手段,通过加入新的视角(如可见性、社会影响)来丰富当前研究的评价体系


4


建 议

科学和科学传播的时代正在发生深刻变化,这些变化主要由技术进步、协作过程以及开放获取知识的理念推动。与科学技术创新活动(ASTI)类似,科学技术指标(STI)也正处于快速发展的阶段。在未来几年,评价者、研究人员、政策制定者和科学家应当集中精力应对新兴的概念性和方法论难题,同时改进数据收集和标准化系统。

实践和评价系统必须关注面向地方和区域需求的科学成果,即使这些成果更加难以量化。这突显了提出新指标并使用多重指标的必要性,这些指标能够更广泛地揭示这些区域所产生的科学价值。

未来的研究成果评价必须采取更加平衡的方法,既要考虑定量评价,又要注重定性评价,并强调研究的质量,而不仅仅是数量

此外,亟需提出新的指标来分析边缘科学,这些指标不仅要涵盖传统科学计量学所反映的方面,还应包括替代计量学(altmetrics)所关注的内容,如科学成果的社会应用以及研究成果对边缘地区社会和经济发展的影响。

对于参与社会技术项目的开发、资助或管理的公共或私人机构、政府或民间社会组织而言,对这些项目的监控和评估变得愈加重要,以验证是否实现了预设目标。需要进一步努力开发一种方法,能够对社会技术及基于这些技术的社会项目进行诊断、监控和评估,同时考虑这些项目的复杂性、多维性和跨学科特征。

未来的研究还应致力于开发一个更全面的国家技术水平评估模型,通过对多种产业进行对比分析,将专利和文献指标整合在一起

未来研究中,将环境创新作为一个整体进行分析也是非常重要的,这有助于建立一个坚实的方法框架来衡量生态创新的水平,并包括生态创新的四个维度(产品、过程、组织和市场),以及每一维度所包含的指标组合。其他指标则应评估对经济和社会具有重大影响的新兴技术,例如信息与通信技术、纳米技术以及信息社会的相关指标。


(全文及参考文献见Journal of Scientometric Research, 2023, 第12卷, 第2期, 448-458,原文链接:https://jscires.org/article/6467,本期推文为节选摘编,略有删减和编辑。)




本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 金潇苒 王译晗

本期责编 | 邓晨菲

基地官网:https://statevalbase.fudan.edu.cn


·end·


下一篇

什么是以人为本的人工智能?

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433