知评价

首页 > 评价前沿 > 知评价 > 正文

如何在研究中负责任地使用AI?

发布时间:2025-11-07 编辑:王译晗 来源:复旦智能评价与治理

人工智能(AI)在社会科学研究中的应用由来已久,通常用于数据分析和文字校对。直到2022年11月ChatGPT发布之前,AI在社会科学研究中的应用都需要较高的技术门槛,因此使用者数量有限。生成式人工智能(GenAI)的出现让AI得以普及,使得更多研究人员能够将其作为研究工具,拓展了AI在研究过程各个阶段的应用范围。

然而,GenAI也带来了前所未有的挑战:它显著降低了学术不端行为的实施成本,使此类行为更易发生。GenAI能够以低成本、快速且具有说服力的方式伪造文本、表格、图像甚至参考文献。论文工厂利用GenAI批量生成整篇论文,并混入学术出版体系,乃至部分已被撤稿。AI生成的评论和短文开始污染学术期刊,扭曲期刊指标。面对这一“风暴”,各大学与研究机构被迫以“试错”的方式重写内部规章与伦理准则。许多出版社起初仅允许AI用于校对,但随后不得不接受新技术蔓延的现实,并开始要求作者在投稿时声明是否使用AI。

现有研究多停留在理论层面,对研究参与各方(如作者、审稿人、编辑、出版商、资助方及政策制定者)在实践中应如何负责任地使用AI缺乏具体可操作的指导。本文系统阐述了负责任AI研究的核心原则,包括:透明、可追溯/可审计、可解释、公平、隐私与数据保护、尊重并意识到更广泛的影响、人工监督与质量控制以及问责机制。最后以成果评审环节为例,探讨如何负责任地使用AI。



负责任使用AI的原则



在AI与研究伦理的交叉领域,一个重要的研究方向是建立科研中负责任使用AI的原则。这些原则决定了研究者、作者、审稿人、编辑、出版商、高校及其他在研究中受到AI影响或从AI中获益的主体应当遵循的具体实践。

国际标准化组织(ISO)指出,负责任的AI应当基于公平、透明、无害、问责、隐私、稳健与包容等原则。经济合作与发展组织(OECD)则提出了五项基于价值的原则:包容性增长、可持续发展与福祉;人权与民主价值(包括公平与隐私)、透明性与可解释性、稳健性、安全性与保障性,以及问责制。显然,ISO与OECD的原则在很大程度上重叠,且主要关注组织和政策制定者在AI开发与使用层面的责任。在研究领域,欧盟委员会在其《生成式AI负责任使用动态指南》(Living Guidelines on the Responsible Use of Generative AI in Research)中提出了四项核心原则:可靠、诚实、尊重与问责。Bouhouita-Guermech 等(2023)在综述中归纳出AI研究伦理的若干关键原则与规范:伦理方法的应用、责任、可解释性与有效性、透明性与知情同意、隐私、数据保护,以及隐私与科学进步之间的权衡。Knoechel 等(2024)进一步强调了监管、数据安全、质量控制、原创性、偏见消减、问责、透明性以及对AI使用广泛影响的认知等要素。基于上述框架,可以总结出社会科学研究中负责任使用AI的八项基本原则:

(1)透明(Transparency)

研究者应全面披露AI使用的各个方面,包括所用软件(及其版本)、提示词(若为GenAI)、AI承担的任务、使用时间或时段、操作者身份以及所用数据集等。研究者需详细说明AI使用的管理与操作细节,以确保相关利益方(如编辑、出版商、读者、资助方及研究参与者)能够充分了解AI在研究过程与成果中的使用情况。该原则在现实中常被违反,目前已有大量学术论文被怀疑存在未披露的AI生成内容。

(2)可追溯/可审计(Traceability / Auditability)

AI使用的各个步骤应被系统记录、报告,并可被追踪与验证。使得相关方能够检查训练数据集、提示词及AI输出,确保研究结果的可重复性与有效性。对于生成式AI而言,提供AI会话链接是实现可追溯与可审计的重要方式。

(3)可解释(Explainability)

AI使用者需能够理解并解释AI的决策、输出及其生成过程。这一点尤为关键,因为AI系统往往表现为“黑箱”,用户难以理解其得出结论或决策的逻辑。可解释性还应满足非计算机科学背景研究者的理解需求,采用清晰、平实的语言。使用生成式AI工具时,用户可以要求AI对其生成内容提供理由与解释。

(4)公平(Fairness)

公平性涉及减轻AI使用中潜在的偏见风险,例如训练数据集的偏差(某些社会/受访群体被过度代表或代表不足),或算法本身的偏差(AI的决策使特定群体处于不利地位)。这类偏见尤其令人担忧,因为即便输入数据可靠,算法偏差仍可能导致研究结论失真。例如,AI可能误判文本的语气与含义,或生成侮辱性、歪曲特定社会群体的内容。

(5)隐私与数据保护(Privacy and Data Protection)

在AI工具中应使用匿名化数据,并严格遵守相关数据保护法律与政策(如欧盟《通用数据保护条例》GDPR)。

(6)尊重并意识到更广泛的影响(Respect and Awareness of Broader Impacts)

研究者应尊重所有可能受到AI使用影响的研究相关方(包括其他研究者、受访者、第三方及社会公众),并充分认识AI在研究中可能带来的更广泛社会、经济、政治与环境影响。

(7)人工监督与质量控制(Human Oversight and Quality Control)

AI在研究过程中的使用及其输出需接受人工监督与质量把关。应确保人类始终“在回路中”(AI提供建议,人类作出决策)或“在回路上”(AI作出决策,人类有权干预、修改或否决),而非将关键研究决策外包给AI。不同机构可能有不同规定,跨机构研究合作应就监督程序达成一致。

(8)问责制(Accountability)

需明确研究团队成员在AI使用中的角色,确保所有借助AI生成的成果均有明确责任人。研究者应清楚报告在特定研究中谁以何种方式使用了AI,并在AI或其输出被不当使用时承担相应责任。



如何在稿件评审中

负责任地使用AI?



AI可在稿件评审过程中发挥重要作用。部分专用工具(如 https://statcheck.io/)可用于核查统计分析结果的正确性,而GenAI则具备更为广泛的功能。例如对笔者的测试手稿提供的评审意见与建议均相当具有参考价值:内容详实、聚焦、切中要害,能够准确反映原稿质量,且仅耗时数分钟,远快于人工评审所需。由此可见,生成式AI可显著节省编辑与审稿人的时间。

然而,目前一些出版商(如Elsevier)仍禁止编辑与审稿人使用生成式AI进行稿件评估,原因主要有三:首先是著作权与许可问题。稿件在被录用并签署版权转让协议前,其著作权仍归作者所有。若在评审过程中使用AI工具,需事先获得作者的明确授权。然而,目前投稿系统通常未设置征求此类同意的机制。其次是数据安全与文本独创性风险。当稿件上传至基于大语言模型的聊天系统后,其内容可能被纳入模型数据库,从而导致AI生成与原稿类似的文本。例如,若审稿人将论文A上传AI进行评审,该AI模型可能随后生成与A稿相似的内容,供他人撰写论文B使用。即便双方均无不当意图,两篇论文在发表后仍可能因文本重合而引发抄袭争议。第三是学术判断能力的不足。以测试手稿为例,该论文曾被三位审稿人、负责编辑及主编一致退稿,而ChatGPT与Claude均建议“修改后重投”,并给出了详细修改意见。这表明,尽管AI的反馈迅速而系统,但其在学术判断深度与专业洞察力方面尚无法取代经验丰富的专家。

因此,负责任地使用AI要求审稿人和编辑不得将待评审稿件上传至生成式AI系统,以防侵犯作者权益或引发版权风险,即便这意味着评审效率的降低。若确有必要使用AI,则须确保作者事先知情,并保证稿件内容不会被AI系统永久存储或用于训练模型。从运营管理视角看,期刊之所以邀请专家担任审稿人,是基于其学科知识与方法论专长,而非其使用AI的能力;若编辑部或出版商希望借助AI进行初筛或审阅,他们会通过内部部署实现。

展望未来,随着投稿量激增、合格审稿人日益稀缺,AI在稿件评审中的作用将愈加突出。研究者因此不仅要面向人类读者(包括编辑、审稿人和学术社区)写作,还需逐步适应“AI审稿人”的潜在评判标准。这一趋势甚至可能影响学术写作的风格与结构。值得注意的是,已有作者在稿件中嵌入针对AI审稿系统的“隐性提示语”,以期诱导其生成更积极的审稿意见。

与此同时,出版机构亦可为编辑配备AI辅助工具,如Proofig.com与 Imagetwin.ai,以检测图像造假、内容不一致或图片重复等问题;其他工具如 ZeroGPT、Turnitin与Scite.ai可用于识别AI生成文本或核查参考文献的真实性。此类工具有助于在稿件发表前发现潜在的不端行为,从而降低撤稿风险。但在实践中,这些AI检测工具的准确性仍令人质疑:同一篇文本在不同检测系统中可能得出截然相反的结果——某系统判定“无AI生成痕迹”,另一系统则判定“100%由AI生成”;更有甚者,这些工具时常将人类撰写的文本误判为AI生成内容,造成结果不一致与信任危机。这种不稳定性可能导致对作者的无端指控,例如被指控为AI抄袭或论文造假。因此,人类的判断仍是不可替代的,任何阶段都不应过度依赖AI工具

表1总结了本文前述关于负责任使用AI的基本指南。需要强调的是,这些指南并非固定不变,而应随着技术水平和学术实践的发展不断更新与完善。(点击图片后长按可进行翻译)




未来展望



尽管人机协作的“新世界”令人着迷,但这也是一片伦理雷区,唯有所有研究相关方共同努力,方能加以清理与规范。出版商可能需要放弃部分版权限制,允许其他出版机构或组织所拥有的AI代理能够自由访问和使用其内容,以换取自身AI系统使用他方资源的权利。学术内容的开放共享将有助于提升科研导向型AI聊天机器人的训练数据质量,减少偏倚,增强其在学术研究中的可靠性与公正性。资助机构、出版商、高等院校、科研组织、信息技术公司等应当通力合作,推动制定并统一AI使用的伦理准则,并确保这些准则得到严格贯彻执行。研究中所使用的AI算法应接受相应权威机构的审计。为保护开发者的知识产权及其在算法研发中的资金投入,这些算法无需完全公开,但在受到合理且严重的伦理质疑时,相关算法必须接受审查。

所有上述协调行动的落实,都需要在全球层面推动知识产权法律的修订,并获得出版商协会、研究资助方、高校及司法机构的共同支持,同时要求部分企业决策者摒弃“属地化”“封闭所有权”的思维定势。可以预见,这一过程必将遭遇阻力。然而,随着AI能力的指数级提升及其在科研活动中日益广泛的应用,所有研究利益相关方终将被迫采取必要的行动。


(本文摘录自The Service Industries Journal2025年7月,原文链接:https://doi.org/10.1080/02642069.2025.2537115,本期推文为节选摘编,有所删减和编辑。)




本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 宋欣雨 王译晗

本期编辑 | 宋欣雨

基地官网:https://statevalbase.fudan.edu.cn



· end ·


下一篇

开放科学时代科研评估的关键工具:学术知识图谱

版权所有:复旦大学
地址:上海市杨浦区邯郸路220号   邮编:200433