随着学术文献数量持续增长，文献检索、筛选、去重和分析日益成为耗时较多的科研环节。传统学术数据库和搜索引擎虽然能够为研究者提供文献线索，但仍存在检索式构建复杂、需要处理大量且往往相关性不足的检索结果、重复文献识别与剔除耗时，以及研究者必须对来源进行深入批判性分析等局限。生成式人工智能的发展，为提高文献检索与分析效率提供了新的可能。

既有研究表明，人工智能可用于文献筛选、信息抽取以及可持续更新的系统综述，推动研究者的角色由单纯的“信息处理者”转向检索策略的“架构师”。然而，大语言模型的应用也呈现出一种“效能悖论”：处理速度的提升往往伴随着分析深度的下降。虚构文献或引文等“幻觉”、过度概括以及缺乏深层综合，构成AI辅助文献研究中的重要风险。从伦理层面看，AI无法对研究成果的准确性、完整性和原创性承担责任，因此不能具备学术作者资格；其“随机鹦鹉”式的运行机制还可能带来隐性剽窃风险，并可能削弱研究者的批判性思维。针对这些问题，已有研究提出在学术评审中引入“AI审查”环节，并在科研和教学实践中采用“AI使用反思日志”，记录从提示词设计到结果核查与修改的全过程。总体而言，未来科研应更多走向“混合智能”模式：AI承担大规模信息的快速筛选、提取和初步系统化，人类研究者则负责战略规划、价值判断和伦理控制；AI应作为强化研究者认知能力的工具，而非学术作者的替代者。

本文关于AI聊天机器人文献检索与分析功能的理论参考主要包括信息检索理论、系统文献综述方法和批判性思维，同时参考人工智能在科研中的作用、AI聊天机器人评价方法，以及学术诚信与负责任使用人工智能等相关研究。信息检索理论为评价AI聊天机器人能否有效发现与研究问题相关的文献提供依据；系统文献综述方法为规范化的文献检索、组织和分析提供参照；批判性思维强调核验AI生成结果、识别错误或不准确的引用、区分事实与假设，并从更广泛的来源中甄别相关文献；学术诚信与负责任使用人工智能的相关原则则强调透明性、责任意识和研究者对最终研究成果的主体责任。

研究聚焦科学探索的初始阶段，选取五种具有不同AI功能取向的聊天机器人进行比较：ChatGPT属于通用型工具；Copilot和Gemini属于集成型工具，分别与Microsoft和Google生态系统相结合；Claude侧重解释性功能；Perplexity AI则侧重搜索功能。

在此基础上，本文提出三个研究问题：

· 现有研究中，已有何种科学文献分析AI聊天机器人检索和分析研究主题相关科学文献的能力？

· ChatGPT、Microsoft Copilot、Gemini、Claude和Perplexity AI在详细检索和分析科学文献方面分别具有哪些特征？

· AI聊天机器人能否成为检索与分析科学文献的可靠工具？

本次测试中，五种工具所提供并经核查的来源均真实存在，来源准确性均达到100%。然而，各工具的来源相关性仅为36.2%-56.1%，分析客观性为61.6%-86.8%。这表明，能够提供真实存在的来源，并不意味着所选择的文献一定与研究问题高度相关，也不意味着AI对文献内容的解读一定与原文一致。

五种工具的回答均具有较好的结构性。除Claude外，其余四种工具的分析深度指标均为1，表明其回答中包含一定程度的概括、结论或趋势识别。按照本文对“伦理性”指标的定义，五种工具该项指标均为0，即回答正文中均未针对可能存在的错误、不准确之处或局限性作出明确提示。这并不意味着相关平台不存在统一的免责声明，也不能据此认定这些工具本身“不符合伦理”，而只是说明在本次测试生成的具体回答中缺乏相应的风险提示。

ChatGPT能够提供结构清晰的内容，并在回答末尾形成总体总结和简要的来源分析。作者将其视为总体表现较为均衡的工具。在四项查询中，ChatGPT平均覆盖约11个来源，来源相关性为47.8%，回答与查询主题的平均契合度为1分，表明其回答总体上仅能部分契合查询要求。其中，人文学科查询的来源相关性仅为11.1%，反映出其在不同研究主题上的表现存在较大差异。

ChatGPT即使在深度研究模式下，也可能引用媒体、博客和网络出版物等非学术来源。同时，其报告中显示的已处理来源数量可能明显多于回答正文实际引用的来源数量。较多的检索次数和较长的回答并未相应转化为更高的来源覆盖度和相关性。其分析客观性为73%，说明多数来源分析与原文内容基本一致，但仍需研究者进一步核查AI的解释性加工是否偏离原文含义。

Copilot的回答与查询主题的平均契合度为1.8分，在五种工具中最高；来源相关性为50.2%，平均覆盖32个来源，分析客观性为69%。Copilot生成回答较为迅速，在关键词明确、研究目标具体的情况下能够较好地保持主题聚焦，因此适合用于有针对性的初步科学文献检索。

Copilot的一个突出特点是，在文献分析过程中可能将两至三个来源的信息合并为一个论断，这会增加准确判断回答客观性的难度。过度概括还可能使回答偏离原文内容，或引入并不完全恰当的假设，同时使具体观点与其证据来源之间的对应关系更难核查。在复杂或跨学科查询中，其来源相关性可能明显下降，例如人文学科查询的相关性仅为35%。因此，清晰、结构化的回答形式并不能替代对所引用文献及其原意的逐项核查。

Gemini首先会提供关于如何分析相关主题的研究计划；如有需要，用户还可以进一步查看和修改该计划。其回答能够对材料进行较为清晰的组织和结构化呈现。本次测试中，Gemini平均覆盖44个来源，分析客观性为73.5%，同时能够形成概括、结论和一定的分析性内容。然而，其来源相关性仅为44.9%，回答与查询主题的平均契合度为1.25分，表明在文献选择和内容分析过程中存在一定程度偏离主题、延伸至相关议题的现象。

Gemini的回答平均约为2,942个词，是五种受测工具中篇幅最长的。其深度研究模式不仅使用科学论文，也会采用网络文章、博客和媒体内容，从而降低研究结果的学术价值。此外，Gemini有时存在过度概括或对原文进行较大幅度重新解释的情况，使部分表述难以在原文中找到明确对应。因此，Gemini可用于结构化文本生成、综合概括和初步文献分析，但回答篇幅更长、内容看似更为完整，并不意味着其学术可靠性更高，研究者仍需重点核查来源相关性以及AI分析与原文之间的一致程度。

Claude的来源相关性为56.1%，分析客观性为86.8%，均为五种工具中的最高值。其较高的客观性与实际引用来源数量有限有关：Claude通常将来源以简短摘要的方式融入正文，这些摘要总体上与论文原文较为一致。然而，其来源覆盖度较低，且部分回答开头列出的来源数量与正文实际引用的来源数量并不一致，有些文本甚至缺乏相应的来源支撑。

Claude的分析深度指标为0，表明在本次测试中，其回答基本没有形成综合性概括、结论或研究趋势判断。其回答更多是陈述事实并解释具体来源，而不是对多项研究进行深入综合。总体而言，Claude不使用虚构来源，回答结构也较为清晰，对所引用文献的转述通常较为贴近原文，但较高的分析客观性并不能弥补来源覆盖不足、引用不充分以及综合分析深度较低等问题。

Perplexity AI平均覆盖129个来源，明显高于其他受测工具，体现出其从广泛、多样化来源中收集信息的能力。其所使用的来源不仅包括不同的学术平台，还涉及英语、中文、日语和乌克兰语等多种语言。Perplexity AI能够生成执行摘要和研究结论，有时还会提供研究方法说明，并能够按照主题或时间顺序对内容进行结构化组织，在广泛收集文献线索和初步整理材料方面具有明显优势。

然而，Perplexity AI的来源相关性仅为36.2%，分析客观性为61.6%，均处于五种工具中的较低水平。虽然其引用的来源均真实存在，但相当一部分来源与具体研究问题并不直接相关，其深度研究模式的来源相关性在不同查询之间也存在较大波动。与其他工具类似，Perplexity AI还会将两个或更多来源合并进行分析，从而增加判断分析内容与具体来源之间对应关系的难度；在部分情况下，其回答还可能对论文内容进行简化、过度概括或夸大。此外，回答末尾列出的来源数量往往明显多于正文实际使用的来源数量。因此，Perplexity AI广泛检索和汇集来源的优势，只有经过研究者进一步筛选、核验和逐项溯源，才能转化为可靠的科学研究证据。

研究结果表明，来源真实存在只是开展文献分析的基础条件。真实存在的网络资源未必属于学术文献，真实存在的论文也未必与研究问题相关，而相关论文的内容仍可能被AI错误解读。因此，在评价人工智能辅助文献综述的质量时，应分别考察来源的真实性、学术性、与研究问题的相关性，以及AI分析与原文内容的一致程度。

来源数量和回答篇幅同样不能替代质量判断。Perplexity AI虽然覆盖来源最广，但来源相关性仅为36.2%；Claude的分析客观性最高，达到86.8%，但其来源覆盖有限，且缺乏充分的综合归纳。不同工具在来源覆盖、相关性、分析深度和客观性等方面各有侧重，本研究并未构建统一的综合评分指标来判定某一种工具在所有方面均优于其他工具。

ChatGPT是总体表现较为均衡的工具。在来源检索方面，其准确性达到100%，分析客观性较高（73%），来源相关性处于中等水平，对查询主题的契合度为部分符合，同时具有较好的结构化程度和分析深度，但来源覆盖仍显不足。ChatGPT可用于围绕特定主题开展较深入的检索，并辅助分析所发现的文献。然而，其覆盖的来源数量有限，且具有较强的解释倾向，从而降低了回答的确定性。

与其他受测AI聊天机器人相比，MS Copilot生成回答的速度较快，对查询主题的契合度最高（1.8分），来源相关性为50.2%，分析客观性为69%。Copilot能够较好地保持主题聚焦并开展有效检索，其特点在于围绕具体研究问题组织回答，而非单纯追求来源数量，这对于有针对性的科学文献检索具有重要意义。不过，其对多个来源进行合并概括时，仍可能出现过度概括或证据与论点对应关系不够清晰的问题。

Gemini提供的回答篇幅最长，具有较好的分析深度、结构化程度和客观性，但来源相关性低于Copilot和Claude。其回答有时过于冗长，并可能偏离查询主题。Gemini擅长较为详细地收集、组织和概括信息，适用于形成内容较为全面的初步文献综述，但仍需进一步核查其来源与研究问题的相关程度，以及对原文内容的解释是否准确。

Claude的来源相关性最高（56.1%），分析客观性也最高（86.8%），这一结果与其实际使用和引用的来源数量较少有关。然而，Claude的文内引用相对不足，部分文本甚至缺乏来源支撑。其回答在分析深度方面表现较弱，较少形成综合性概括、结论或研究趋势判断。总体而言，Claude能够较为忠实地复现和解释所引用来源的内容，体现出较为谨慎的文本分析特点，但来源覆盖和综合分析能力仍存在不足。

Perplexity AI在来源数量和来源多样性方面表现突出，平均涉及129个来源，来源覆盖多个学术平台和不同语言。它能够较好地形成概括与结论，并对材料进行结构化组织。然而，其来源相关性仅为36.2%，分析客观性为61.6%，均为五种工具中的较低水平。其运行方式在一定程度上类似于具有生成能力的搜索工具：能够迅速汇集大量来源，但对这些来源与具体研究问题之间的相关性筛选仍不充分，因此需要研究者进一步进行人工筛选和内容核验。

总体而言，这些工具更适用于科研探索的初始阶段，可用于快速熟悉研究主题、收集候选文献、梳理相关议题、形成初步的文献综述结构以及明确后续研究方向。由于不同工具在来源相关性和分析客观性方面存在较大差异，研究者仍需核查AI生成文本及其引用来源，判断文献与研究问题的相关程度，并对AI提供的分析结果进行批判性评估。自动生成的研究报告不能替代研究者对来源选择、内容准确性、综述完整性、综合概括和批判性分析的把关。

在“混合智能”框架下，人工智能主要承担大规模信息的快速筛选、提取和初步系统化，而研究者则负责研究策略制定、价值判断和伦理控制。有效使用人工智能应建立在人类持续参与和监督的基础上，对生成内容进行必要的专家核验，并透明记录与AI交互及修改的过程，以维护学术诚信。无论采用何种工具，最终的学术判断和研究责任仍应由研究者承担。对不同AI聊天机器人特征、优势与局限的认识，也可为高校课程更新、数字素养课程开发以及机构人工智能使用政策的修订提供参考。

本研究存在一定局限。首先，AI聊天机器人回应的相关性和客观性由不同学科领域的专家依据自身专业经验进行评价，因此不可避免地可能受到主观判断的影响。其次，受研究篇幅和范围限制，本文未将所测试的AI聊天机器人与Scopus AI、LeapSpace、Google Scholar Labs或Web of Science Research Assistant等服务进行比较，也未比较普通模式与深度研究模式的差异，亦未比较基于Scopus和Web of Science数据库开展检索的结果，这些问题均有待后续研究进一步探讨。此外，即使采用与本研究完全相同的查询，也未必能够重复获得完全一致的结果。这一方面源于人工智能技术和模型的快速更新，另一方面也与部分工具的模型调用机制有关。例如，Perplexity AI可能根据查询复杂程度动态选择不同的模型组合，因此其输出结果具有一定的动态性。

总体来看，五种AI聊天机器人在本研究的测试中均能够检索到真实存在的来源，并能够对所得材料进行一定程度的结构化组织。其结构化回答有助于研究者快速浏览文本、筛选相关与不相关信息、整理文献并识别主要议题。然而，不同工具在来源相关性、来源覆盖范围、分析客观性和内容解释方面仍存在明显差异，因此不能仅凭来源真实存在便直接信任其生成的分析结果。

因此，AI聊天机器人可以作为科学文献检索与分析初始阶段的有效辅助工具，用于快速熟悉研究主题、初步寻找和筛选来源、组织文献材料、形成结构化综述以及启发研究思路和研究方向。但研究者不能完全依赖其对来源相关性、文献覆盖完整性以及文章核心内容的分析。只有将人工智能的自动化处理能力与研究者对来源的核验、内容审查、综合概括和批判性判断相结合，才能在提高文献研究效率的同时保障研究结果的准确性、可靠性与学术规范性。

(全文及参考文献见Information Technologies and Learning Tools, 2026, Vol 113,No.3 ，原文链接：https://doi.org/10.1016/j.greeac.2026.100349，本期推文为节选摘编，略有删减和编辑。）

本期策划 | 复旦大学国家智能评价与治理实验基地

供稿 | 金潇苒 王译晗

本期责编 | 金潇苒

基地官网：https://statevalbase.fudan.edu.cn

·end·