GPT生成的参考文献能不能用?4个真实案例告诉你答案

AI时代的研究者,需要如何正确使用AI工具的方法论

by Paperpal
Share it on FacebookShare it on TwitterShare it on LinkedinShare it on Email

如果您正在用 ChatGPT、Claude、Gemini 或其他大语言模型辅助科研,尤其是用它查找参考文献,这篇文章值得花 5 分钟读完。

因为大语言模型在生成参考文献时,有一个所有用户都需要警惕的现象:AI 可能生成看似完美、但实际并不存在的引用。

这种现象被称为 hallucinated citations(幻觉引用):作者名、论文标题、期刊名、DOI 编号、年份卷期,看上去样样齐全。但你去任何学术数据库搜,根本找不到这篇文献。

Nature 旗下 Scientific Reports 发表的研究测试了 ChatGPT 在 42 个学科主题上生成的 636 条参考文献。结果显示:  ChatGPT-3.5 生成的引用中 55% 是虚构的;更新的 ChatGPT-4 仍有 18% 的引用完全不存在。

AI时代做科研,我们需要的是如何正确使用AI工具的方法论。首先,我们先了解AI 生成虚假引用的具体形式有哪些。

下面 4 个案例,基于真实研究和审稿人反馈的常见类型,帮你识别 AI 生成参考文献时的 4 类常见问题。

 

案例 1 | 完全虚构的引用

这是最常见、也是最容易被发现的一类:AI 凭空生成了一个看似完整的引用,但作者、论文、期刊全部不存在。

典型场景

一位研究者用 ChatGPT 查找关于「人工智能在医学影像诊断中应用」的参考文献,AI 生成了这样一条:

❌ AI 生成的虚假引用: Johnson, M. K., & Chen, L. (2022). Deep learning approaches for early detection of pancreatic cancer using multimodal medical imaging. Journal of Medical Imaging and Artificial Intelligence, 15(3), 245-267. https://doi.org/10.1234/jmiai.2022.15.3.245

真实情况: 去 Google Scholar、PubMed、Web of Science 搜索这条引用,你会发现这位 Johnson, M. K. 没有发表过这篇论文,「Journal of Medical Imaging and Artificial Intelligence」这本期刊根本不存在,DOI 链接打开是 404。整条引用是 AI 凭空生成的。

为什么会发生

大语言模型的训练方式让它学会了「什么样的引用看起来像真的」,但它没有完整的学术文献数据库作为「知识储备」去判断这条引用是不是存在。

于是当你问它「给我推荐几篇相关文献」时,它会基于模式生成一条看起来完美符合学术引用格式的内容,但内容本身是虚构的。

怎么发现

▪ 把作者名 + 关键词搜索 Google Scholar

▪ 把期刊名搜索 Web of Science 或期刊收录数据库

▪ 打开 DOI 链接验证是否真实跳转到论文

 

案例 2 | 作者真实,但论文不存在

这一类比第 1 类更难发现:AI 引用了真实存在的学者名字,但他/她从未发表过这篇论文。

典型场景

研究者写关于「量子计算」的综述,AI 推荐了这样一条引用:

❌ AI 生成的虚假引用: Preskill, J. (2021). Quantum supremacy and the future of fault-tolerant quantum computing. Reviews of Modern Physics, 93(2), 025001.

真实情况: John Preskill 是加州理工学院真实存在的著名量子物理学家,他确实是量子计算领域的权威。但他从未在 2021 年的 Reviews of Modern Physics 上发表过这篇标题的论文。AI 利用了 Preskill 在这个领域的真实声誉,但论文本身是 AI 生成的。

为什么这一类危险

因为作者是真实的学者,审稿人对作者名字可能没有警觉,但当他/她真的去查这位作者的发表记录时,会发现这篇论文不存在。这种情况下,作者会被怀疑「虚构引用」。这是非常严重的学术诚信问题。

怎么发现

▪ 不只搜论文标题,还要搜作者的全部发表记录(Google Scholar profile / ORCID)

▪ 如果某位真实学者的「这篇论文」找不到,需要立刻怀疑是否为 AI 虚构

▪ 特别警惕「领域内权威 + 完美匹配主题」的组合,这是 AI 最容易制造虚假引用的方向

 

案例 3 | 引用了已被撤稿的论文(Zombie Citation)

这一类不是 AI「虚构」出来的引用,是 AI 引用了真实发表过、但已经被撤稿的论文。

典型场景

研究者写关于「肠道菌群与免疫」的论文,AI 推荐了这样一条引用:

❌ AI 生成的虚假引用: Smith, A. B., et al. (2019). Gut microbiome modulation enhances immunotherapy response in melanoma patients. Nature Medicine, 25(8), 1147-1156.

真实情况: 这条引用对应一篇真实存在的论文,它确实在 Nature Medicine 发表过。但在 2023 年,这篇论文因为数据问题被撤稿(retracted)。AI 的训练数据停留在某个时间点,它不知道这篇论文已经被撤稿——继续把它作为可靠的引用源推荐给用户。

为什么这一类特别隐蔽

Zombie citation(僵尸引用)是学术诚信的灰色地带

▪ DOI 真实有效

▪ 作者真实存在

▪ 论文当年确实发表过

▪ 但论文已经被撤稿——其中的数据和结论不再可靠

如果你不知道这篇论文已被撤稿,在自己的论文里继续引用它,那你的研究依据建立在了一个已经被学术界否定的基础上。

Retraction Watch 数据库累积撤稿记录已超过 65,000 。2023 年单年发出的撤稿通知超过 14,000 。AI 训练数据中的「真实论文」,有相当一部分已经在最近被撤稿。

怎么发现

▪ 访问 Retraction Watch 数据库(retractionwatch.com)逐条核查

▪ Crossref 也已经收录了 Retraction Watch 数据——通过 DOI 可以查询撤稿状态

▪ 但人工逐条核查 30-50 条引用,往往需要 1-2 小时

 

案例 4 | DOI 看起来真实,但指向错误的论文

这是 4 类中最隐蔽的一种:AI 生成的 DOI 链接格式完全正确,甚至打开能跳转到一篇真实论文,但那篇论文和引用描述的内容完全无关。

典型场景

研究者写关于「机器学习在金融预测中的应用」,AI 推荐了这样一条引用:

❌ AI 生成的虚假引用: Wang, H., & Liu, J. (2020). Deep reinforcement learning for portfolio optimization in volatile markets. Journal of Financial Economics, 138(2), 412-430. https://doi.org/10.1016/j.jfineco.2020.04.012

真实情况: DOI 链接 10.1016/j.jfineco.2020.04.012 是真实存在的,它打开后跳转到 Journal of Financial Economics 的一篇真实论文。但那篇论文的题目、作者、内容,和 AI 给你的引用描述完全不一致。AI 把一个真实 DOI 和一个虚构的引用信息拼接在了一起。

为什么这一类最难发现

如果你只是「点开 DOI 验证一下能不能跳转」,你会发现 DOI 真实有效,而后你可能就认为这条引用没问题。

但只有真正读了 DOI 跳转后的论文,你才会发现这篇论文不是 AI 描述的那篇。

DOI 真实有效 ≠ 引用真实,这是 AI 时代研究者必须建立的新认知。

怎么发现

▪ 不只验证 DOI 跳转,还要核对跳转后的论文标题、作者、年份与引用描述是否一致

▪ 如果作者署名、标题、年份有任何一处不匹配,那这条引用就是错误的

 

为什么这件事正在变得越来越重要 

有些研究者可能会想「我只是偶尔用 AI 查文献,审稿人不一定会逐条核查每条引用吧?」这个判断 5 年前可能是对的,但今天已经不是。国际期刊正在加强参考文献的审查。

过去 2 年里:

▪ Retraction Watch 数据库被 Crossref 收录并免费开放

这意味着任何期刊编辑都能在几秒内查询一条引用是否对应已撤稿论文。

▪ Nature、Science 等期刊明确要求作者披露 AI 使用情况

如果披露不完整、参考文献又有问题,可能被怀疑学术诚信违规。

▪ arXiv 在 2025 年 5 月公布的新规中明确将「不当引用、错误引用、虚假引用」列为合规审查的重点

AI 工具的普及,让「参考文献是否真实」这件事从过去的「默认成立」变成了「需要主动核查」。

撤稿数据库已经成为出版商常规筛查工具

Springer Nature 在 2024 年主动撤回了旗下期刊的 2,923 篇论文,其中很大一部分来自出版商自身的质量审查机制。

撤稿数据揭示的趋势

2025 年发表在 Journal of Korean Medical Science 的研究,分析了 16,041 篇医学撤稿论文(1975-2024年),发现每 13 篇被撤稿的医学论文中,就有 1 篇因为参考文献相关问题。

AI 工具的普及,让这个比例只会上升,不会下降。

那研究者应该怎么做 

研究指出的现象不是要求每位研究者「不用 AI 查文献」,而是要求每位研究者更清醒地使用 AI 辅助。

3 个值得养成的习惯

习惯一:把 AI 当成「线索」,不当成「结论」

AI 推荐的文献方向通常是有价值的,但具体的引用(作者、标题、DOI)必须到真实学术数据库(Google Scholar、Web of Science、PubMed)手动验证。

习惯二:建立投稿前的引用核查清单

基于本文 4 个案例,投稿前的核查至少要覆盖:

▪ 每一条引用的 DOI 是否真实有效(打开 doi.org 验证)

▪ 被引用的论文是否真的存在

▪ 被引用的论文是否已被撤稿

▪ 被引用的论文是否真的支撑你的论点

▪ DOI 跳转后的论文,是否与引用描述一致

习惯三:主动披露 AI 使用情况

Nature、Science、Cell 等主流国际期刊都已要求作者披露 AI 使用情况。诚实披露 + 严格自查,是 AI 时代学术诚信的基础。

 

让参考文献核查更高效:Paperpal Reference Checker 

逐条人工核查 30-50 条参考文献需要时间,且容易遗漏。这也是为什么 Paperpal 设计了 Reference Checker 参考文献核查功能。

上传英文稿件后,几分钟内你会得到一份完整的核查报告,覆盖本文提到的 4 类问题:

针对案例 1(完全虚构的引用):自动验证每条引用的 DOI 真实性、期刊收录状态

针对案例 2(作者真实但论文不存在):交叉验证作者发表记录与具体论文是否匹配

针对案例 3(zombie citation 撤稿引用):自动比对 Retraction Watch 等撤稿数据库,标记已撤稿引用

针对案例 4(DOI 指向错误论文):核对 DOI 跳转后的论文与引用描述是否一致

底层数据来自一个覆盖 2.5 亿+ 学术文献、每日更新的语料库。同一套核查能力,已被多家国际学术出版商和期刊集成进编辑工作流。也就是说,期刊编辑用来筛你稿件的标准,你现在可以在投稿前自己跑一遍。

 

📚 数据来源

▪ Walters, W.H. & Wilder, E.I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13: 14045. https://www.nature.com/articles/s41598-023-41032-5

▪ Retraction Watch Database (now part of Crossref). 累计撤稿记录超过 65,000 篇。https://retractionwatch.com

▪ Van Noorden, R. (2023). More Than 10,000 Research Papers Were Retracted in 2023—A New Record. Nature, 624, 479.

▪ Okyay, R.A., et al. (2025). Fifty Years of Retracted Medical Publications From 1975 to 2024. Journal of Korean Medical Science, 40(46): e300.

▪ Springer Nature Research Integrity Report (Feb 2025). 2024 年旗下 3,000+ 期刊撤稿 2,923 篇相关披露。

▪ Thomas Dietterich, arXiv Computer Science Section Chair (May 2025). arXiv 行为准则更新公告。

 

 

投稿前,用 Paperpal 检查一遍

语法润色 · AI率检测 · 查重 · 期刊规范· 参考文献核查· AI审稿

→ paperpal.cn  |  免费开始使用

Paperpal 是一款面向科研写作和英文期刊投稿场景的AI学术写作工具,帮助作者在写作与投稿前系统性地发现问题并逐步优化。无论是语言表达、文献引用,还是投稿完备度与审稿风险评估,Paperpal 都能提供清晰、可操作的支持,帮助你更安心地完成投稿准备。
Paperpal 提供免费版本供你体验基础功能;升级至 Paperpal Prime,还可使用更完整的写作与投稿支持功能,帮助你在投稿前更从容地准备论文,提高投稿过程的确定性。
立即注册Paperpal,开启高效写作、自信投稿

Share it on FacebookShare it on TwitterShare it on LinkedinShare it on Email

You may also like