AI审稿靠谱吗?100处论文错误测试揭示检出率与漏检项

by Paperpal
Share it on FacebookShare it on TwitterShare it on LinkedinShare it on Email

随着生成式AI进入科研写作与学术出版,越来越多作者开始在正式投稿前使用类似Paperpal的AI审稿工具检查论文。AI可以在几分钟内阅读整篇稿件,并指出结构、逻辑、方法说明和结论表达方面的问题。但一个更关键的问题是:AI审稿究竟能发现多少论文错误?2026年11月,一项最新研究将100处已知错误植入10篇心理学论文,再交给多种前沿大语言模型和两款商业AI审稿工具检查。结果显示,将全部系统的检查结果合并后,共发现93处。这项测试说明,AI已经能够发现相当一部分论文问题。

一、研究如何测试AI审稿能力?

论文题为 How Well Does AI Peer Review Work? A Benchmark Built from 100 Planted Errors,由Paul Litvak于2026年11月9日上传至arXiv,并被CogSec 2026非档案型研讨会接收。研究者选取了10篇开放获取的心理学论文,在其中人为设置100处已知错误,再分别交给多种前沿模型和两款商业AI审稿工具检查,结果发现:单个AI系统发现了30至71处错误,将所有系统的结果合并后,共发现93处。

需要注意,目前该研究属于预印本性质,尚不能视为经过完整同行评审的定论。这项研究测试的是发现已知错误的能力,并不等于完整衡量AI同行评审质量。真实审稿还包括判断研究价值、创新性、理论贡献、方法适切性以及论文是否适合目标期刊。

二、所有AI系统共同漏掉了什么?

这项研究中,仍有7处错误未被任何受测系统发现,并且这7处全部属于同一种情况:研究者从原论文中删除了本应出现的信息。

也就是说,这些问题不是稿件中“写错了什么”,而是“应该写、但没有写什么”。例如,一篇论文可能没有清楚说明:

  • 样本如何纳入或排除;
  • 某项关键实验步骤如何执行;
  • 数据如何清洗或处理;
  • 为什么选择某种统计方法;
  • 某个分析是否属于预设分析;
  • 研究局限是否充分交代;
  • 伦理审批、知情同意或数据可用性信息是否完整。

如果稿件内部不存在明显矛盾,AI可能缺少足够线索判断某项信息已经被遗漏。

这是当前AI审稿非常重要的能力边界:AI更容易检查稿件中已经呈现出来的内容,却未必知道作者在真实研究过程中还有什么没有写进去。

三、AI审稿能检查哪些论文问题?

虽然AI不能发现所有遗漏,但它仍然适合在投稿前帮助作者从审稿视角重新阅读论文。常见应用包括:

  1. 检查论文结构是否完整

AI可以帮助作者检查研究背景、研究问题、方法、结果、讨论和结论之间是否形成完整链条。例如:

  • 引言提出的研究问题是否在结果中得到回答;
  • 方法部分是否足以解释结果如何产生;
  • Discussion是否真正解释了核心发现;
  • 结论是否加入了正文没有支持的新观点。
  1. 识别逻辑跳跃和前后矛盾

作者长期修改同一篇稿件后,很容易忽略不同章节之间的不一致。AI审稿可以辅助发现:

  • 摘要与结果中的样本量不同;
  • 方法中列出的变量没有出现在结果中;
  • Discussion中的解释与实际数据不一致;
  • 结论强度超过研究设计能够支持的范围。
  1. 检查过度推断

相关性研究不能直接证明因果关系,小样本结果也不能轻易推广到所有人群。

AI审稿可以帮助定位“证明”“导致”“完全解决”等过强表达,提示作者重新核对数据与结论之间的关系。

  1. 从模拟审稿视角提出问题

AI可以根据稿件内容提出潜在审稿问题,例如:

  • 为什么选择这一样本?
  • 是否考虑了混杂因素?
  • 研究方法是否足以回答研究问题?
  • 结果是否存在其他解释?
  • 研究局限是否充分讨论?

这些问题不能代替真实审稿人的专业判断,但可以帮助作者提前准备修改或回应。

四、投稿前如何使用AI审稿?

为获得更精准的审稿意见,可以建立一个分层检查流程。

第一步:运行整篇AI审稿

先检查论文的结构、逻辑、研究信息完整性、结论强度和潜在审稿问题。

不要只问“这篇论文写得怎么样”,而应给出具体任务,例如:请从期刊审稿人的视角检查这篇稿件,重点分析研究问题与方法是否匹配、结果是否支持结论、是否存在前后矛盾、信息缺口或过度推断,并说明每项问题所在的章节及修改优先级。

第二步:逐条核实AI意见

作者需要区分:

  • 确实存在、应当修改的问题;
  • 需要补充说明的问题;
  • AI误解稿件而提出的错误建议;
  • 涉及专业判断、需要作者决定的问题。

AI生成的反馈本身也可能出现误解、重复或误报,因此不能一次性全部接受。

第三步:人工检查“没有写出来的信息”

这是本次研究揭示的重点。作者应回到研究方案、实验记录、统计文件和目标期刊要求,检查稿件是否遗漏:

  • 研究对象和样本来源;
  • 纳入与排除标准;
  • 数据收集时间及地点;
  • 关键实验和分析步骤;
  • 缺失数据的处理方式;
  • 伦理审批与知情同意;
  • 数据、代码及材料可用性声明;
  • 利益冲突和资金来源;
  • 预注册信息;
  • AI工具使用情况及必要披露。

这一步不能完全交给AI,因为AI只能根据作者提供的文档作出判断。

第四步:完成其他投稿前检查

AI审稿主要关注结构、逻辑和内容呈现,但正式投稿前还应继续检查:

  • 英文学术语言是否清晰准确;
  • 是否存在文本相似或不当改写;
  • 稿件是否带有明显AI生成痕迹;
  • 参考文献是否真实有效;
  • 引用是否支持对应论点;
  • 正文引用与参考文献列表是否一致;
  • 稿件是否符合目标期刊的格式及技术要求;
  • 是否需要准备AI使用声明。

不同检查解决的是不同风险,不能用一份AI审稿报告替代全部投稿准备。

投稿前,不要只检查语言

使用Paperpal,从AI审稿、语言润色到查重、AI率检测、参考文献核查及期刊规范检查,更系统地发现英文稿件中的潜在问题。

五、AI审稿可以替代真实同行评审吗?

目前不能。

真实同行评审不仅要发现论文中的错误,还需要结合学科知识判断:

  • 研究问题是否重要;
  • 方法是否符合该领域的最佳实践;
  • 研究是否具有原创性;
  • 结果是否对现有理论或实践产生贡献;
  • 稿件是否适合特定期刊的读者和定位。

AI可以快速扫描文本并生成结构化反馈,但它并不掌握作者未提供的研究过程,也无法为学术判断和研究诚信承担责任。

六、如何使用Paperpal进行投稿前AI审稿?

Paperpal AI 审稿可以针对整篇论文、研究计划书及其他学术文档提供审稿式反馈,帮助作者在正式提交前发现结构、逻辑、信息缺口和研究呈现方面的问题。

作者可以按以下方式使用:

  1. 上传完整稿件;
  2. 说明文档类型和希望重点检查的问题;
  3. 阅读AI Review生成的详细意见;
  4. 按“必须修改、需要解释、可合理回应”整理反馈;
  5. 对照原始研究记录核实信息遗漏;
  6. 修改后重新检查摘要、结果和结论是否一致;
  7. 继续运行语言、查重、AI率、参考文献及期刊规范检查。

七、结论:AI可以发现问题,但不能发现所有“缺失”

100处错误测试给出的结论非常清楚:

  • 单个AI审稿系统可以发现部分论文问题;
  • 表现最好的单个系统也没有发现全部错误;
  • AI尤其可能漏掉稿件中完全没有呈现的信息;
  • 测试尚未衡量误报,不能只根据检出数量判断审稿质量。

因此,科研作者不能把AI审稿理解为一次“通关”操作,而是先用AI从审稿视角发现可见问题,再由作者根据研究记录和期刊要求检查缺失信息,最后完成语言、引用、查重、AI率和投稿规范等多维度检查。

信息来源

Litvak, P. (2026). How Well Does AI Peer Review Work? A Benchmark Built from 100 Planted Errors. arXiv:2611.12820.

Paperpal 是一款面向科研写作和英文期刊投稿场景的AI学术写作工具,帮助作者在写作与投稿前系统性地发现问题并逐步优化。无论是语言表达、文献引用,还是投稿完备度与审稿风险评估,Paperpal 都能提供清晰、可操作的支持,帮助你更安心地完成投稿准备。

Paperpal 提供免费版本供你体验基础功能;升级至 Paperpal Prime,还可使用更完整的写作与投稿支持功能,帮助你在投稿前更从容地准备论文,提高投稿过程的确定性。
立即注册Paperpal,开启高效写作、自信投稿

 

Share it on FacebookShare it on TwitterShare it on LinkedinShare it on Email

You may also like