AI可以润色语言、检查引用、总结文献,但它能否像真正的审稿人一样,指出一篇论文的问题并提供有价值的修改建议?哈佛大学定量社会科学研究所(Institute for Quantitative Social Science,IQSS)的一项最新研究,直接比较了AI与高质量人工专家对同一批论文给出的评审意见。通过第三方AI评判模型和人类编辑评判,结果是AI评审意见更好。这项研究并不意味着期刊可以直接让AI决定论文录用或拒稿,但它说明:AI已经能够生成全面、具体且具有可操作性的投稿前修改意见,其表现甚至可能超过经过筛选和付费激励的人工评审。
一、这项研究比较了什么?
研究由哈佛大学教授Gary King和IQSS数据科学主管Steven Worthington完成,题为:AI Article Reviews Dominate Human Peer Reviews at Their Best: Evidence and Policy Choices,研究数据来自哈佛IQSS运营的rapidPeer服务。rapidPeer是一项面向高校研究人员的投稿前预审服务。它不是期刊正式同行评审,而是在论文正式投稿前,由外部学者提供双盲评审和修改意见。
参与rapidPeer的人工评审人需要:
- 完整阅读论文;
- 提供至少1.5至2页反馈;
- 从理论、方法、文献、表达和图表等方面提出建议;
- 重点帮助作者完善稿件,而不是简单判断录用或拒稿;
- 接受报酬,并通过持续激励保持评审质量。
在收到rapidPeer评审后参加调查的74位作者中,88%认为评审质量“高”或“非常高”。
也就是说,这项研究没有拿AI和随意、仓促的人工评审相比,而是选择了一组质量较高的人工专家意见作为基准。
二、124篇论文为什么对应134组评审?
研究共纳入:
| 研究数据 | 数量 |
| 学术论文 | 124篇 |
| 人工专家评审 | 134份 |
| AI与人工评审对比 | 134组 |
其中10篇论文分别获得了两份独立人工评审,因此124篇论文最终形成了134份人工评审。
研究人员随后使用Claude Opus 4.8,为相同论文生成AI评审,并将AI与人工评审进行逐组比较。
论文类型覆盖:
- 实证数据分析;
- 数学模型研究;
- 定性研究;
- 不同学科和不同职业阶段作者的稿件。
三、AI是怎样审稿的?
研究设置了两种AI评审方式。
-
相同条件下直接比较
AI获得:
- 匿名处理后的完整论文;
- 论文中的图表;
- 与人工评审人相同的rapidPeer评审指南。
在这种情况下,AI没有使用额外工具,而是与人工评审人按照同一套标准阅读和评价论文。
-
使用专业提示词和网络检索
在增强模式下,AI除了读取论文,还使用了:
- 专门设计的Agent提示词;
- 网络检索能力;
- 更结构化的评审流程。
增强模式平均每篇论文进行了约12.4次网络搜索,用于核查相关研究、文献来源和论文背景。
研究发现,即使不使用网络检索,仅向AI提供论文和评审标准,AI评审的整体表现依然很强;获得网络检索支持后,AI在文献来源方面的优势进一步扩大。
四、谁来判断AI与人工评审哪个更好?
研究采用了两套评判机制。
第一轮:GPT-5.5评判全部134组评审
研究人员使用GPT-5.5作为独立评判模型。对于同一篇论文,它会比较:
- Claude生成的AI评审;
- 人工专家撰写的评审。
评判时不会标明哪一份来自AI,哪一份来自人类。
为减少前后顺序造成的影响,每组评审会交换展示顺序重复比较。只有在不同顺序下都选择同一份评审,才会被判定为明确胜出。
在作出明确判断的比较中,GPT-5.5全部选择了AI评审更好。
第二轮:三名前期刊编辑评判随机样本
为了避免只由AI评价AI,研究人员又随机抽取10组评审,请三名曾担任重要学术期刊编辑的人分别进行判断。
计算方式是:3名编辑 × 10组评审 = 30次独立判断
结果为:
- 26次选择AI评审;
- 4次选择人工评审;
- AI获选比例约为87%。
这里的“87%”是指:三名前期刊编辑作出的30次判断中,有26次认为AI评审更好。
五、AI在哪些审稿维度表现更好?
研究按照rapidPeer的评审标准,从七个方面评价审稿意见:
- 文献来源(sources);
- 论文弱点(weaknesses);
- 研究方法(methods);
- 理论与研究观点(theory and idea);
- 论文框架(framing);
- 表达与沟通(communication);
- 图表(figures and tables)。
AI评审在七个维度上的平均评分均高于人工评审。其中,AI在文献来源、论文弱点和研究方法方面的优势最明显。它不仅能够指出语言问题,还会检查:
- 研究问题与方法是否对应;
- 结论是否超出数据支持范围;
- 方法说明是否足够完整;
- 理论框架是否清楚;
- 讨论部分是否存在逻辑跳跃;
- 参考文献是否充分支持论述;
- 图表是否清楚表达研究结果;
- 论文是否遗漏重要限制。
AI评审的核心优势,是能够按照一套完整标准扫描整篇论文,不容易因为时间有限而只关注一两个最明显的问题。
六、AI是不是只因为写得更长、更流畅而获胜?
研究人员针对这一问题进行了多项检验。
他们控制了AI与人工评审的篇幅,也尝试把人工评审改写成类似AI的语言风格,并只比较双方都讨论过的相同维度。
结果没有发生根本变化:AI评审仍获得更高评价。
研究还检查了评审意见对原稿内容的理解是否准确:
- AI评审中约5.5%的相关判断被认为不正确;
- 人工评审中约15.9%的相关判断被认为不正确;
- 研究没有在AI评审中发现虚构文献来源。
因此,AI的优势不只是写得更长或更像一份正式报告。它在问题覆盖范围、意见完整性和对论文内容的理解方面也表现较强。
六、AI审稿为什么会提出更多、更细的意见?
人工审稿人通常需要在有限时间内完成评审,因此更可能集中于:
- 研究设计是否成立;
- 结果是否可信;
- 论文是否具有创新性;
- 是否存在足以影响结论的重大问题。
AI则可以同时扫描更多维度,并把问题逐项列出,例如:
- 摘要、结果和结论中的数字不一致;
- 研究问题与方法没有完全对应;
- 讨论部分存在重复;
- 结论超出数据支持范围;
- 图表说明不完整;
- 研究限制报告不足;
- 术语前后不一致;
- 引用文献与当前观点之间的关系不够明确。
这也是为什么越来越多作者感受到,AI辅助产生的审稿意见往往更长、更结构化,也更细。
但意见更多不代表每一条都同样重要。作者仍需判断哪些属于关键修改,哪些只需要解释,哪些可以合理不采纳。
七、这是否意味着AI可以取代期刊审稿人?
不能直接得出这个结论。
这项研究证明的是:AI能够为作者提供高质量、结构化的投稿前修改意见。
AI擅长广泛扫描论文,发现结构、方法、引用、表达和前后不一致等问题;人类编辑和审稿人仍需要判断:
- 研究问题是否真正重要;
- 结论是否具有学术价值;
- 研究是否足够创新;
- 论文是否适合目标期刊;
- 某些非常规方法和观点是否合理。
因此,这项研究给科研作者的启发是:可以通过AI先完成广泛、结构化的检查,人类再集中处理创新性、研究意义和关键学术判断。
八、投稿前如何使用AI审稿?
这项研究对科研作者最直接的启示是:不要等到正式同行评审后,才第一次用审稿人的视角检查论文。
在投稿前,可以先进行一次AI审稿:
第一步:检查论文整体逻辑
重点确认:
- 研究问题是否清楚;
- 方法是否能够回答研究问题;
- 结果是否完整支持结论;
- 摘要、正文和结论是否一致;
- 讨论是否存在过度推断。
第二步:整理AI反馈
将意见分为三类:
- 必须修改:涉及事实、数据、方法或明显逻辑问题;
- 需要解释:不一定修改研究,但需要在文中补充说明;
- 可以不采纳:与研究目标不符或属于低优先级建议。
第三步:修改后重新检查
局部修改可能引起新的不一致,因此建议重新核对:
- 摘要、结果和结论中的数字;
- 新增内容是否有文献支持;
- 术语和研究对象是否保持一致;
- 图表、正文和参考文献是否对应。
第四步:完成投稿前技术检查
AI 审稿主要关注稿件内容和论证。正式提交前,还应继续检查:
- 学术语言;
- 查重结果;
- AI率;
- 参考文献状态和引用相关性;
- 目标期刊投稿规范;
- 作者、伦理、基金和数据可用性等声明。
十、使用Paperpal Agents运行AI Review
在Paperpal Agents中,作者可以上传论文并运行AI Review,从模拟审稿视角获得关于以下方面的反馈:
- 行文逻辑;
- 论证缺口;
- 冗余内容;
- 方法与结果的对应关系;
- 结论是否得到充分支持;
- 科学严谨性;
- 可能引起审稿人追问的内容。
作者也可以继续提出更具体的问题,例如:
- 请找出结论超出数据支持范围的地方。
- 研究问题、方法和结果之间是否完全对应?
- 摘要、结果和结论中的数据是否一致?
- 如果你是期刊审稿人,会优先要求作者修改哪些问题?
Paperpal AI 审稿,可以在稿件进入正式评审前,帮助作者提前发现可以修改的问题。
完成AI Review后,还可以继续进行语言、参考文献、查重、AI写作痕迹和期刊规范检查,让稿件以更完整的状态进入评审流程。
结语
哈佛大学这项研究说明:AI已经不只是帮助作者写作,也开始具备提供高质量投稿前评审意见的能力。
在134组AI与人工评审对比中,AI评审在完整性、可操作性和多个评审维度上表现突出;三名前期刊编辑作出的30次判断中,也有26次更青睐AI评审。
对科研作者来说,值得参考的启示是在点击Submit之前,先让自己的论文经历一次系统的AI Review。
正式审稿无法预演,但论文中的论证缺口、前后矛盾、表达问题和引用风险,很多都可以在投稿前提前发现。
投稿前,先用Paperpal AI审稿检查一遍。
信息来源
- Gary King & Steven Worthington:AI Article Reviews Dominate Human Peer Reviews at Their Best
- Harvard IQSS:rapidPeer
- Times Higher Education:AI article review “better than humans at their best”
Paperpal 是一款面向科研写作和英文期刊投稿场景的AI学术写作工具,帮助作者在写作与投稿前系统性地发现问题并逐步优化。无论是语言表达、文献引用,还是投稿完备度与审稿风险评估,Paperpal 都能提供清晰、可操作的支持,帮助你更安心地完成投稿准备。
Paperpal 提供免费版本供你体验基础功能;升级至 Paperpal Prime,还可使用更完整的写作与投稿支持功能,帮助你在投稿前更从容地准备论文,提高投稿过程的确定性。
立即注册Paperpal,开启高效写作、自信投稿

