从SAI复现报告看AI学术圈的信任危机与结构性困境OpenAI研究员Keller Jordan最近在X上发了一句话把AI学术圈炸了锅“大多数大实验室的人现在几乎不读论文了ICLR/ICML/NeurIPS上的论文大多是夸大其词和造假。”如果只是嘴炮这顶多算一个圈内人的情绪发泄。但问题是数据站在他这边。今年7月芝加哥大学谭宸浩教授联合创办的SAIScience of AI做了一件非常得罪人的事他们把ICML 2026的全部168篇Oral论文拿来实验复现。结果相当难看——105篇完成复现的论文中只有8篇复现率超过80%。中位数复现得分在28%-30%之间。也就是说两万多篇投稿里筛出来的最顶层论文绝大多数经不起跑一遍代码的检验。一、比造假更可怕的是系统性不可验证先澄清一点SAI报告里暴露的问题大部分不是故意造假那么戏剧化。真正普遍的情况是代码跑不通关键文件缺失依赖环境损坏实验结果和论文对不上模型已经下线后人无法复现这些问题听起来像是疏忽但累积起来造成的结果是一篇论文声称的成果外人几乎无法验证。这就形成了一个危险的灰色地带——论文作者可以说我开源了但你就是跑不出来他说可能是环境配置问题你也没办法证伪。更讽刺的是那篇ICLR 2026的论文效果好得反常开源代码一看原来是用测试集标签调参。这种低级错误能被顶会接收说明审稿流程本身已经很难识别看起来合理的陷阱。二、为什么实验审稿这么难做SAI的报告里有一个数字让我印象很深完整重跑一篇ICML Oral论文成本中位数约为8,900美元17篇超过10万美元最贵的一篇接近220万美元。这意味着什么意味着可复现性正在成为AI领域的阶级壁垒。只有资金充裕的大实验室或公司才付得起复现一篇论文的成本。普通高校研究者、独立研究者、学生根本没有资源去验证顶会论文的真实性。于是大家只能选择**“相信”**——相信审稿人把关了相信同行评议有效。但SAI的数据告诉我们这个信任链已经断裂了。而且那些没有开源代码的64篇Oral论文168篇中104篇开源直接就是无懈可击——你无法验证只能默认它是对的。正如一位评论者说的“之所以能发现这个漏洞是因为代码是开源的。又有多少类似的测试漏洞仅仅因为代码不是开源的而被忽视了”三、不读论文是傲慢还是无奈回到Keller Jordan那句话。很多人批评他上岸后抽梯子——OpenAI从学术界招人、用学术界的成果、抢学术界的GPU最后说学术界基本都是欺诈。这个批评有道理但也忽略了一个事实在大模型时代真正重要的进展确实越来越不依赖论文了。GPT-4的技术细节没有论文Gemini的核心训练方法不会公开各家的Agent架构只在内部迭代。当产业界的算力、数据、工程能力远超学术界时论文作为知识传播媒介的价值确实在衰减。但这里有一个更深层的问题产业界的人可以不读论文但想进入产业界的人还是要靠论文敲门。申请PhD、找教职、进OpenAI——这些都需要论文做凭证。论文在知识传播上的可信度在下降在人才筛选中的价值却丝毫未减。这就造成了一个荒诞的局面论文变成了一个你必须参与但不必相信的游戏。你写论文不是为了传播知识而是为了拿到门票你读论文不是为了学习而是为了跟进哪些方向还在被审稿人接受。四、这对普通研究者意味着什么如果你是正在投顶会的学生或者刚入行的研究者这个数据可能让人沮丧。但我想提供几个务实的视角1. 可复现正在成为差异化竞争力当大部分论文都跑不通时一篇真正能复现的论文反而更稀缺。如果你能在开源代码、实验细节、环境配置上做到别人能跑通这已经超过了大多数Oral论文。这不是底线要求这是竞争优势。2. 小模型、小实验是独立研究者的机会SAI报告显示越依赖大规模算力的论文复现成本越高可信度越难验证。反过来在小模型、小数据集上做的扎实分析反而更容易被社区验证和认可。独立研究者不必盲目追逐大精和真更有长期价值。3. 论文之外建立可验证的个人品牌在GitHub上维护一个稳定的开源项目、在社交媒体上分享可复现的实验过程、写技术博客时附上完整的运行记录——这些可验证的积累比一篇可能跑不通的顶会论文更能建立长期信任。五、论文制度会崩溃吗短期内不会有人可能会问既然论文复现率这么低那论文制度是不是该被淘汰了我的判断是短期内不会。因为论文制度解决的不只是知识传播问题它还解决了**“人才筛选和资源分配”**问题。在没有更好的替代机制之前PhD录取委员会、招聘团队、基金评审人依然需要论文作为可量化的信号。但长期来看如果不可验证成为常态论文的信号价值也会衰减。也许未来的评价体系会更看重开源项目的实际影响力技术博客的社区反馈可复现的实验记录真实的工程落地能力六、写在最后那位说希望学生能写出夸大其词的论文的教授其实是在自嘲——大多数学生连造假的能力都没有还在挣扎LaTeX排版。这句话背后是一个被忽视的事实顶会论文的门槛看起来很高23918篇投稿选168篇Oral但实际上**“写好一篇论文和做好一项研究正在变成两件事**。很多人把精力花在怎么让论文看起来 impressive”而不是让研究真正可靠。这不是某个人的道德问题这是激励机制的系统性扭曲。当发表的回报远大于被揭穿的风险时理性人都会选择优化前者。SAI的实验审稿之所以重要不是因为它抓出了几个坏人而是它用数据证明了一件事AI学术圈需要一场关于可信度的重建。而重建的起点可能是每个人都先问自己一个问题我写的这篇论文别人能复现吗参考与延伸阅读SAI实验审稿完整报告how-much-science-is-verifiableKeller Jordan原推文及讨论Mathew Shen关于ICLR论文测试集泄露的发现
从SAI复现报告看AI学术圈的信任危机与结构性困境OpenAI研究员Keller Jordan最近在X上发了一句话把AI学术圈炸了锅“大多数大实验室的人现在几乎不读论文了ICLR/ICML/NeurIPS上的论文大多是夸大其词和造假。”如果只是嘴炮这顶多算一个圈内人的情绪发泄。但问题是数据站在他这边。今年7月芝加哥大学谭宸浩教授联合创办的SAIScience of AI做了一件非常得罪人的事他们把ICML 2026的全部168篇Oral论文拿来实验复现。结果相当难看——105篇完成复现的论文中只有8篇复现率超过80%。中位数复现得分在28%-30%之间。也就是说两万多篇投稿里筛出来的最顶层论文绝大多数经不起跑一遍代码的检验。一、比造假更可怕的是系统性不可验证先澄清一点SAI报告里暴露的问题大部分不是故意造假那么戏剧化。真正普遍的情况是代码跑不通关键文件缺失依赖环境损坏实验结果和论文对不上模型已经下线后人无法复现这些问题听起来像是疏忽但累积起来造成的结果是一篇论文声称的成果外人几乎无法验证。这就形成了一个危险的灰色地带——论文作者可以说我开源了但你就是跑不出来他说可能是环境配置问题你也没办法证伪。更讽刺的是那篇ICLR 2026的论文效果好得反常开源代码一看原来是用测试集标签调参。这种低级错误能被顶会接收说明审稿流程本身已经很难识别看起来合理的陷阱。二、为什么实验审稿这么难做SAI的报告里有一个数字让我印象很深完整重跑一篇ICML Oral论文成本中位数约为8,900美元17篇超过10万美元最贵的一篇接近220万美元。这意味着什么意味着可复现性正在成为AI领域的阶级壁垒。只有资金充裕的大实验室或公司才付得起复现一篇论文的成本。普通高校研究者、独立研究者、学生根本没有资源去验证顶会论文的真实性。于是大家只能选择**“相信”**——相信审稿人把关了相信同行评议有效。但SAI的数据告诉我们这个信任链已经断裂了。而且那些没有开源代码的64篇Oral论文168篇中104篇开源直接就是无懈可击——你无法验证只能默认它是对的。正如一位评论者说的“之所以能发现这个漏洞是因为代码是开源的。又有多少类似的测试漏洞仅仅因为代码不是开源的而被忽视了”三、不读论文是傲慢还是无奈回到Keller Jordan那句话。很多人批评他上岸后抽梯子——OpenAI从学术界招人、用学术界的成果、抢学术界的GPU最后说学术界基本都是欺诈。这个批评有道理但也忽略了一个事实在大模型时代真正重要的进展确实越来越不依赖论文了。GPT-4的技术细节没有论文Gemini的核心训练方法不会公开各家的Agent架构只在内部迭代。当产业界的算力、数据、工程能力远超学术界时论文作为知识传播媒介的价值确实在衰减。但这里有一个更深层的问题产业界的人可以不读论文但想进入产业界的人还是要靠论文敲门。申请PhD、找教职、进OpenAI——这些都需要论文做凭证。论文在知识传播上的可信度在下降在人才筛选中的价值却丝毫未减。这就造成了一个荒诞的局面论文变成了一个你必须参与但不必相信的游戏。你写论文不是为了传播知识而是为了拿到门票你读论文不是为了学习而是为了跟进哪些方向还在被审稿人接受。四、这对普通研究者意味着什么如果你是正在投顶会的学生或者刚入行的研究者这个数据可能让人沮丧。但我想提供几个务实的视角1. 可复现正在成为差异化竞争力当大部分论文都跑不通时一篇真正能复现的论文反而更稀缺。如果你能在开源代码、实验细节、环境配置上做到别人能跑通这已经超过了大多数Oral论文。这不是底线要求这是竞争优势。2. 小模型、小实验是独立研究者的机会SAI报告显示越依赖大规模算力的论文复现成本越高可信度越难验证。反过来在小模型、小数据集上做的扎实分析反而更容易被社区验证和认可。独立研究者不必盲目追逐大精和真更有长期价值。3. 论文之外建立可验证的个人品牌在GitHub上维护一个稳定的开源项目、在社交媒体上分享可复现的实验过程、写技术博客时附上完整的运行记录——这些可验证的积累比一篇可能跑不通的顶会论文更能建立长期信任。五、论文制度会崩溃吗短期内不会有人可能会问既然论文复现率这么低那论文制度是不是该被淘汰了我的判断是短期内不会。因为论文制度解决的不只是知识传播问题它还解决了**“人才筛选和资源分配”**问题。在没有更好的替代机制之前PhD录取委员会、招聘团队、基金评审人依然需要论文作为可量化的信号。但长期来看如果不可验证成为常态论文的信号价值也会衰减。也许未来的评价体系会更看重开源项目的实际影响力技术博客的社区反馈可复现的实验记录真实的工程落地能力六、写在最后那位说希望学生能写出夸大其词的论文的教授其实是在自嘲——大多数学生连造假的能力都没有还在挣扎LaTeX排版。这句话背后是一个被忽视的事实顶会论文的门槛看起来很高23918篇投稿选168篇Oral但实际上**“写好一篇论文和做好一项研究正在变成两件事**。很多人把精力花在怎么让论文看起来 impressive”而不是让研究真正可靠。这不是某个人的道德问题这是激励机制的系统性扭曲。当发表的回报远大于被揭穿的风险时理性人都会选择优化前者。SAI的实验审稿之所以重要不是因为它抓出了几个坏人而是它用数据证明了一件事AI学术圈需要一场关于可信度的重建。而重建的起点可能是每个人都先问自己一个问题我写的这篇论文别人能复现吗参考与延伸阅读SAI实验审稿完整报告how-much-science-is-verifiableKeller Jordan原推文及讨论Mathew Shen关于ICLR论文测试集泄露的发现
