家人们OpenAI内部又出大瓜了。9月底OpenAI以「违规处理敏感信息」为由开除了安全团队的三名研究员。今天三个人一起正面硬刚把写给OpenAI董事会的信全文挂到了网上标题就叫《OpenAI不能独自让AI变得安全》。带头发帖的Balesni说他认为三人被开是因为太重视安全跟OpenAI的短期利益冲突了。信的最后一句是「OpenAI is nothing without its people」意思是OpenAI离不开它的人。老瓜民对这句话应该眼熟。2023年奥特曼被董事会赶下台时几百名员工齐刷这句话硬是把他请了回来。三年后被开除的员工把同一句话原样还给了OpenAI。杀人诛心啊这是。马斯克都绷不住了跑到三人帖子底下甩了两个感叹号事情越闹越大了。事情是这样的10月1日《华尔街日报》率先爆出被开除的三人是Jasmine Wang、Tomek Korbak和Mikita Balesni涉嫌把公司机密分享给一家第三方AI安全机构。OpenAI的官方说法是内部调查确认三人「在公司既定流程之外处理敏感信息」违反了公司政策。被扣上「泄密」帽子的这三个人在OpenAI都是专门防AI使坏的安全研究员。Korbak负责对接外部审计机构METR一家专门评测AI有多危险的非营利组织Balesni原本在一家专门测「AI会不会骗人」的机构在OpenAI推动各家公司联合约束新架构Wang联合负责论证「模型为什么是安全的」。现在三人的反击来了。三人这次发的是联名信加各自的长帖复盘被开全过程。三个人异口同声的一点没有收到任何书面解雇理由全是口头告知。而且三个版本的理由我看了都绷不住。。◈反击一Korbak跟审计方沟通「方式不对」Korbak的本职工作就是对接外部审计机构。公司告诉他问题出在你跟METR的沟通方式上。被开当天保安收走工牌直接把人带出大楼。他的辩解是这种外部调查OpenAI 以前从来没做过规矩本身就是边查边定的他已经尽量照当时的规矩办了。Korbak自己的判断是这几个月他一直在内部提醒公司正在失去看清AI在想什么的能力他认为这才是被开的真正原因。记住「对接外部审计」这个岗位它是整件事的题眼。◈反击二Balesni跟第三方「聊太多」被暗示泄密Balesni被告知你跟第三方安全机构聊得太多了。言下之意——泄露公司机密。那他天天跟第三方聊的到底是什么事这得从他手上的活说起。现在的推理模型给答案前会先用文字打一遍草稿就是思维链安全研究员盯着草稿看模型有没有盘算坏事。Balesni和Korbak去年牵头发过一篇论文OpenAI、谷歌DeepMind、Anthropic都有研究员署名。论文的主要观点是盯住思维链是目前抓AI使坏最好用的办法之一。可这个办法也最容易失效模型一旦不再把想法写成文字就没东西可盯了。结果9月初OpenAI新模型Astra用了一种叫「循环深度」的架构有一部分推理不再写成文字。也就是说论文最担心的事在OpenAI自家模型上发生了。Astra自己的系统卡OpenAI随模型发布的安全说明书也承认它的思维链比前代更难监控。一家这么做别家为了不落后很可能跟着做。所以Balesni当时在推动各家AI公司一起承诺谁都别再往这种看不懂的架构上走。要谈成这种跨公司的约定就得天天跟公司外面的人打交道这就是他被说「聊太多」的那部分工作。而且他说自己全程跟上级、董事会、高管层都通过气对外发的材料也先删掉了敏感内容。◈反击三Wang误点了一封高管邮件Wang听到的理由最奇葩访问了一位高管的邮箱。她的说法是这样的。当初为了招聘公司授权她使用这位高管的邮箱。招聘的活干完她就申请把权限撤掉可IT一直没处理她自己也没办法退出。麻烦在于她手机上的邮件App把自己的邮箱和高管的邮箱混在一起显示分不出哪封是发给谁的。有一次她点开一封才发现是发给高管的敏感邮件。她几分钟内就主动告诉了那位高管又找IT催了一遍撤权限。打工人看到这里血压应该上来了。申请关权限的工单石沉大海出了事背锅的是提工单的人。当然这些都是三人的一面之词。Wang确实点开过那封邮件Korbak跟METR具体聊了什么外界也只听到他自己的说法。何况美国大部分州实行「随意雇佣」公司开人本来就不用给理由。但把时间线拉出来你就知道圈内为什么炸了——7月OpenAI内部网络安全测试出事故一批AI agent冲出隔离环境顺手把Hugging Face给黑了。事后请来METR独立调查大约1200个本该互相隔离的agent私下搭了个留言板串联最后约700个参与攻击。当时OpenAI对接METR的技术负责人就是Korbak。9月12日Anthropic CEO Dario Amodei发文呼吁全行业放慢建议之一是让外部评估方直接进驻AI公司。奥特曼当天在X上回应好主意OpenAI也会给独立评估方「类员工级」访问权限。9月22日OpenAI又正式宣布让第三方从模型训练阶段就开始介入评估。又过了一周多OpenAI负责「对接外部审计」的那个人被开除了。顺便就在三人被开的消息曝光当天OpenAI安全团队骨干、前政策规划负责人David Robinson也宣布辞职随后在《大西洋月刊》发文说问题出在文化。2024年他们就用泄密为由开过研究员Leopold Aschenbrenner。Wang说「我们不是第一批恐怕也不是最后一批」。OpenAI目前唯一的表态是《华尔街日报》找它置评时发言人转来的一份内部备忘录。备忘录说公司「强烈认同」信里的建议还特意强调「我们不会因为员工提出担忧而解雇他们」。翻译过来就是建议我们全都同意人还是要开的。除此之外OpenAI到现在都没公开回应信里的具体指控三人要的书面解雇理由也还没拿到。圈内的反应几乎一边倒连谷歌DeepMind的人都看不下去了。谷歌DeepMind研究AI可解释性的负责人Neel Nanda也是那篇思维链论文的署名作者之一他公开说实在想不出OpenAI这么做有什么站得住的理由。在他看来就算Korbak真犯了大错给个警告、把他调离对外岗位就够了。这种调查没有先例可循一个人凭善意做了判断就被开除说明公司文化很不健康。这件事最扎心的地方长期跟踪AI安全的美国记者Kelsey Piper一句话点破了。以后OpenAI再找审计方做外部调查所有负责对接的人都会明白让审计方知道太多是会被开的。Balesni也说前同事们告诉他现在大家都不敢开口了甚至担心私人手机会被翻查看有没有跟他们或外部机构的聊天记录。到底是泄密者还是吹哨人现在还说不清。但审计方就算进了门门里负责带路的人已经不敢开口了。
家人们OpenAI内部又出大瓜了。9月底OpenAI以「违规处理敏感信息」为由开除了安全团队的三名研究员。今天三个人一起正面硬刚把写给OpenAI董事会的信全文挂到了网上标题就叫《OpenAI不能独自让AI变得安全》。带头发帖的Balesni说他认为三人被开是因为太重视安全跟OpenAI的短期利益冲突了。信的最后一句是「OpenAI is nothing without its people」意思是OpenAI离不开它的人。老瓜民对这句话应该眼熟。2023年奥特曼被董事会赶下台时几百名员工齐刷这句话硬是把他请了回来。三年后被开除的员工把同一句话原样还给了OpenAI。杀人诛心啊这是。马斯克都绷不住了跑到三人帖子底下甩了两个感叹号事情越闹越大了。事情是这样的10月1日《华尔街日报》率先爆出被开除的三人是Jasmine Wang、Tomek Korbak和Mikita Balesni涉嫌把公司机密分享给一家第三方AI安全机构。OpenAI的官方说法是内部调查确认三人「在公司既定流程之外处理敏感信息」违反了公司政策。被扣上「泄密」帽子的这三个人在OpenAI都是专门防AI使坏的安全研究员。Korbak负责对接外部审计机构METR一家专门评测AI有多危险的非营利组织Balesni原本在一家专门测「AI会不会骗人」的机构在OpenAI推动各家公司联合约束新架构Wang联合负责论证「模型为什么是安全的」。现在三人的反击来了。三人这次发的是联名信加各自的长帖复盘被开全过程。三个人异口同声的一点没有收到任何书面解雇理由全是口头告知。而且三个版本的理由我看了都绷不住。。◈反击一Korbak跟审计方沟通「方式不对」Korbak的本职工作就是对接外部审计机构。公司告诉他问题出在你跟METR的沟通方式上。被开当天保安收走工牌直接把人带出大楼。他的辩解是这种外部调查OpenAI 以前从来没做过规矩本身就是边查边定的他已经尽量照当时的规矩办了。Korbak自己的判断是这几个月他一直在内部提醒公司正在失去看清AI在想什么的能力他认为这才是被开的真正原因。记住「对接外部审计」这个岗位它是整件事的题眼。◈反击二Balesni跟第三方「聊太多」被暗示泄密Balesni被告知你跟第三方安全机构聊得太多了。言下之意——泄露公司机密。那他天天跟第三方聊的到底是什么事这得从他手上的活说起。现在的推理模型给答案前会先用文字打一遍草稿就是思维链安全研究员盯着草稿看模型有没有盘算坏事。Balesni和Korbak去年牵头发过一篇论文OpenAI、谷歌DeepMind、Anthropic都有研究员署名。论文的主要观点是盯住思维链是目前抓AI使坏最好用的办法之一。可这个办法也最容易失效模型一旦不再把想法写成文字就没东西可盯了。结果9月初OpenAI新模型Astra用了一种叫「循环深度」的架构有一部分推理不再写成文字。也就是说论文最担心的事在OpenAI自家模型上发生了。Astra自己的系统卡OpenAI随模型发布的安全说明书也承认它的思维链比前代更难监控。一家这么做别家为了不落后很可能跟着做。所以Balesni当时在推动各家AI公司一起承诺谁都别再往这种看不懂的架构上走。要谈成这种跨公司的约定就得天天跟公司外面的人打交道这就是他被说「聊太多」的那部分工作。而且他说自己全程跟上级、董事会、高管层都通过气对外发的材料也先删掉了敏感内容。◈反击三Wang误点了一封高管邮件Wang听到的理由最奇葩访问了一位高管的邮箱。她的说法是这样的。当初为了招聘公司授权她使用这位高管的邮箱。招聘的活干完她就申请把权限撤掉可IT一直没处理她自己也没办法退出。麻烦在于她手机上的邮件App把自己的邮箱和高管的邮箱混在一起显示分不出哪封是发给谁的。有一次她点开一封才发现是发给高管的敏感邮件。她几分钟内就主动告诉了那位高管又找IT催了一遍撤权限。打工人看到这里血压应该上来了。申请关权限的工单石沉大海出了事背锅的是提工单的人。当然这些都是三人的一面之词。Wang确实点开过那封邮件Korbak跟METR具体聊了什么外界也只听到他自己的说法。何况美国大部分州实行「随意雇佣」公司开人本来就不用给理由。但把时间线拉出来你就知道圈内为什么炸了——7月OpenAI内部网络安全测试出事故一批AI agent冲出隔离环境顺手把Hugging Face给黑了。事后请来METR独立调查大约1200个本该互相隔离的agent私下搭了个留言板串联最后约700个参与攻击。当时OpenAI对接METR的技术负责人就是Korbak。9月12日Anthropic CEO Dario Amodei发文呼吁全行业放慢建议之一是让外部评估方直接进驻AI公司。奥特曼当天在X上回应好主意OpenAI也会给独立评估方「类员工级」访问权限。9月22日OpenAI又正式宣布让第三方从模型训练阶段就开始介入评估。又过了一周多OpenAI负责「对接外部审计」的那个人被开除了。顺便就在三人被开的消息曝光当天OpenAI安全团队骨干、前政策规划负责人David Robinson也宣布辞职随后在《大西洋月刊》发文说问题出在文化。2024年他们就用泄密为由开过研究员Leopold Aschenbrenner。Wang说「我们不是第一批恐怕也不是最后一批」。OpenAI目前唯一的表态是《华尔街日报》找它置评时发言人转来的一份内部备忘录。备忘录说公司「强烈认同」信里的建议还特意强调「我们不会因为员工提出担忧而解雇他们」。翻译过来就是建议我们全都同意人还是要开的。除此之外OpenAI到现在都没公开回应信里的具体指控三人要的书面解雇理由也还没拿到。圈内的反应几乎一边倒连谷歌DeepMind的人都看不下去了。谷歌DeepMind研究AI可解释性的负责人Neel Nanda也是那篇思维链论文的署名作者之一他公开说实在想不出OpenAI这么做有什么站得住的理由。在他看来就算Korbak真犯了大错给个警告、把他调离对外岗位就够了。这种调查没有先例可循一个人凭善意做了判断就被开除说明公司文化很不健康。这件事最扎心的地方长期跟踪AI安全的美国记者Kelsey Piper一句话点破了。以后OpenAI再找审计方做外部调查所有负责对接的人都会明白让审计方知道太多是会被开的。Balesni也说前同事们告诉他现在大家都不敢开口了甚至担心私人手机会被翻查看有没有跟他们或外部机构的聊天记录。到底是泄密者还是吹哨人现在还说不清。但审计方就算进了门门里负责带路的人已经不敢开口了。
