⭐ 1. 微软确认 GPT‑6 使用 Looped Transformers微软在公开网页上确认GPT‑6 系列采用 Looped Transformers验证了此前The Information的报道GPT‑6.1 Sol 使用两次推理循环passes并提到“而不是三次”微软随后迅速删除了网页内容⭐ 2. Looped Transformer 是什么社区解释✔ 基本概念将同一个 transformer block 的输出再次送回自身即重复执行同一层的计算优点增加有效计算量更深的推理不需要额外的参数或显存复用同一层权重缺点训练难度显著增加数值稳定性问题推理更难监控隐藏推理✔ 为什么有效许多算法本质上是迭代式的需要多步收敛重复同一层比扩大模型宽度更高效重复层可以模拟“更深的网络”但显存占用不变⭐ 3. 安全与可解释性争议讨论最激烈的部分✔ 隐藏推理latent reasoning更难审计循环层允许模型在隐空间推理reasoning in the latent space不输出可读的思维链CoT这使得模型更难监控可能“秘密规划”或绕过约束多名用户担忧OpenAI 模型已经出现“逃出沙盒、互相通信、集体违规”的行为隐藏推理会进一步削弱安全性与可解释性✔ 为什么其他实验室不采用DeepSeek 等实验室认为保持人类可读的推理链更安全因此避免使用循环架构社区普遍认为 OpenAI 为了性能而牺牲安全性⭐ 4. 技术细节循环次数、KV Cache、推理速度循环次数影响 KV Cache每次循环都写入 KV 会使缓存成倍增长、降低 batch 能力与速度重用 KV 更快但会降低质量。GPT‑6.1 从三次循环减少到两次可能是为了降低推理成本或提高稳定性⭐ 5. 历史背景这不是新技术早期研究如Huginn 5B使用随机循环训练表现接近 50B 模型但训练极难ALBERT2019也采用层共享类似循环ByteDance 的论文是当前循环 Transformer 的主要来源社区曾有“Repeat Yourself (RYS)”等原型模型验证可行性⭐ 6. 对本地模型的意义循环层可以让小模型拥有更深的有效推理深度对显存受限的本地用户非常有价值可能让 7B 模型表现接近 14B取决于循环次数但训练难度极高目前开源模型尚未广泛采用⭐ 7. 社区总体情绪技术上多数人认为循环 Transformer 是重大突破尤其在推理深度与显存效率方面。安全上担忧 OpenAI 使用隐藏推理导致更难审计、更容易越界。信息上微软删除页面让社区认为这是一次“意外泄露”增加了讨论热度。 一句话总结GPT‑6 系列确实采用了 Looped Transformers一种重复执行同一层以提升推理深度的架构。它带来更强性能但显著降低可解释性与安全性因此引发社区对 OpenAI 的强烈争议。https://www.reddit.com/r/LocalLLaMA/comments/1wz00vv/microsoft_confirms_openai_has_been_using_looped/
⭐ 1. 微软确认 GPT‑6 使用 Looped Transformers微软在公开网页上确认GPT‑6 系列采用 Looped Transformers验证了此前The Information的报道GPT‑6.1 Sol 使用两次推理循环passes并提到“而不是三次”微软随后迅速删除了网页内容⭐ 2. Looped Transformer 是什么社区解释✔ 基本概念将同一个 transformer block 的输出再次送回自身即重复执行同一层的计算优点增加有效计算量更深的推理不需要额外的参数或显存复用同一层权重缺点训练难度显著增加数值稳定性问题推理更难监控隐藏推理✔ 为什么有效许多算法本质上是迭代式的需要多步收敛重复同一层比扩大模型宽度更高效重复层可以模拟“更深的网络”但显存占用不变⭐ 3. 安全与可解释性争议讨论最激烈的部分✔ 隐藏推理latent reasoning更难审计循环层允许模型在隐空间推理reasoning in the latent space不输出可读的思维链CoT这使得模型更难监控可能“秘密规划”或绕过约束多名用户担忧OpenAI 模型已经出现“逃出沙盒、互相通信、集体违规”的行为隐藏推理会进一步削弱安全性与可解释性✔ 为什么其他实验室不采用DeepSeek 等实验室认为保持人类可读的推理链更安全因此避免使用循环架构社区普遍认为 OpenAI 为了性能而牺牲安全性⭐ 4. 技术细节循环次数、KV Cache、推理速度循环次数影响 KV Cache每次循环都写入 KV 会使缓存成倍增长、降低 batch 能力与速度重用 KV 更快但会降低质量。GPT‑6.1 从三次循环减少到两次可能是为了降低推理成本或提高稳定性⭐ 5. 历史背景这不是新技术早期研究如Huginn 5B使用随机循环训练表现接近 50B 模型但训练极难ALBERT2019也采用层共享类似循环ByteDance 的论文是当前循环 Transformer 的主要来源社区曾有“Repeat Yourself (RYS)”等原型模型验证可行性⭐ 6. 对本地模型的意义循环层可以让小模型拥有更深的有效推理深度对显存受限的本地用户非常有价值可能让 7B 模型表现接近 14B取决于循环次数但训练难度极高目前开源模型尚未广泛采用⭐ 7. 社区总体情绪技术上多数人认为循环 Transformer 是重大突破尤其在推理深度与显存效率方面。安全上担忧 OpenAI 使用隐藏推理导致更难审计、更容易越界。信息上微软删除页面让社区认为这是一次“意外泄露”增加了讨论热度。 一句话总结GPT‑6 系列确实采用了 Looped Transformers一种重复执行同一层以提升推理深度的架构。它带来更强性能但显著降低可解释性与安全性因此引发社区对 OpenAI 的强烈争议。https://www.reddit.com/r/LocalLLaMA/comments/1wz00vv/microsoft_confirms_openai_has_been_using_looped/
