如今这场争议已经动摇了用户对AI写作的基本预期。模型未必越写越好提示词也不再长期有效。AI写作的黄金时代正在崩塌进入模型一代比一代强文章却一篇比一篇烂。它知道什么时候列出几条建议在哪里塞进小标题也不会忘记在结尾补上一句总结。但通篇读完脑子里却一句话都留不下来。模型越强文章越不像人话最近剑桥大学博士后Adam Hunt也注意到了这个现象。他的研究方向是演化精神病学与人类演化。Hunt过去一直看好AI。可到了7月28日他却在一篇长帖里坦言自己现在越来越悲观。之前有一种流行的比喻是把模型能力画成一个带尖峰的圆。首先是代码和数学超过人类然后随着规模扩大每个方向逐步增长最终实现AGI。但实际上代码和数学那根刺确实是越来越长了而语言表达和简单推理却没有同步提升。从强化学习的角度这件事几乎是必然的。早几代LLM看起来「全面变聪明」是因为训练语料本身就是全领域的从诗歌到论文整个互联网都在。不过那是语料的副产品不是模型真正的「理解力」。思维链和网页搜索随后诞生给模型续了一波命。只不过这条路终究还是撞墙了。紧接着急于翻盘的AI公司盯上了代码。原因很简单它有源源不断的训练数据。GitHub上的提交、审查、PR全是现成的。而且和数学类似代码有明确的反馈信号跑得通就是跑得通。写文章呢你用什么东西给「一段散文写得好不好」自动打分没有奖励RL就不会往那个方向优化。于是所有训练火力都转移到了代码上而语言表达只能吃预训练阶段留的老本。老本只能是越吃越薄甚至为了配合其他领域的提升还会出现退化。这正是古德哈特定律容易显形的地方。当一项指标成为训练目标它就不再准确反映真实能力。实验室用基准测试优化模型再用同类测试证明变强。榜单上的准确率还会继续上涨。实际使用体验却可能停滞甚至下降。这一次模仿也被限制了能力在退化的同时另一件事也在发生。一位Reddit用户发帖抱怨自己用ChatGPT写了几个月的书订阅了高级模型。中间休息了一阵。等他回来那条一直能用的提示词突然返回拒绝。提示词本身并不复杂指定一位作家要求增加对话、丰富细节、避免碎句。过去只要写明作家名字模型就能生成接近其文风的内容不需要额外解释句长、节奏、视角。现在这类提示用不了了。Ars Technica测试了斯蒂芬·金、J.K. 罗琳、谭恩美、狄更斯、海明威Engadget则测试了阿加莎·克里斯蒂ChatGPT全都拒绝模仿。如果你不点名只要求「悬念强度」「叙事节奏」「对话密度」这些抽象特征的话倒是可以输出。但味儿就不是原来那个味儿了。AI写作的黄金时代崩塌了如今这场争议已经动摇了用户对AI写作的基本预期。模型未必越写越好提示词也不再长期有效。平台一改规则围绕特定模型搭建的整条写作流水线说塌就塌。不过AI写作不会消失它只是退回到了自己该在的位置工具。它可以查资料、理结构、改句子却无法替作者决定写什么、为什么写。换句话说人的经验、判断和表达欲正越来越值钱。
如今这场争议已经动摇了用户对AI写作的基本预期。模型未必越写越好提示词也不再长期有效。AI写作的黄金时代正在崩塌进入模型一代比一代强文章却一篇比一篇烂。它知道什么时候列出几条建议在哪里塞进小标题也不会忘记在结尾补上一句总结。但通篇读完脑子里却一句话都留不下来。模型越强文章越不像人话最近剑桥大学博士后Adam Hunt也注意到了这个现象。他的研究方向是演化精神病学与人类演化。Hunt过去一直看好AI。可到了7月28日他却在一篇长帖里坦言自己现在越来越悲观。之前有一种流行的比喻是把模型能力画成一个带尖峰的圆。首先是代码和数学超过人类然后随着规模扩大每个方向逐步增长最终实现AGI。但实际上代码和数学那根刺确实是越来越长了而语言表达和简单推理却没有同步提升。从强化学习的角度这件事几乎是必然的。早几代LLM看起来「全面变聪明」是因为训练语料本身就是全领域的从诗歌到论文整个互联网都在。不过那是语料的副产品不是模型真正的「理解力」。思维链和网页搜索随后诞生给模型续了一波命。只不过这条路终究还是撞墙了。紧接着急于翻盘的AI公司盯上了代码。原因很简单它有源源不断的训练数据。GitHub上的提交、审查、PR全是现成的。而且和数学类似代码有明确的反馈信号跑得通就是跑得通。写文章呢你用什么东西给「一段散文写得好不好」自动打分没有奖励RL就不会往那个方向优化。于是所有训练火力都转移到了代码上而语言表达只能吃预训练阶段留的老本。老本只能是越吃越薄甚至为了配合其他领域的提升还会出现退化。这正是古德哈特定律容易显形的地方。当一项指标成为训练目标它就不再准确反映真实能力。实验室用基准测试优化模型再用同类测试证明变强。榜单上的准确率还会继续上涨。实际使用体验却可能停滞甚至下降。这一次模仿也被限制了能力在退化的同时另一件事也在发生。一位Reddit用户发帖抱怨自己用ChatGPT写了几个月的书订阅了高级模型。中间休息了一阵。等他回来那条一直能用的提示词突然返回拒绝。提示词本身并不复杂指定一位作家要求增加对话、丰富细节、避免碎句。过去只要写明作家名字模型就能生成接近其文风的内容不需要额外解释句长、节奏、视角。现在这类提示用不了了。Ars Technica测试了斯蒂芬·金、J.K. 罗琳、谭恩美、狄更斯、海明威Engadget则测试了阿加莎·克里斯蒂ChatGPT全都拒绝模仿。如果你不点名只要求「悬念强度」「叙事节奏」「对话密度」这些抽象特征的话倒是可以输出。但味儿就不是原来那个味儿了。AI写作的黄金时代崩塌了如今这场争议已经动摇了用户对AI写作的基本预期。模型未必越写越好提示词也不再长期有效。平台一改规则围绕特定模型搭建的整条写作流水线说塌就塌。不过AI写作不会消失它只是退回到了自己该在的位置工具。它可以查资料、理结构、改句子却无法替作者决定写什么、为什么写。换句话说人的经验、判断和表达欲正越来越值钱。
