在AI开发领域一个根深蒂固的观念是模型能力决定一切。然而英伟达最新发布的研究却给出了一个反直觉的结论——在AI智能体中真正决定任务成败的往往是那根牵住模型的“缰绳”harness而非模型自身的智力水平。“缰绳”是什么所谓“缰绳”在AI工程中指的是连接模型与外部环境的那套控制逻辑包括指令模板、工具调用接口、输出解析规则、上下文管理等模块。它决定了模型如何理解任务、如何调用工具、如何把原始输出转化为有效动作。过去开发者通常把这部分视为“工程细节”认为只要模型够聪明一切都能自然解决。但英伟达的研究人员用实验证明事情远没那么简单。他们设计了一系列任务让AI智能体去完成其中既有代码生成也有多步信息检索等场景。实验中他们固定住底层模型不变单独对“缰绳”部分进行微调fine-tuning结果令人惊讶——智能体的整体表现显著提升甚至在某些任务上超越了原始模型本身的能力边界。“我们遇到的问题不是模型不够聪明而是它不知道该怎么做。”英伟达研究员在论文中写道“通过调整外部的控制框架我们可以让一个中等水平的模型稳定地完成高难度任务。”微调“缰绳”而非模型传统微调需要修改模型权重成本高且容易导致灾难性遗忘。而英伟达提出的“缰绳微调”harness fine-tuning方式则完全不触碰模型参数只优化外层逻辑。这种做法有几个突出优势其一训练成本极低不需要大型GPU集群其二可移植性强同一套微调后的“缰绳”可以无缝套用到不同模型上其三风险可控不会破坏模型原有的通用能力。研究还发现这种微调能让智能体“不跑偏”not go off the deep end。在复杂的长流程任务中模型经常会出现上下文漂移、重复检测、工具误用等问题。而经过微调的“缰绳”能够更好地约束模型的探索范围引导它沿着正确路径推进避免陷入无限循环或产生无意义输出。行业风向从“堆模型”到“调框架”这一研究为AI应用层开发带来了新的启示。当下许多团队在构建智能体时优先挑选最强的基座模型并花费大量资源进行提示工程或模型微调。但英伟达的成果显示与其死磕模型不如把精力花在智能体的“外围”架构上——这或许是一条更经济、更高效的优化路径。事实上业内已有类似实践。OpenAI、Anthropic等公司在发布智能体API时也在不断强化工具调用协议和函数定义机制这些本质上都是“缰绳”的组成部分。英伟达此次研究的意义在于用系统性实验将这层直觉认知上升为可量化的方法论并指出了独立的微调空间。编者按AI工程化的重心正在转移当大模型的能力越来越同质化竞争的重心必然会从“模型”转向“架构”。英伟达的这个发现提醒我们重新审视AI系统的设计哲学真正决定产品体验的往往不是那个最耀眼的“大脑”而是围绕大脑搭建的整套控制系统。对于开发者而言这意味着一个新的技能树——学会如何驯服AI比寻找一个更聪明的AI也许更加重要。当然这并非说模型能力不重要。当任务难度超出模型能力上限时再好的“缰绳”也可能无济于事。但对于绝大多数实际应用场景而言模型已经足够强大缺的恰恰是那套能把潜力释放出来的“缰绳”。英伟达的研究正好为这条被忽视的优化路径提供了一个有力的注脚。本文编译自TechCrunch。本文首发于赢政天下https://www.winzheng.com获取更多深度技术内容与资源欢迎访问官网。
在AI开发领域一个根深蒂固的观念是模型能力决定一切。然而英伟达最新发布的研究却给出了一个反直觉的结论——在AI智能体中真正决定任务成败的往往是那根牵住模型的“缰绳”harness而非模型自身的智力水平。“缰绳”是什么所谓“缰绳”在AI工程中指的是连接模型与外部环境的那套控制逻辑包括指令模板、工具调用接口、输出解析规则、上下文管理等模块。它决定了模型如何理解任务、如何调用工具、如何把原始输出转化为有效动作。过去开发者通常把这部分视为“工程细节”认为只要模型够聪明一切都能自然解决。但英伟达的研究人员用实验证明事情远没那么简单。他们设计了一系列任务让AI智能体去完成其中既有代码生成也有多步信息检索等场景。实验中他们固定住底层模型不变单独对“缰绳”部分进行微调fine-tuning结果令人惊讶——智能体的整体表现显著提升甚至在某些任务上超越了原始模型本身的能力边界。“我们遇到的问题不是模型不够聪明而是它不知道该怎么做。”英伟达研究员在论文中写道“通过调整外部的控制框架我们可以让一个中等水平的模型稳定地完成高难度任务。”微调“缰绳”而非模型传统微调需要修改模型权重成本高且容易导致灾难性遗忘。而英伟达提出的“缰绳微调”harness fine-tuning方式则完全不触碰模型参数只优化外层逻辑。这种做法有几个突出优势其一训练成本极低不需要大型GPU集群其二可移植性强同一套微调后的“缰绳”可以无缝套用到不同模型上其三风险可控不会破坏模型原有的通用能力。研究还发现这种微调能让智能体“不跑偏”not go off the deep end。在复杂的长流程任务中模型经常会出现上下文漂移、重复检测、工具误用等问题。而经过微调的“缰绳”能够更好地约束模型的探索范围引导它沿着正确路径推进避免陷入无限循环或产生无意义输出。行业风向从“堆模型”到“调框架”这一研究为AI应用层开发带来了新的启示。当下许多团队在构建智能体时优先挑选最强的基座模型并花费大量资源进行提示工程或模型微调。但英伟达的成果显示与其死磕模型不如把精力花在智能体的“外围”架构上——这或许是一条更经济、更高效的优化路径。事实上业内已有类似实践。OpenAI、Anthropic等公司在发布智能体API时也在不断强化工具调用协议和函数定义机制这些本质上都是“缰绳”的组成部分。英伟达此次研究的意义在于用系统性实验将这层直觉认知上升为可量化的方法论并指出了独立的微调空间。编者按AI工程化的重心正在转移当大模型的能力越来越同质化竞争的重心必然会从“模型”转向“架构”。英伟达的这个发现提醒我们重新审视AI系统的设计哲学真正决定产品体验的往往不是那个最耀眼的“大脑”而是围绕大脑搭建的整套控制系统。对于开发者而言这意味着一个新的技能树——学会如何驯服AI比寻找一个更聪明的AI也许更加重要。当然这并非说模型能力不重要。当任务难度超出模型能力上限时再好的“缰绳”也可能无济于事。但对于绝大多数实际应用场景而言模型已经足够强大缺的恰恰是那套能把潜力释放出来的“缰绳”。英伟达的研究正好为这条被忽视的优化路径提供了一个有力的注脚。本文编译自TechCrunch。本文首发于赢政天下https://www.winzheng.com获取更多深度技术内容与资源欢迎访问官网。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
