LOHA‑ACD:压缩你所观察的内容而非你所说的内容——面向隐式观测软件工程智能体的锚定上下文蒸馏

发布时间:2026/11/22 6:10:33

LOHA‑ACD:压缩你所观察的内容而非你所说的内容——面向隐式观测软件工程智能体的锚定上下文蒸馏 LOHA‑ACD:压缩你所观察的内容而非你所说的内容——面向隐式观测软件工程智能体的锚定上下文蒸馏arXiv编号:arXiv:2609.31430v1摘要工具观测占据软件工程智能体上下文绝大部分token,长交互历史会带来高昂推理开销。现有上下文压缩方法容易丢弃后续动作所必需的信息;而直接让智能体适配软token表征,又会破坏原有智能体行为。为了缩减上下文,同时保留动作所需关键信息、维持智能体原有行为,本文提出两套耦合组件:**LOHA(Latent Observations, Hard Actions,隐式观测‑硬动作)上下文布局,将被压缩的历史与需要精确引用的文本做分离;以及ACD(Anchored Context Distillation,锚定上下文蒸馏)**训练方法,使模型具备隐式读取能力,同时约束行为漂移。LOHA将较早期工具观测压缩为软token,完整保留智能体自身输出回合、系统提示与任务描述文本;同时保留最近K条观测原始文本,保证近期操作可以拿到精确原文。ACD对基座模型做适配,让模型能够读取压缩后的隐式表征,同时以原始基座模型在纯文本输入上的输出作为锚点,约束行为不要发生偏移。在SW(\mathcal{E})‑bench Verified基准上,设置KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=3\)时,Qwen3‑4B每轮调用上下文降低43%,SW(\mathcal{E})‑Master‑4B‑(\mathcal{R})L降低57%;任务解决率分别为12.1%、21.8%,原始未压缩基线分别为14.5%、27.5%。单轮遍历调优KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=8\),解决率提升至14.4%、23.0%,代价是保留更多原始文本、计算开销上升。在32K token上下文窗口限制条件下,采用KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=3\)的Qwen3在199个实例子集上解决率达到21.1%;同等模型采用全文本上下文仅11.1%。单GPU并发服务场景,吞吐量达到全文本智能体的1.9倍。关键词软件工程智能体;上下文压缩;软token;隐式观测;锚定上下文蒸馏;SW(\mathcal{E})‑bench;长上下文智能体目录引言方法2.1 问题设定2.2 LOHA:隐式观测‑硬动作上下文布局2.3 ACD锚定上下文蒸馏2.3.1 学生模型架构2.3.2 双视图双损失目标2.4 训练与推理流程实验3.1 完整窗口条件下实验结果3.2 上下文窗口受限条件下性能3.3 消融实验3.3.1 近期观测窗口K扫参3.3.2 蒸馏教师模型消融3.4 服务吞吐量实测相关工作结论与未来工作参考文献附录A 实验协议与指标定义附录B 补充实验结果附录C 扫参完整数据附录D 训练实现细节附录(\mathcal{E}) 权重、探测分析1 引言大语言模型软件工程智能体通过工具完成仓库查看、源码修改、测试验证,迭代补丁来解决GitHub Issue。在CoderForge轨迹统计中,工具观测平均占整条轨迹token总量的69%,文件内容、搜索返回、堆栈、测试日志不断累积,上下文长度爆炸。现有上下文缩减方案:观测掩码、历史摘要、子任务折叠、工具输出选择性剪枝。这类方法需要决定丢弃哪些内容,后续动作很可能依赖被删掉的细节;编码编辑(str_replace)等操作要求和源码精确字符串匹配,被摘要或删减的信息必须重新调用工具获取。代码专用压缩依赖程序结构,很难处理搜索结果、堆栈、测试日志。软token压缩把文本编码为更短的连续嵌入向量,解码器可以直接读取。但软件工程智能体有双重需求:既要理解历史观测,又要复现精确字符串用于工具调用;仅靠压缩表征不能保证原文精确复现。直接把软token输入接入解码器,模型需要学习全新输入表征,同时保留原有推理、工具调用、代码修改能力,极易发生行为漂移。本文核心思路:压缩你所观察的内容,而非你所说的内容。LOHA上下文布局:旧工具观测压缩为软token;智能体自身回合、系统提示、任务描述完整保留原始文本;设置最近K KK条观测保留原始文本,满足近期工具调用的精确字符串需求。ACD锚定上下文蒸馏:训练适配模型读取压缩隐式观测;同时用原始基座模型在纯文本输入做行为锚定,约束适配后的模型不要漂移。本文主要贡献提出LOHA,面向软件工程智能体的上下文布局;旧观测使用隐式软token,近期观测、智能体输出维持原始硬文本,兼顾压缩率与精确原文访问。ACD锚定上下文蒸馏:结合跨视图蒸馏+自锚定目标,教会模型读取隐式表征,同时约束原始行为不发生漂移;实验证明仅提升压缩内容读回能力,不等于提升智能体任务表现,自锚定是平衡二者的关键。在两套基座智能体上完成系统评测;分析压缩‑性能权衡,评估上下文窗口受限场景、并发服务吞吐量;量化该方案的收益与代价。2 方法整套框架由LOHA上下文布局、ACD锚定上下文蒸馏两部分组成。2.1 问题设定一条Issue解决交互轨迹τ = ( s , u , a 1 , o 1 , . . . , a T ) \tau=(s, u, a_1, o_1,...,a_T)τ=(s,u,a1​,o1​,...,aT​
延伸阅读

更多相关文章

2026/11/18 5:01:17

STM32理论体系:从内核到调试,一通百通

搞嵌入式这几年,我见过太多人一上来就照着开发板抄例程,灯能闪了、串口能打印了,就觉得“会STM32了”。结果一到自己做项目,换个芯片型号、加个外设、调个通信协议,立刻卡壳,到处发帖问“为什么我的程序跑飞…

2026/11/22 12:58:04

陵水学电工证多少钱多久拿证 实操考试心里没底怕挂科

陵水学电工证多少钱多久拿证 实操考试心里没底怕挂科 你是不是也在担心电工证实操考试,担心自己操作不熟练,怕挂科?其实很多人第一次备考时都会有这种担忧,尤其是像你在陵水这样的地方,电工证的报考和考试流程并不复杂,但关键是要掌握正确的方法,才能…

2026/11/22 12:58:04

高压电工特种工表格怎么填?实操考试心里没底怕挂科

高压电工特种工表格怎么填?实操考试心里没底怕挂科 实操考试心里没底怕挂科,这是很多高压电工特种作业人员在报考前最常遇到的焦虑。特别是刚毕业的工程类学生,面对高压电工特种工表格的填写和后续的考试流程,往往感到无从下手。高压电工证不仅关系到个人…

2026/11/22 12:58:04

我想查查我的电工证最新政策解读

电工证查不到?别急!我来帮你梳理清楚多久拿证 你是不是也遇到过这种情况:拿着手机打开手机APP,输入姓名、身份证号,搜索“我想查查我的电工证”,结果要么提示“未找到”,要么显示“证书状态异常”?别慌,这种情况其实很常见,尤其是在咱们河南这片…

2026/11/22 12:58:04

沁阳考高压电工证怎么考?郑州报考避坑指南全在这里了

沁阳考高压电工证怎么考?郑州报考避坑指南全在这里了 证书过期了不知道怎么复审延期?别慌,今天就把【沁阳考高压电工证】的报考流程、复习策略和常见避坑点讲清楚,特别是 郑州报考避坑指南 ,帮你在备考和报考路上少走弯路,顺利拿到证书。…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/22 0:09:40

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/22 0:09:40

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/22 0:09:40

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/22 0:09:40

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/22 9:39:14

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/22 5:39:03

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑