LOHA‑ACD：压缩你所观察的内容而非你所说的内容——面向隐式观测软件工程智能体的锚定上下文蒸馏arXiv编号：arXiv:2609.31430v1摘要工具观测占据软件工程智能体上下文绝大部分token，长交互历史会带来高昂推理开销。现有上下文压缩方法容易丢弃后续动作所必需的信息；而直接让智能体适配软token表征，又会破坏原有智能体行为。为了缩减上下文，同时保留动作所需关键信息、维持智能体原有行为，本文提出两套耦合组件：**LOHA（Latent Observations, Hard Actions，隐式观测‑硬动作）上下文布局，将被压缩的历史与需要精确引用的文本做分离；以及ACD（Anchored Context Distillation，锚定上下文蒸馏）**训练方法，使模型具备隐式读取能力，同时约束行为漂移。LOHA将较早期工具观测压缩为软token，完整保留智能体自身输出回合、系统提示与任务描述文本；同时保留最近K条观测原始文本，保证近期操作可以拿到精确原文。ACD对基座模型做适配，让模型能够读取压缩后的隐式表征，同时以原始基座模型在纯文本输入上的输出作为锚点，约束行为不要发生偏移。在SW(\mathcal{E})‑bench Verified基准上，设置KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=3\)时，Qwen3‑4B每轮调用上下文降低43%，SW(\mathcal{E})‑Master‑4B‑(\mathcal{R})L降低57%；任务解决率分别为12.1%、21.8%，原始未压缩基线分别为14.5%、27.5%。单轮遍历调优KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=8\)，解决率提升至14.4%、23.0%，代价是保留更多原始文本、计算开销上升。在32K token上下文窗口限制条件下，采用KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=3\)的Qwen3在199个实例子集上解决率达到21.1%；同等模型采用全文本上下文仅11.1%。单GPU并发服务场景，吞吐量达到全文本智能体的1.9倍。关键词软件工程智能体；上下文压缩；软token；隐式观测；锚定上下文蒸馏；SW(\mathcal{E})‑bench；长上下文智能体目录引言方法2.1 问题设定2.2 LOHA：隐式观测‑硬动作上下文布局2.3 ACD锚定上下文蒸馏2.3.1 学生模型架构2.3.2 双视图双损失目标2.4 训练与推理流程实验3.1 完整窗口条件下实验结果3.2 上下文窗口受限条件下性能3.3 消融实验3.3.1 近期观测窗口K扫参3.3.2 蒸馏教师模型消融3.4 服务吞吐量实测相关工作结论与未来工作参考文献附录A 实验协议与指标定义附录B 补充实验结果附录C 扫参完整数据附录D 训练实现细节附录(\mathcal{E}) 权重、探测分析1 引言大语言模型软件工程智能体通过工具完成仓库查看、源码修改、测试验证，迭代补丁来解决GitHub Issue。在CoderForge轨迹统计中，工具观测平均占整条轨迹token总量的69%，文件内容、搜索返回、堆栈、测试日志不断累积，上下文长度爆炸。现有上下文缩减方案：观测掩码、历史摘要、子任务折叠、工具输出选择性剪枝。这类方法需要决定丢弃哪些内容，后续动作很可能依赖被删掉的细节；编码编辑（str_replace）等操作要求和源码精确字符串匹配，被摘要或删减的信息必须重新调用工具获取。代码专用压缩依赖程序结构，很难处理搜索结果、堆栈、测试日志。软token压缩把文本编码为更短的连续嵌入向量，解码器可以直接读取。但软件工程智能体有双重需求：既要理解历史观测，又要复现精确字符串用于工具调用；仅靠压缩表征不能保证原文精确复现。直接把软token输入接入解码器，模型需要学习全新输入表征，同时保留原有推理、工具调用、代码修改能力，极易发生行为漂移。本文核心思路：压缩你所观察的内容，而非你所说的内容。LOHA上下文布局：旧工具观测压缩为软token；智能体自身回合、系统提示、任务描述完整保留原始文本；设置最近K KK条观测保留原始文本，满足近期工具调用的精确字符串需求。ACD锚定上下文蒸馏：训练适配模型读取压缩隐式观测；同时用原始基座模型在纯文本输入做行为锚定，约束适配后的模型不要漂移。本文主要贡献提出LOHA，面向软件工程智能体的上下文布局；旧观测使用隐式软token，近期观测、智能体输出维持原始硬文本，兼顾压缩率与精确原文访问。ACD锚定上下文蒸馏：结合跨视图蒸馏+自锚定目标，教会模型读取隐式表征，同时约束原始行为不发生漂移；实验证明仅提升压缩内容读回能力，不等于提升智能体任务表现，自锚定是平衡二者的关键。在两套基座智能体上完成系统评测；分析压缩‑性能权衡，评估上下文窗口受限场景、并发服务吞吐量；量化该方案的收益与代价。2 方法整套框架由LOHA上下文布局、ACD锚定上下文蒸馏两部分组成。2.1 问题设定一条Issue解决交互轨迹τ = ( s , u , a 1 , o 1 , . . . , a T ) \tau=(s, u, a_1, o_1,...,a_T)τ=(s,u,a1,o1,...,aT
LOHA‑ACD：压缩你所观察的内容而非你所说的内容——面向隐式观测软件工程智能体的锚定上下文蒸馏arXiv编号：arXiv:2609.31430v1摘要工具观测占据软件工程智能体上下文绝大部分token，长交互历史会带来高昂推理开销。现有上下文压缩方法容易丢弃后续动作所必需的信息；而直接让智能体适配软token表征，又会破坏原有智能体行为。为了缩减上下文，同时保留动作所需关键信息、维持智能体原有行为，本文提出两套耦合组件：**LOHA（Latent Observations, Hard Actions，隐式观测‑硬动作）上下文布局，将被压缩的历史与需要精确引用的文本做分离；以及ACD（Anchored Context Distillation，锚定上下文蒸馏）**训练方法，使模型具备隐式读取能力，同时约束行为漂移。LOHA将较早期工具观测压缩为软token，完整保留智能体自身输出回合、系统提示与任务描述文本；同时保留最近K条观测原始文本，保证近期操作可以拿到精确原文。ACD对基座模型做适配，让模型能够读取压缩后的隐式表征，同时以原始基座模型在纯文本输入上的输出作为锚点，约束行为不要发生偏移。在SW(\mathcal{E})‑bench Verified基准上，设置KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=3\)时，Qwen3‑4B每轮调用上下文降低43%，SW(\mathcal{E})‑Master‑4B‑(\mathcal{R})L降低57%；任务解决率分别为12.1%、21.8%，原始未压缩基线分别为14.5%、27.5%。单轮遍历调优KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=8\)，解决率提升至14.4%、23.0%，代价是保留更多原始文本、计算开销上升。在32K token上下文窗口限制条件下，采用KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=3\)的Qwen3在199个实例子集上解决率达到21.1%；同等模型采用全文本上下文仅11.1%。单GPU并发服务场景，吞吐量达到全文本智能体的1.9倍。关键词软件工程智能体；上下文压缩；软token；隐式观测；锚定上下文蒸馏；SW(\mathcal{E})‑bench；长上下文智能体目录引言方法2.1 问题设定2.2 LOHA：隐式观测‑硬动作上下文布局2.3 ACD锚定上下文蒸馏2.3.1 学生模型架构2.3.2 双视图双损失目标2.4 训练与推理流程实验3.1 完整窗口条件下实验结果3.2 上下文窗口受限条件下性能3.3 消融实验3.3.1 近期观测窗口K扫参3.3.2 蒸馏教师模型消融3.4 服务吞吐量实测相关工作结论与未来工作参考文献附录A 实验协议与指标定义附录B 补充实验结果附录C 扫参完整数据附录D 训练实现细节附录(\mathcal{E}) 权重、探测分析1 引言大语言模型软件工程智能体通过工具完成仓库查看、源码修改、测试验证，迭代补丁来解决GitHub Issue。在CoderForge轨迹统计中，工具观测平均占整条轨迹token总量的69%，文件内容、搜索返回、堆栈、测试日志不断累积，上下文长度爆炸。现有上下文缩减方案：观测掩码、历史摘要、子任务折叠、工具输出选择性剪枝。这类方法需要决定丢弃哪些内容，后续动作很可能依赖被删掉的细节；编码编辑（str_replace）等操作要求和源码精确字符串匹配，被摘要或删减的信息必须重新调用工具获取。代码专用压缩依赖程序结构，很难处理搜索结果、堆栈、测试日志。软token压缩把文本编码为更短的连续嵌入向量，解码器可以直接读取。但软件工程智能体有双重需求：既要理解历史观测，又要复现精确字符串用于工具调用；仅靠压缩表征不能保证原文精确复现。直接把软token输入接入解码器，模型需要学习全新输入表征，同时保留原有推理、工具调用、代码修改能力，极易发生行为漂移。本文核心思路：压缩你所观察的内容，而非你所说的内容。LOHA上下文布局：旧工具观测压缩为软token；智能体自身回合、系统提示、任务描述完整保留原始文本；设置最近K KK条观测保留原始文本，满足近期工具调用的精确字符串需求。ACD锚定上下文蒸馏：训练适配模型读取压缩隐式观测；同时用原始基座模型在纯文本输入做行为锚定，约束适配后的模型不要漂移。本文主要贡献提出LOHA，面向软件工程智能体的上下文布局；旧观测使用隐式软token，近期观测、智能体输出维持原始硬文本，兼顾压缩率与精确原文访问。ACD锚定上下文蒸馏：结合跨视图蒸馏+自锚定目标，教会模型读取隐式表征，同时约束原始行为不发生漂移；实验证明仅提升压缩内容读回能力，不等于提升智能体任务表现，自锚定是平衡二者的关键。在两套基座智能体上完成系统评测；分析压缩‑性能权衡，评估上下文窗口受限场景、并发服务吞吐量；量化该方案的收益与代价。2 方法整套框架由LOHA上下文布局、ACD锚定上下文蒸馏两部分组成。2.1 问题设定一条Issue解决交互轨迹τ = ( s , u , a 1 , o 1 , . . . , a T ) \tau=(s, u, a_1, o_1,...,a_T)τ=(s,u,a1,o1,...,aT
