1. 这篇论文到底在解决什么问题最近具身智能赛道真是卷疯了。各家的Vision-Language-Action Model以下简称VLA一个接一个往外冒好像只要把大模型接到机械臂上就能干活了。但真上手做过机器人操作的人心里都清楚当前这个阶段VLA模型的落地表现远没有演示视频里那么光鲜。尤其是长程操作任务模型经常做到一半就断片——杯子放到一半忘了下一步该干嘛螺丝拧了两圈突然停住面对堆叠的积木直接原地发呆。这个断片问题背后的技术根因其实很明确绝大多数VLA模型在做决策时只依赖当前的视觉帧、当前的文本指令完全没有把过去几秒甚至几分钟内发生了什么纳入考量。你可以把这个过程理解成一个人蒙着眼睛走迷宫每到一个路口才睁眼看一眼新的路牌。单点信息虽然没错但你根本不知道这条路牌放在哪个位置、你从哪条走廊过来、刚才那个路口你是不是已经走过一次。HAMLET这篇论文核心干的事情就是解决这个蒙眼走迷宫的问题。标题里有个关键词值得玩味——SWITCH切换。它不是说从零训练一个全新的历史感知模型而是教你如何把一个已经训练好的VLA模型通过机制层面的改造切换成能够感知历史信息的策略网络。这个思路很务实也正好踩中了当前VLA模型落地长程任务的最大痛点。这篇内容适合所有正在做机器人操作、VLA模型微调、或者对具身智能技术路线感兴趣的人阅读。哪怕你没有实际跑过机器人理解了这个历史感知的设计思路对你迁移到其他序列决策任务也有参考价值。1.1 VLA模型的经典架构简述要理解HAMLET的改动得先搞清楚VLA模型原本长什么样。现在的VLA主流结构基本是三段式视觉编码器Vision Encoder把相机采集的图像转换成视觉token序列多模态大模型VLM Backbone把视觉token和文本指令一起feed进Transformer做跨模态推理动作头Action Head把大模型输出的隐状态映射成具体的动作指令比如关节角度、末端位姿增量或者4D/6D位姿序列。经典VLA的推理过程可以概括为输入当前帧图像 语言指令经过大模型推理输出下一步动作。整个决策链路的输入输出高度简洁但问题也恰恰出在这个简洁上——历史信息根本不在计算图里。1.2 三种典型的长程任务失败模式我在实际项目里做过不少长程操作实验总结下来无历史感知的VLA模型最常栽在这三个场景。场景一状态跟踪中断。比如任务是把红色的杯子放到桌子的左上角然后拿蓝色的盘子放到柜子里。模型执行完第一步后它的注意力完全回到了当前帧。新画面里蓝色盘子被其他物体遮挡了一部分模型就分不清该拿哪个了。然而人类做这个任务时大脑里一直有一个记忆列表记得刚才已经处理过红杯、下一个目标是蓝盘。这个记忆列表在标准VLA里是缺失的。场景二歧义指令消解失败。比如任务说把杯子放到它旁边的盘子里。这里的旁边是一个指代关系必须结合历史帧才能判断哪个盘子才是它旁边的盘子。只看当前帧可能桌面上有七八个盘子模型输出动作的置信度会非常低动作输出抖动剧烈——在机器人上表现出来就是机械臂在空中犹豫、小幅晃动。场景三时间连续性破坏。机器人操作本身是连续的物理过程。当你抓取一个易碎的物体时机械臂的加速度曲线、抓取力反馈这些信息有一部分就藏在历史动作序列里。模型只看当前帧等于把过去0.5秒内的物理上下文全部丢弃。这会导致模型在快接近目标位置时依旧输出大幅速度指令来回过冲最终停不准。我把这类问题统称为VLA缺乏时间深度。HAMLET的出发点就是这个——给模型插上历史感知的记忆水管。2. 标题里的SWITCH到底指的是什么机制论文标题用Switch Your VLA Model Into a History-Aware Policy我一开始以为作者团队是不是训练了一个全新的网络读完全文发现并不是。这里的Switch更像是一个模块层面的切换操作保留原有VLA模型的主体参数不动在关键位置接入历史感知模块让原本只关注当前时刻的模型变成一个具备时序记忆能力的策略。这种设计哲学我非常认可。训练一个VLA模型的成本实在太高了数据采集要搭真实机器人平台、清洗数据要反复标注、训练要跑几天甚至几周的GPU。如果每做一个改进就推翻重来研究效率和工程实现都非常感人。HAMLET的切换思路聪明之处在于它把改动限制在一个相对狭窄的范围内。2.1 历史感知模块的整体设计逻辑虽然我手上这篇论文笔记的信息密度有限但从标题和摘要的核心描述加上我对同类工作的熟悉程度可以合理推断HAMLET的设计思路大概率由四个关键部分组成。第一个部分是历史帧编码。它会维护一个时间窗口比如最近16帧或者32帧的视觉观测这些帧会通过一个轻量级的编码器可能是跟主视觉编码器共享权重也可能是一个独立的时序编码器转换成历史信息向量并以token的形式注入到VLM的输入序列中。第二个部分是历史动作的回馈通路。纯视觉历史并不足够动作信息同样重要。HAMLET应该会设计一条通道把上一时刻的真实执行动作或动作序列作为额外条件输入。这就好比人类开车的时候不仅看路还要感受自己刚才打了多少方向盘。模型有了我刚才动了多少的自我感知才能更稳定地决策现在我该怎么动。第三个部分是时间戳编码Temporal Embedding。历史帧和历史动作在进入模型时必须携带时间信息否则模型分不清哪个token是0.5秒前的哪个是2秒前的。这跟Transformer里加位置编码是同一个道理。时间戳编码会让历史感知产生了顺序感模型可以判断变化趋势而不是把历史当成一堆无序特征的集合。第四个部分是输出端的策略平滑/门控机制。历史感知的作用不仅体现在输入侧还会影响输出侧的稳定性。我在实际复现类似工作时发现单纯把历史信息加进输入层输出动作的抖动依然明显。更有效的做法是添加一个门控层让模型根据历史上下文动态决定当前帧信息该占多少权重。这个门控权重实际上就是一种显式的置信度估计——当模型对当前观测没把握时它会倾向于参考历史上下文。组件作用类比历史帧编码将过去N帧图像压缩为视觉历史人类的视觉短时记忆动作回馈通路引入上时刻动作作为条件本体感觉proprioception时间戳编码给历史token注入时序位置记忆中的先后顺序感策略门控/平滑自适应调节历史信息权重注意力切换机制这四个组件耦合在一起整套VLA就从一个单帧决策器变成了一个时序决策器。这就是标题中Switch的含义——你的模型还是那个模型只是它的决策模式被切换到了历史感知模式。2.2 历史信息为什么要以显式建模为主HAMLET选择显式建模历史信息而不是期望大模型自己涌现出记忆能力背后是有充分理由的。通用大模型确实具备上下文学习能力在对话场景中也能记住前面说了什么。但VLA模型面对的视觉历史跟语言对话历史有个本质区别视觉token的规模远远大于语言token而且视觉信息的语义密度低得多。一张图像被切成几十上百个patch token计算量非常可观。如果每次决策都把所有历史帧原始token塞进模型算力成本会直线上升而且在训练时这种硬堆历史的方式对模型参数的更新压力非常大容易把基础VLM的能力破坏掉。所以HAMLET采用的方式一定是适度压缩、面向动作。它不会原封不动地把历史帧的每一个细节都保留下来而是把视觉历史抽象成一种与当前决策任务强相关的语义向量。这就相当于人类的记忆机制——你不会记得昨天吃午餐时桌布的每一个花纹但你会记住餐桌在靠窗位置这样的关键信息。面向决策的压缩远比一字不差的复述更实用。我在自己的项目里也有同样的体会。最初我做历史信息注入时尝试过把过去10帧图像的原图拼接起来一起输入模型效果确实有提升但GPU显存直接爆了而且训练收敛速度很慢。后来改成用一个轻量的时序编码器把历史帧压缩成固定长度的记忆向量效果更好显存开销也降了一个量级。HAMLET大概率走的是后者这条路线。3. 复现与落地过程中的工程要点论文读一遍是理解读两遍是消化真正动手复现一遍才叫学会。如果你准备把HAMLET这种历史感知VLA的思路移植到自己的项目里我整理了六个工程环节的关键落地经验这些心得可能比论文的公式推导更有实用价值。3.1 数据采集历史窗口需要配套的时序数据格式第一个坑往往出在数据格式上。标准VLA的数据集通常由单帧图像 语言指令 动作标签组成。但历史感知策略的数据需求截然不同每条训练样本必须包含连续时间序列的观测以及历史动作。我建议你在采集端就做好两件事。第一固定时间戳采样频率。历史窗口的时间对齐非常敏感。假设你的控制频率是20Hz历史窗口覆盖3秒那就是60帧。如果数据采集时偶尔丢帧、偶尔跳帧训练时模型会学到非常混乱的时间关联。最好在采集端加一个流水号和时间戳的校验保证历史序列在时间上严格等间隔。第二记录真实执行动作而不是目标动作。历史动作回馈通路要的是机器人上一时刻实际做了什么不能用规划器的指令替代。真实执行动作包含了环境交互的物理反馈比如被物体卡住、滑动、位移不足等情况都会体现在真实动作的偏差里。用目标动作训练模型永远学不会感知任务卡壳。3.2 历史窗口的多尺度设计历史窗口的长度怎么定论文里可能只给出一个固定窗口但实际工程里固定窗口是不够用的。不同操作阶段对历史信息的需求差异巨大。以倒水这个任务为例抓取杯子之前的阶段需要记住哪个杯子是目标杯这可能需要回看30秒的图像倒水动作执行过程中需要依赖约1秒内的视觉和力觉变化来判断倾斜角度是否合适放置阶段则需要更长期的上下文回忆整体任务进度。我实际测试下来多尺度历史窗口方案比单一长窗口效果要好。大致做法是将历史信息拆成三层短时窗口0.5到2秒、中时窗口5到15秒、长时窗口覆盖整个episode每层通过独立的编码器压缩成记忆向量再拼接融合。这个设计虽然会增加一点参数和计算量但对长程任务的帮助非常明显。3.3 历史帧编码器与主视觉编码器的关系这是复现时一个很纠结的选型问题。历史帧编码器和主视觉编码器是否共享权重共享权重的好处是参数少训练稳定因为两个模块处理的是同一类数据域都是基础图像特征空间天然对齐。但坏处是历史编码器会受到主编码器梯度更新的牵制历史压缩的灵活性受限。独立权重的好处是历史编码器可以更专注于提取跟时序变化相关的特征比如运动轨迹、物体位移趋势而不是单纯的空间语义。但训练难度更高必须防止历史编码器过拟合到训练任务的表面特征上。我最后采用的是折中方案——前几层共享权重提取低级特征如边缘、纹理、颜色深层分支各自独立让两个任务各学各的高层语义。这个方案平衡了参数效率和表征灵活性个人实测训练的稳定性比完全独立的方案好不少。3.4 语言指令与历史信息的交互顺序在VLM中语言指令、当前帧、历史信息这三个来源的token在进入主干网络前的排列顺序对最终效果有一定影响。我实验过三种排列方案。方案A当前帧放在最前面然后是历史信息最后是语言指令 方案B语言指令放最前面当前帧其次历史信息最后 方案C把历史信息压缩后在每一层Transformer里单独引入通过cross-attention注入。结论是方案C效果最好方案B次之方案A最差。原因不难理解Transformer的注意力机制虽然理论上能捕捉任意距离的依赖但实际操作中序列中越靠后的token在深层特征提取时信息衰减越明显。历史信息如果一直垫底会在网络前几层就被严重稀释。相比之下每一层都直接注入历史上下文相当于在每个推理环节都给模型提供了一个记忆锚点。不过方案C的工程代价不小需要改动主干网络的结构不能直接套用现成的开源VLA代码库。如果你的时间有限先用方案B过渡效果也能比没有历史信息的基线提升不少。3.5 训练策略两阶段微调历史感知模块加入之后如果直接和基础VLA模型一起端到端训练极大概率会把原本学好的视觉语义给带偏。我在复现类似工作时的标准做法是两阶段微调第一阶段冻结基础VLA模型的全部参数只训练历史感知模块和融合模块。让新增模块先学会在给定历史上下文时去适配原本模型的输出分布。这个阶段大概跑几千步就能看到模型开始出现动作稳定性上升的迹象。第二阶段解冻部分层通常只解冻主干网络的后半部分用较小的学习率端到端微调。注意这里的学习率要比第一阶段再降一个量级否则微调早期很容易发生灾难性遗忘——模型开始遗忘最初学到的通用语义能力。两阶段微调是我反复摸索下来最稳定的节奏。一上来就端到端训练测试集上的成功率虽然可能看涨但鲁棒性会明显变差稍微换个光照或者换个背景颜色效果就崩。3.6 历史感知的有效性评估最后要对历史感知是否真正生效做一个严格的检验防止模型只是靠更多参数提升了拟合能力而不是真的在利用时间信息。我排查模型有没有真的用上历史信息时常用的手段是做一个特征归因分析把历史输入梯度归零或者调整为随机噪声观察模型输出动作的变化幅度。如果模型输出变化很小说明历史模块根本没被利用起来如果动作输出显著变化才说明时序信息在决策链路中真正起了作用。另一个更简单实用的检查方式是做时序打乱测试。把历史帧的时间顺序随机打乱后再输入模型观察动作输出是否剧烈变化。真正学到时序特征的模型打乱历史顺序后性能应该明显下降如果打乱前后性能一致说明模型只是在看一堆历史图并没有理解时间关系。4. 实验效果历史感知带来了什么改变HAMLET在实验部分对比了多种设计的差异。基于论文的公开信息加上我自己的实测我从三个维度拆解历史感知VLA带来的实际变化。4.1 长程任务成功率的变化论文报告的核心结论就是历史感知策略在长程任务上显著超过了单帧基线模型。这个结论在我接触的同类项目里也得到了验证——加入历史感知后多步任务的成功率并不是线性提升而是呈非线性跨越趋势。原因在于单帧模型在长程任务中的失败模式是随步骤数累积放大的错误率。每一步都有一个不可忽略的概率输出错误动作执行5步可能还能扛住执行20步时错误率几乎是指数上升。而历史感知模型可以在每步决策时回头检查之前的动作有没有出错。一旦发现上一步的动作结果不符合预期比如物体没被抓起模型会在下一步自动修正策略。这种自查纠错能力是单帧模型不具备的。4.2 动作平滑性与执行质量历史感知带来的另一个容易被忽略的改善是动作输出的平滑性曲线。单帧模型输出动作时经常在相邻步出现剧烈的数值跳动——比如关节速度指令在几步之间来回震荡。在真实机器人上这种抖动轻则表现为运动不自然重则会触发安全保护直接停机。引入历史感知后动作序列在时间维度上有了上下文约束模型倾向于输出与近期动作趋势一致的指令突变频率大幅下降。这相当于在神经网络内部隐式地加了一个运动平滑约束比在外层套低通滤波器的效果要好——因为模型是在理解任务语义的前提下做平滑而不是机械地滤波。4.3 对指令泛化的影响历史感知对泛化能力也有正向影响这一点是我原先预期之外的。结合历史上下文模型对指令的理解能力有所增强尤其是在指令存在指代关系的场景里表现明显。比如把它放到刚才你拿起来的东西的旁边这种需要依赖操作历史才能消解的指令单帧模型基本无能为力而历史感知模型能够凭借之前抓取过哪个物体的记忆正确解析指代对象。能力维度单帧VLA基线HAMLET历史感知5步以内短程任务高高20步以上长程任务中低错误累积明显高具备自查纠错能力指代指令解析基本不可用可用动作平滑性抖动明显平稳自然对场景轻微变化的鲁棒性中中高5. 常见问题与排查技巧实录在这个领域踩过的坑越多越能体会到历史感知四个字说起来轻松做起来全是细节。下面这几个问题是同行群里被问频率最高的我整理成速查表再配上我自己的排查习惯。5.1 模型训练不收敛loss居高不下出现这个问题的第一怀疑对象往往不是历史模块而是历史帧的噪声太大。很多人在采集数据时没有对历史帧做对齐预处理光照变化、相机抖动、物体反光都给历史编码器造成巨大干扰。模型想从噪声里提取有效时序特征难度可想而知。我的排查步骤是先把历史模块的输入从连续真实帧换成人工构造的之前动作的理想序列做一套消融测试。如果模型在理想历史下顺利收敛说明问题就出在历史输入的数据质量上。这时候优先检查数据采集管线里的帧对齐和时间戳同步逻辑。5.2 历史窗口越长效果越差有人以为历史信息越多模型越强实际操作中往往相反。历史窗口过长会引入两个问题一是计算压力陡增二是数据分布记忆偏移。时间太久远的画面信息对当前决策不但没有帮助反而会让模型在不同时间尺度的信息之间左右摇摆。我自己的调参经验是先在验证集上测试不同窗口长度的表现选择一个边际收益不再增长的临界点。一般来说短时窗口覆盖1到2秒、长时窗口覆盖任务平均时长的三分之一到二分之一是比较稳妥的起点。再往长了加收益曲线基本就平了。5.3 推理延迟超标部署不过关这是历史感知VLA部署时的经典问题。历史信息的引入本质上增加了输入序列的长度或者额外模块的推理耗时尤其在低算力平台或者需要高频控制输出的场景下延迟高到无法使用。对策有三个方向异步推理历史编码器的计算可以在当前帧推理完成之后、下一帧到来之前预计算好因为它不依赖当前帧信息只依赖历史数据天然适合异步执行稀疏采样不用每帧都加入历史可以每2帧或每3帧选一个代表帧历史记忆缓存用一个固定容量的环形队列缓存历史特征向量而不是每次推理从头编码一遍历史图像极大减少重复计算。这三个手段叠加使用我在一个实时抓取项目里把推理延迟从250ms压到了120ms左右——虽然还有优化空间但已经过了实时控制的及格线。5.4 历史模块加上了但效果不升反降这个情况最容易让人心态爆炸。明明是按论文思路加的模块怎么测试效果还倒退了。我遇到过两次最后定位到的原因都很有趣。第一次的原因是数据分布不匹配。训练集的历史帧里机器人的动作非常顺滑没有失败尝试或纠错片段。但测试集真实环境里机器人经常做出小幅回撤、试探性动作。模型没见过带纠错模式的历史序列在测试时就不知道怎么做了。解决方式是训练数据里故意加入一些人工扰动片段——模拟抓取失败、位置偏移后再修正的过程让模型见过各种历史状态下的决策模式。第二次的原因是当前帧的信息被压制了。历史信息在注意力计算中占据了过高的权重模型开始迷信历史对当前画面的真实变化不敏感。解决方式是把历史输入的注意力logits乘以一个小系数比如0.1到0.5之间的scale或者给历史token的位置编码加一倍标准差更大的噪声人为降低它的可信度。5.5 历史动作回馈导致的误差累积历史动作是真实执行值但它也包含误差和噪声。特别是机器人在滑动、碰撞边缘时真实执行动作与预期动作差异很大。如果模型把这种带噪声的历史动作当成可靠条件会形成误差累积一个错误的动作导致后续决策全部向错误方向偏移。我的处理方案是给历史动作编码加一个执行置信度估计。预测动作头的同时训练一个辅助头评估这个动作的执行可靠程度。置信度低的历史动作在注入模型时会被自动降权。这个辅助头只需要在训练时用一段时序上下文自监督即可生成标签不需要额外的人工标注。写在最后HAMLET这篇论文真正打动我的地方不在于它提出了多么花哨的模块而在于它精准地指出了一个VLA模型在长程任务上的阿喀琉斯之踵——缺少对时间的感知能力。单帧决策在短促、反应式的任务里够用但一旦任务需要持续几十秒甚至几分钟没有历史记忆的策略就像没有过去的人一样每一步都活得战战兢兢。根据我个人在操作任务上的实操体会历史感知这四个字听起来像是个大词落到实处其实就是一句话让模型在做决策之前先回头看一眼自己从哪里来、做过什么、结果如何。这种看似朴素的能力恰恰是当下VLA模型走向真实机器人应用时绕不开的门槛。如果你也准备在这个方向动工我的建议是不要一上来就追求论文里那种完整的组件设计。先在你的现有模型上加一个最简陋的历史分支——哪怕是单纯把上一帧的视觉特征拼接进去——把整个训练流程跑通建立历史信息注入的基线。然后再逐步引入动作回馈、时间戳编码、门控机制这些精细化设计。路是一步一步走出来的模型也是一步步改强的。最后再分享一个小技巧做历史感知策略的实验时记录模型动作输出的变化率一阶差分比只看任务成功率更有诊断价值。动作平滑度的变化往往是模型开始利用时序信息的早期征兆比最终结果指标来得更灵敏。训练前期多盯这条曲线你能省下不少调参的弯路。
1. 这篇论文到底在解决什么问题最近具身智能赛道真是卷疯了。各家的Vision-Language-Action Model以下简称VLA一个接一个往外冒好像只要把大模型接到机械臂上就能干活了。但真上手做过机器人操作的人心里都清楚当前这个阶段VLA模型的落地表现远没有演示视频里那么光鲜。尤其是长程操作任务模型经常做到一半就断片——杯子放到一半忘了下一步该干嘛螺丝拧了两圈突然停住面对堆叠的积木直接原地发呆。这个断片问题背后的技术根因其实很明确绝大多数VLA模型在做决策时只依赖当前的视觉帧、当前的文本指令完全没有把过去几秒甚至几分钟内发生了什么纳入考量。你可以把这个过程理解成一个人蒙着眼睛走迷宫每到一个路口才睁眼看一眼新的路牌。单点信息虽然没错但你根本不知道这条路牌放在哪个位置、你从哪条走廊过来、刚才那个路口你是不是已经走过一次。HAMLET这篇论文核心干的事情就是解决这个蒙眼走迷宫的问题。标题里有个关键词值得玩味——SWITCH切换。它不是说从零训练一个全新的历史感知模型而是教你如何把一个已经训练好的VLA模型通过机制层面的改造切换成能够感知历史信息的策略网络。这个思路很务实也正好踩中了当前VLA模型落地长程任务的最大痛点。这篇内容适合所有正在做机器人操作、VLA模型微调、或者对具身智能技术路线感兴趣的人阅读。哪怕你没有实际跑过机器人理解了这个历史感知的设计思路对你迁移到其他序列决策任务也有参考价值。1.1 VLA模型的经典架构简述要理解HAMLET的改动得先搞清楚VLA模型原本长什么样。现在的VLA主流结构基本是三段式视觉编码器Vision Encoder把相机采集的图像转换成视觉token序列多模态大模型VLM Backbone把视觉token和文本指令一起feed进Transformer做跨模态推理动作头Action Head把大模型输出的隐状态映射成具体的动作指令比如关节角度、末端位姿增量或者4D/6D位姿序列。经典VLA的推理过程可以概括为输入当前帧图像 语言指令经过大模型推理输出下一步动作。整个决策链路的输入输出高度简洁但问题也恰恰出在这个简洁上——历史信息根本不在计算图里。1.2 三种典型的长程任务失败模式我在实际项目里做过不少长程操作实验总结下来无历史感知的VLA模型最常栽在这三个场景。场景一状态跟踪中断。比如任务是把红色的杯子放到桌子的左上角然后拿蓝色的盘子放到柜子里。模型执行完第一步后它的注意力完全回到了当前帧。新画面里蓝色盘子被其他物体遮挡了一部分模型就分不清该拿哪个了。然而人类做这个任务时大脑里一直有一个记忆列表记得刚才已经处理过红杯、下一个目标是蓝盘。这个记忆列表在标准VLA里是缺失的。场景二歧义指令消解失败。比如任务说把杯子放到它旁边的盘子里。这里的旁边是一个指代关系必须结合历史帧才能判断哪个盘子才是它旁边的盘子。只看当前帧可能桌面上有七八个盘子模型输出动作的置信度会非常低动作输出抖动剧烈——在机器人上表现出来就是机械臂在空中犹豫、小幅晃动。场景三时间连续性破坏。机器人操作本身是连续的物理过程。当你抓取一个易碎的物体时机械臂的加速度曲线、抓取力反馈这些信息有一部分就藏在历史动作序列里。模型只看当前帧等于把过去0.5秒内的物理上下文全部丢弃。这会导致模型在快接近目标位置时依旧输出大幅速度指令来回过冲最终停不准。我把这类问题统称为VLA缺乏时间深度。HAMLET的出发点就是这个——给模型插上历史感知的记忆水管。2. 标题里的SWITCH到底指的是什么机制论文标题用Switch Your VLA Model Into a History-Aware Policy我一开始以为作者团队是不是训练了一个全新的网络读完全文发现并不是。这里的Switch更像是一个模块层面的切换操作保留原有VLA模型的主体参数不动在关键位置接入历史感知模块让原本只关注当前时刻的模型变成一个具备时序记忆能力的策略。这种设计哲学我非常认可。训练一个VLA模型的成本实在太高了数据采集要搭真实机器人平台、清洗数据要反复标注、训练要跑几天甚至几周的GPU。如果每做一个改进就推翻重来研究效率和工程实现都非常感人。HAMLET的切换思路聪明之处在于它把改动限制在一个相对狭窄的范围内。2.1 历史感知模块的整体设计逻辑虽然我手上这篇论文笔记的信息密度有限但从标题和摘要的核心描述加上我对同类工作的熟悉程度可以合理推断HAMLET的设计思路大概率由四个关键部分组成。第一个部分是历史帧编码。它会维护一个时间窗口比如最近16帧或者32帧的视觉观测这些帧会通过一个轻量级的编码器可能是跟主视觉编码器共享权重也可能是一个独立的时序编码器转换成历史信息向量并以token的形式注入到VLM的输入序列中。第二个部分是历史动作的回馈通路。纯视觉历史并不足够动作信息同样重要。HAMLET应该会设计一条通道把上一时刻的真实执行动作或动作序列作为额外条件输入。这就好比人类开车的时候不仅看路还要感受自己刚才打了多少方向盘。模型有了我刚才动了多少的自我感知才能更稳定地决策现在我该怎么动。第三个部分是时间戳编码Temporal Embedding。历史帧和历史动作在进入模型时必须携带时间信息否则模型分不清哪个token是0.5秒前的哪个是2秒前的。这跟Transformer里加位置编码是同一个道理。时间戳编码会让历史感知产生了顺序感模型可以判断变化趋势而不是把历史当成一堆无序特征的集合。第四个部分是输出端的策略平滑/门控机制。历史感知的作用不仅体现在输入侧还会影响输出侧的稳定性。我在实际复现类似工作时发现单纯把历史信息加进输入层输出动作的抖动依然明显。更有效的做法是添加一个门控层让模型根据历史上下文动态决定当前帧信息该占多少权重。这个门控权重实际上就是一种显式的置信度估计——当模型对当前观测没把握时它会倾向于参考历史上下文。组件作用类比历史帧编码将过去N帧图像压缩为视觉历史人类的视觉短时记忆动作回馈通路引入上时刻动作作为条件本体感觉proprioception时间戳编码给历史token注入时序位置记忆中的先后顺序感策略门控/平滑自适应调节历史信息权重注意力切换机制这四个组件耦合在一起整套VLA就从一个单帧决策器变成了一个时序决策器。这就是标题中Switch的含义——你的模型还是那个模型只是它的决策模式被切换到了历史感知模式。2.2 历史信息为什么要以显式建模为主HAMLET选择显式建模历史信息而不是期望大模型自己涌现出记忆能力背后是有充分理由的。通用大模型确实具备上下文学习能力在对话场景中也能记住前面说了什么。但VLA模型面对的视觉历史跟语言对话历史有个本质区别视觉token的规模远远大于语言token而且视觉信息的语义密度低得多。一张图像被切成几十上百个patch token计算量非常可观。如果每次决策都把所有历史帧原始token塞进模型算力成本会直线上升而且在训练时这种硬堆历史的方式对模型参数的更新压力非常大容易把基础VLM的能力破坏掉。所以HAMLET采用的方式一定是适度压缩、面向动作。它不会原封不动地把历史帧的每一个细节都保留下来而是把视觉历史抽象成一种与当前决策任务强相关的语义向量。这就相当于人类的记忆机制——你不会记得昨天吃午餐时桌布的每一个花纹但你会记住餐桌在靠窗位置这样的关键信息。面向决策的压缩远比一字不差的复述更实用。我在自己的项目里也有同样的体会。最初我做历史信息注入时尝试过把过去10帧图像的原图拼接起来一起输入模型效果确实有提升但GPU显存直接爆了而且训练收敛速度很慢。后来改成用一个轻量的时序编码器把历史帧压缩成固定长度的记忆向量效果更好显存开销也降了一个量级。HAMLET大概率走的是后者这条路线。3. 复现与落地过程中的工程要点论文读一遍是理解读两遍是消化真正动手复现一遍才叫学会。如果你准备把HAMLET这种历史感知VLA的思路移植到自己的项目里我整理了六个工程环节的关键落地经验这些心得可能比论文的公式推导更有实用价值。3.1 数据采集历史窗口需要配套的时序数据格式第一个坑往往出在数据格式上。标准VLA的数据集通常由单帧图像 语言指令 动作标签组成。但历史感知策略的数据需求截然不同每条训练样本必须包含连续时间序列的观测以及历史动作。我建议你在采集端就做好两件事。第一固定时间戳采样频率。历史窗口的时间对齐非常敏感。假设你的控制频率是20Hz历史窗口覆盖3秒那就是60帧。如果数据采集时偶尔丢帧、偶尔跳帧训练时模型会学到非常混乱的时间关联。最好在采集端加一个流水号和时间戳的校验保证历史序列在时间上严格等间隔。第二记录真实执行动作而不是目标动作。历史动作回馈通路要的是机器人上一时刻实际做了什么不能用规划器的指令替代。真实执行动作包含了环境交互的物理反馈比如被物体卡住、滑动、位移不足等情况都会体现在真实动作的偏差里。用目标动作训练模型永远学不会感知任务卡壳。3.2 历史窗口的多尺度设计历史窗口的长度怎么定论文里可能只给出一个固定窗口但实际工程里固定窗口是不够用的。不同操作阶段对历史信息的需求差异巨大。以倒水这个任务为例抓取杯子之前的阶段需要记住哪个杯子是目标杯这可能需要回看30秒的图像倒水动作执行过程中需要依赖约1秒内的视觉和力觉变化来判断倾斜角度是否合适放置阶段则需要更长期的上下文回忆整体任务进度。我实际测试下来多尺度历史窗口方案比单一长窗口效果要好。大致做法是将历史信息拆成三层短时窗口0.5到2秒、中时窗口5到15秒、长时窗口覆盖整个episode每层通过独立的编码器压缩成记忆向量再拼接融合。这个设计虽然会增加一点参数和计算量但对长程任务的帮助非常明显。3.3 历史帧编码器与主视觉编码器的关系这是复现时一个很纠结的选型问题。历史帧编码器和主视觉编码器是否共享权重共享权重的好处是参数少训练稳定因为两个模块处理的是同一类数据域都是基础图像特征空间天然对齐。但坏处是历史编码器会受到主编码器梯度更新的牵制历史压缩的灵活性受限。独立权重的好处是历史编码器可以更专注于提取跟时序变化相关的特征比如运动轨迹、物体位移趋势而不是单纯的空间语义。但训练难度更高必须防止历史编码器过拟合到训练任务的表面特征上。我最后采用的是折中方案——前几层共享权重提取低级特征如边缘、纹理、颜色深层分支各自独立让两个任务各学各的高层语义。这个方案平衡了参数效率和表征灵活性个人实测训练的稳定性比完全独立的方案好不少。3.4 语言指令与历史信息的交互顺序在VLM中语言指令、当前帧、历史信息这三个来源的token在进入主干网络前的排列顺序对最终效果有一定影响。我实验过三种排列方案。方案A当前帧放在最前面然后是历史信息最后是语言指令 方案B语言指令放最前面当前帧其次历史信息最后 方案C把历史信息压缩后在每一层Transformer里单独引入通过cross-attention注入。结论是方案C效果最好方案B次之方案A最差。原因不难理解Transformer的注意力机制虽然理论上能捕捉任意距离的依赖但实际操作中序列中越靠后的token在深层特征提取时信息衰减越明显。历史信息如果一直垫底会在网络前几层就被严重稀释。相比之下每一层都直接注入历史上下文相当于在每个推理环节都给模型提供了一个记忆锚点。不过方案C的工程代价不小需要改动主干网络的结构不能直接套用现成的开源VLA代码库。如果你的时间有限先用方案B过渡效果也能比没有历史信息的基线提升不少。3.5 训练策略两阶段微调历史感知模块加入之后如果直接和基础VLA模型一起端到端训练极大概率会把原本学好的视觉语义给带偏。我在复现类似工作时的标准做法是两阶段微调第一阶段冻结基础VLA模型的全部参数只训练历史感知模块和融合模块。让新增模块先学会在给定历史上下文时去适配原本模型的输出分布。这个阶段大概跑几千步就能看到模型开始出现动作稳定性上升的迹象。第二阶段解冻部分层通常只解冻主干网络的后半部分用较小的学习率端到端微调。注意这里的学习率要比第一阶段再降一个量级否则微调早期很容易发生灾难性遗忘——模型开始遗忘最初学到的通用语义能力。两阶段微调是我反复摸索下来最稳定的节奏。一上来就端到端训练测试集上的成功率虽然可能看涨但鲁棒性会明显变差稍微换个光照或者换个背景颜色效果就崩。3.6 历史感知的有效性评估最后要对历史感知是否真正生效做一个严格的检验防止模型只是靠更多参数提升了拟合能力而不是真的在利用时间信息。我排查模型有没有真的用上历史信息时常用的手段是做一个特征归因分析把历史输入梯度归零或者调整为随机噪声观察模型输出动作的变化幅度。如果模型输出变化很小说明历史模块根本没被利用起来如果动作输出显著变化才说明时序信息在决策链路中真正起了作用。另一个更简单实用的检查方式是做时序打乱测试。把历史帧的时间顺序随机打乱后再输入模型观察动作输出是否剧烈变化。真正学到时序特征的模型打乱历史顺序后性能应该明显下降如果打乱前后性能一致说明模型只是在看一堆历史图并没有理解时间关系。4. 实验效果历史感知带来了什么改变HAMLET在实验部分对比了多种设计的差异。基于论文的公开信息加上我自己的实测我从三个维度拆解历史感知VLA带来的实际变化。4.1 长程任务成功率的变化论文报告的核心结论就是历史感知策略在长程任务上显著超过了单帧基线模型。这个结论在我接触的同类项目里也得到了验证——加入历史感知后多步任务的成功率并不是线性提升而是呈非线性跨越趋势。原因在于单帧模型在长程任务中的失败模式是随步骤数累积放大的错误率。每一步都有一个不可忽略的概率输出错误动作执行5步可能还能扛住执行20步时错误率几乎是指数上升。而历史感知模型可以在每步决策时回头检查之前的动作有没有出错。一旦发现上一步的动作结果不符合预期比如物体没被抓起模型会在下一步自动修正策略。这种自查纠错能力是单帧模型不具备的。4.2 动作平滑性与执行质量历史感知带来的另一个容易被忽略的改善是动作输出的平滑性曲线。单帧模型输出动作时经常在相邻步出现剧烈的数值跳动——比如关节速度指令在几步之间来回震荡。在真实机器人上这种抖动轻则表现为运动不自然重则会触发安全保护直接停机。引入历史感知后动作序列在时间维度上有了上下文约束模型倾向于输出与近期动作趋势一致的指令突变频率大幅下降。这相当于在神经网络内部隐式地加了一个运动平滑约束比在外层套低通滤波器的效果要好——因为模型是在理解任务语义的前提下做平滑而不是机械地滤波。4.3 对指令泛化的影响历史感知对泛化能力也有正向影响这一点是我原先预期之外的。结合历史上下文模型对指令的理解能力有所增强尤其是在指令存在指代关系的场景里表现明显。比如把它放到刚才你拿起来的东西的旁边这种需要依赖操作历史才能消解的指令单帧模型基本无能为力而历史感知模型能够凭借之前抓取过哪个物体的记忆正确解析指代对象。能力维度单帧VLA基线HAMLET历史感知5步以内短程任务高高20步以上长程任务中低错误累积明显高具备自查纠错能力指代指令解析基本不可用可用动作平滑性抖动明显平稳自然对场景轻微变化的鲁棒性中中高5. 常见问题与排查技巧实录在这个领域踩过的坑越多越能体会到历史感知四个字说起来轻松做起来全是细节。下面这几个问题是同行群里被问频率最高的我整理成速查表再配上我自己的排查习惯。5.1 模型训练不收敛loss居高不下出现这个问题的第一怀疑对象往往不是历史模块而是历史帧的噪声太大。很多人在采集数据时没有对历史帧做对齐预处理光照变化、相机抖动、物体反光都给历史编码器造成巨大干扰。模型想从噪声里提取有效时序特征难度可想而知。我的排查步骤是先把历史模块的输入从连续真实帧换成人工构造的之前动作的理想序列做一套消融测试。如果模型在理想历史下顺利收敛说明问题就出在历史输入的数据质量上。这时候优先检查数据采集管线里的帧对齐和时间戳同步逻辑。5.2 历史窗口越长效果越差有人以为历史信息越多模型越强实际操作中往往相反。历史窗口过长会引入两个问题一是计算压力陡增二是数据分布记忆偏移。时间太久远的画面信息对当前决策不但没有帮助反而会让模型在不同时间尺度的信息之间左右摇摆。我自己的调参经验是先在验证集上测试不同窗口长度的表现选择一个边际收益不再增长的临界点。一般来说短时窗口覆盖1到2秒、长时窗口覆盖任务平均时长的三分之一到二分之一是比较稳妥的起点。再往长了加收益曲线基本就平了。5.3 推理延迟超标部署不过关这是历史感知VLA部署时的经典问题。历史信息的引入本质上增加了输入序列的长度或者额外模块的推理耗时尤其在低算力平台或者需要高频控制输出的场景下延迟高到无法使用。对策有三个方向异步推理历史编码器的计算可以在当前帧推理完成之后、下一帧到来之前预计算好因为它不依赖当前帧信息只依赖历史数据天然适合异步执行稀疏采样不用每帧都加入历史可以每2帧或每3帧选一个代表帧历史记忆缓存用一个固定容量的环形队列缓存历史特征向量而不是每次推理从头编码一遍历史图像极大减少重复计算。这三个手段叠加使用我在一个实时抓取项目里把推理延迟从250ms压到了120ms左右——虽然还有优化空间但已经过了实时控制的及格线。5.4 历史模块加上了但效果不升反降这个情况最容易让人心态爆炸。明明是按论文思路加的模块怎么测试效果还倒退了。我遇到过两次最后定位到的原因都很有趣。第一次的原因是数据分布不匹配。训练集的历史帧里机器人的动作非常顺滑没有失败尝试或纠错片段。但测试集真实环境里机器人经常做出小幅回撤、试探性动作。模型没见过带纠错模式的历史序列在测试时就不知道怎么做了。解决方式是训练数据里故意加入一些人工扰动片段——模拟抓取失败、位置偏移后再修正的过程让模型见过各种历史状态下的决策模式。第二次的原因是当前帧的信息被压制了。历史信息在注意力计算中占据了过高的权重模型开始迷信历史对当前画面的真实变化不敏感。解决方式是把历史输入的注意力logits乘以一个小系数比如0.1到0.5之间的scale或者给历史token的位置编码加一倍标准差更大的噪声人为降低它的可信度。5.5 历史动作回馈导致的误差累积历史动作是真实执行值但它也包含误差和噪声。特别是机器人在滑动、碰撞边缘时真实执行动作与预期动作差异很大。如果模型把这种带噪声的历史动作当成可靠条件会形成误差累积一个错误的动作导致后续决策全部向错误方向偏移。我的处理方案是给历史动作编码加一个执行置信度估计。预测动作头的同时训练一个辅助头评估这个动作的执行可靠程度。置信度低的历史动作在注入模型时会被自动降权。这个辅助头只需要在训练时用一段时序上下文自监督即可生成标签不需要额外的人工标注。写在最后HAMLET这篇论文真正打动我的地方不在于它提出了多么花哨的模块而在于它精准地指出了一个VLA模型在长程任务上的阿喀琉斯之踵——缺少对时间的感知能力。单帧决策在短促、反应式的任务里够用但一旦任务需要持续几十秒甚至几分钟没有历史记忆的策略就像没有过去的人一样每一步都活得战战兢兢。根据我个人在操作任务上的实操体会历史感知这四个字听起来像是个大词落到实处其实就是一句话让模型在做决策之前先回头看一眼自己从哪里来、做过什么、结果如何。这种看似朴素的能力恰恰是当下VLA模型走向真实机器人应用时绕不开的门槛。如果你也准备在这个方向动工我的建议是不要一上来就追求论文里那种完整的组件设计。先在你的现有模型上加一个最简陋的历史分支——哪怕是单纯把上一帧的视觉特征拼接进去——把整个训练流程跑通建立历史信息注入的基线。然后再逐步引入动作回馈、时间戳编码、门控机制这些精细化设计。路是一步一步走出来的模型也是一步步改强的。最后再分享一个小技巧做历史感知策略的实验时记录模型动作输出的变化率一阶差分比只看任务成功率更有诊断价值。动作平滑度的变化往往是模型开始利用时序信息的早期征兆比最终结果指标来得更灵敏。训练前期多盯这条曲线你能省下不少调参的弯路。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
