大模型已经会聊天、会看图、会推理。但真正进入物理世界之后它还需要回答一个更具体的问题下一步到底该怎么动近年来大语言模型和视觉语言模型快速发展AI 已经能够理解语言、识别图像、分析视频甚至完成复杂推理。但当模型真正进入物理世界仅仅“看懂”和“想明白”还不够。面对“帮我倒一杯茶”这样的指令机器人不仅要理解任务还要知道茶壶抓哪里、机械臂怎么移动、手腕转多少角度、什么时候松开夹爪以及动作失败后如何调整。Vision-Language-Action Model也就是VLA 模型正试图解决这个问题。综述《A Survey on Vision-Language-Action Models: An Action Tokenization Perspective》提出了一个很有意思的统一视角看似结构各异的 VLA 模型可以从“动作如何被表示”这一角度重新理解。论文把这些动作相关的表示统称为Action Token并归纳为八种主要类型。论文A Survey on Vision-Language-Action Models: An Action Tokenization Perspective论文地址https://arxiv.org/abs/2507.01925代码仓库https://github.com/Psi-Robot/Awesome-VLA-Papers作者Yifan Zhong, Fengshuo Bai, Shaofei Cai 等12位学者作者单位北京大学、PKU-PsiBot联合实验室、清华大学等一、大模型已经会看、会说为什么还不会“动”从能力演化上可以把 LLM、VLM 和 VLA 简单理解为LLM语言 → 语言 VLM视觉 语言 → 语言 VLA视觉 语言 → 动作LLM 关心“你说了什么”VLM 进一步理解“你说了什么、眼前发生了什么”而 VLA 最终需要回答结合当前环境和人的要求我接下来应该采取什么行动难点在于语言天然具有较成熟的 Token 表示而机器人动作并没有唯一表示方式。“拿起杯子”可以是一句自然语言也可以是一段代码、一个抓取关键点、一条运动轨迹、一张目标图像甚至是一组机械臂控制量。因此VLA 的核心问题之一就是模型究竟应该预测什么才能最好地连接“理解”与“行动”二、什么是 Action Token这篇综述把 Action Token 定义得很宽泛。它不只是最终的电机控制指令也包括所有能够逐步提供更具体、更可执行动作信息的中间表示。一个 VLA 系统可以被抽象为视觉 语言输入 ↓ VLA Module ↓ Action Token ↓ VLA Module ↓ Action Token ↓ ... ↓ 可执行动作例如“倒一杯茶”可以逐步被表示为高层计划 拿起茶壶 → 倒茶 → 放回茶壶 空间定位 找到茶壶把手 运动规划 生成机械臂轨迹 底层控制 输出位移、旋转和夹爪控制量论文据此把现有 Action Token 归纳为八类Language DescriptionCodeAffordanceTrajectoryGoal StateLatent RepresentationRaw ActionReasoning三、Language Description先用语言告诉机器人“做什么”最直观的方式是直接用自然语言描述动作。例如拿起茶壶 ↓ 移动到茶杯上方 ↓ 倾斜茶壶 ↓ 放回茶壶语言描述又可以分成两个层次。Language Plan负责高层规划例如Pick up the teapot. Pour tea into the cup. Put the teapot back.它适合复杂任务分解和长时规划。Language Motion更接近具体运动例如机械臂向右移动 向下移动 闭合夹爪 向上抬起语言的优势是可以充分利用 LLM 的知识、推理和规划能力但缺点也很明显语言通常不够精确很难独立描述复杂、连续、细粒度的机器人运动。因此语言更适合做“高层大脑”而不是直接承担底层控制。四、Code让大模型直接“编程控制机器人”第二种方式是生成代码。例如hand.grasp(handle)arm.lift(lift_height)hand.move_to(cup_top)hand.rotate(angle)hand.release()相比自然语言代码拥有更加明确的逻辑结构可以表达条件判断、循环、函数调用和异常处理因此很适合复杂任务规划与流程控制。但代码路线有一个前提机器人系统必须拥有足够丰富的 API 和技能库。模型可以生成robot.open_fridge()但如果系统根本没有open_fridge()这个能力代码就无法真正落地。因此代码路线未来的重要方向之一是建设更完整的感知原语库和动作原语库。五、Affordance先告诉机器人“哪里可以操作”如果说语言计划解决“做什么”那么 Affordance 更关注在哪里做例如机器人看到一个杯子不仅要知道“这是杯子”还要知道“杯柄是一个适合抓取的位置”。Affordance 可以有多种形式Keypoint给出精确操作点Bounding Box定位目标物体Segmentation Mask精确到像素级区域Affordance Map用热力图表示更适合当前任务的操作区域。同一个物体在不同任务下可能有不同 Affordance。例如任务拿起杯子 → 杯柄区域更重要 任务清洗杯子 → 杯内区域更重要因此Affordance 的核心不是“物体在哪里”而是对于当前任务哪里最值得交互六、Trajectory 与 Goal State怎么动以及最后变成什么样机器人知道目标物体在哪里之后还需要解决两个问题怎么过去最终应该变成什么样Trajectory 负责描述运动路线。例如当前位置 ↓ P1 \ P2 \ P3 ↓ 目标点轨迹可以从人类视频、第一视角视频或机器人示范中学习因此有机会利用大量非机器人数据。但二维轨迹往往缺少完整的深度、姿态、旋转和接触关系因此未来还需要更强的 3D 表达能力。Goal State 则采用另一种思路不先预测“怎么做”而是先预测“完成后应该是什么样”。例如当前状态 茶杯为空茶壶在桌面右侧 目标状态 茶杯中有茶茶杯位于杯垫中央目标状态可以是一张图像、一段视频或其他未来观察结果。模型先“想象成功后的世界”再据此规划动作。这条路线与 World Model 密切相关也更容易利用海量视频数据但难点是如何生成真正物理一致、时序一致、可执行的未来状态。七、Latent Representation 与 Raw Action从隐藏动作语言到端到端控制有些动作信息很难用语言、轨迹或图像完整表达因此另一条路线是学习 Latent Representation。例如视频 ↓ Action Encoder ↓ z1, z2, z3, ..., zn ↓ Policy ↓ 机器人动作这些隐变量不一定具有明确的人类语义却可能同时编码运动模式、交互关系、时序结构和任务信息。优势是表达能力强缺点是难以解释而且必须保证隐空间真正与机器人任务相关。Raw Action 则是最直接的端到端路线。输入视觉和语言模型直接输出ΔT [0.02, -0.10, -0.10] ΔR [15°, 10°, -8°] Gripper Close理论上这种方式最接近真正的端到端 VLA。但它受到一个核心问题限制机器人动作数据远没有互联网文本、图像和视频那么丰富。因此Raw Action 很有 Scaling 潜力但高质量机器人数据仍然是主要瓶颈。八、Reasoning机器人行动之前要不要先“想一想”最后一类是 Reasoning。机器人在执行动作之前可以先进行显式推理首先定位茶壶。 茶壶把手是更稳定的抓取区域。 抓取后将茶壶移动到杯子上方。 倾斜角度不能过大否则可能溢出。 倒茶后先恢复直立姿态再放回桌面。Reasoning 的特殊之处在于它不仅可以作为一种独立 Action Token还可以增强其他 TokenReasoning → Language Plan Reasoning → Affordance Reasoning → Trajectory Reasoning → Raw Action因此论文将 Reasoning 看作一种更接近“元 Token”的能力。未来的机器人推理也不一定只停留在语言思维链而可能逐渐演化为语言推理 视觉反馈 动作反馈 环境变化 失败反思也就是说机器人一边行动一边观察一边调整。未来的 VLA 很可能不会只选择一种 Action Token而是形成层次化组合用户指令 ↓ Language / Code 高层规划与逻辑控制 ↓ Affordance / Trajectory / Goal State / Latent 中层动作表示 ↓ Raw Action 底层机器人控制 ↓ RobotReasoning 则可能贯穿整个过程。这篇综述真正有价值的地方不只是总结了八种 Action Token而是提供了一个统一视角从语言 Token 到动作 TokenAI 正在尝试把“理解世界”进一步推进到“改变世界”。VLA 的关键也许并不只是让模型更大而是让模型学会把理解、规划、空间定位、运动预测和真实控制连接成一个完整闭环。
大模型已经会聊天、会看图、会推理。但真正进入物理世界之后它还需要回答一个更具体的问题下一步到底该怎么动近年来大语言模型和视觉语言模型快速发展AI 已经能够理解语言、识别图像、分析视频甚至完成复杂推理。但当模型真正进入物理世界仅仅“看懂”和“想明白”还不够。面对“帮我倒一杯茶”这样的指令机器人不仅要理解任务还要知道茶壶抓哪里、机械臂怎么移动、手腕转多少角度、什么时候松开夹爪以及动作失败后如何调整。Vision-Language-Action Model也就是VLA 模型正试图解决这个问题。综述《A Survey on Vision-Language-Action Models: An Action Tokenization Perspective》提出了一个很有意思的统一视角看似结构各异的 VLA 模型可以从“动作如何被表示”这一角度重新理解。论文把这些动作相关的表示统称为Action Token并归纳为八种主要类型。论文A Survey on Vision-Language-Action Models: An Action Tokenization Perspective论文地址https://arxiv.org/abs/2507.01925代码仓库https://github.com/Psi-Robot/Awesome-VLA-Papers作者Yifan Zhong, Fengshuo Bai, Shaofei Cai 等12位学者作者单位北京大学、PKU-PsiBot联合实验室、清华大学等一、大模型已经会看、会说为什么还不会“动”从能力演化上可以把 LLM、VLM 和 VLA 简单理解为LLM语言 → 语言 VLM视觉 语言 → 语言 VLA视觉 语言 → 动作LLM 关心“你说了什么”VLM 进一步理解“你说了什么、眼前发生了什么”而 VLA 最终需要回答结合当前环境和人的要求我接下来应该采取什么行动难点在于语言天然具有较成熟的 Token 表示而机器人动作并没有唯一表示方式。“拿起杯子”可以是一句自然语言也可以是一段代码、一个抓取关键点、一条运动轨迹、一张目标图像甚至是一组机械臂控制量。因此VLA 的核心问题之一就是模型究竟应该预测什么才能最好地连接“理解”与“行动”二、什么是 Action Token这篇综述把 Action Token 定义得很宽泛。它不只是最终的电机控制指令也包括所有能够逐步提供更具体、更可执行动作信息的中间表示。一个 VLA 系统可以被抽象为视觉 语言输入 ↓ VLA Module ↓ Action Token ↓ VLA Module ↓ Action Token ↓ ... ↓ 可执行动作例如“倒一杯茶”可以逐步被表示为高层计划 拿起茶壶 → 倒茶 → 放回茶壶 空间定位 找到茶壶把手 运动规划 生成机械臂轨迹 底层控制 输出位移、旋转和夹爪控制量论文据此把现有 Action Token 归纳为八类Language DescriptionCodeAffordanceTrajectoryGoal StateLatent RepresentationRaw ActionReasoning三、Language Description先用语言告诉机器人“做什么”最直观的方式是直接用自然语言描述动作。例如拿起茶壶 ↓ 移动到茶杯上方 ↓ 倾斜茶壶 ↓ 放回茶壶语言描述又可以分成两个层次。Language Plan负责高层规划例如Pick up the teapot. Pour tea into the cup. Put the teapot back.它适合复杂任务分解和长时规划。Language Motion更接近具体运动例如机械臂向右移动 向下移动 闭合夹爪 向上抬起语言的优势是可以充分利用 LLM 的知识、推理和规划能力但缺点也很明显语言通常不够精确很难独立描述复杂、连续、细粒度的机器人运动。因此语言更适合做“高层大脑”而不是直接承担底层控制。四、Code让大模型直接“编程控制机器人”第二种方式是生成代码。例如hand.grasp(handle)arm.lift(lift_height)hand.move_to(cup_top)hand.rotate(angle)hand.release()相比自然语言代码拥有更加明确的逻辑结构可以表达条件判断、循环、函数调用和异常处理因此很适合复杂任务规划与流程控制。但代码路线有一个前提机器人系统必须拥有足够丰富的 API 和技能库。模型可以生成robot.open_fridge()但如果系统根本没有open_fridge()这个能力代码就无法真正落地。因此代码路线未来的重要方向之一是建设更完整的感知原语库和动作原语库。五、Affordance先告诉机器人“哪里可以操作”如果说语言计划解决“做什么”那么 Affordance 更关注在哪里做例如机器人看到一个杯子不仅要知道“这是杯子”还要知道“杯柄是一个适合抓取的位置”。Affordance 可以有多种形式Keypoint给出精确操作点Bounding Box定位目标物体Segmentation Mask精确到像素级区域Affordance Map用热力图表示更适合当前任务的操作区域。同一个物体在不同任务下可能有不同 Affordance。例如任务拿起杯子 → 杯柄区域更重要 任务清洗杯子 → 杯内区域更重要因此Affordance 的核心不是“物体在哪里”而是对于当前任务哪里最值得交互六、Trajectory 与 Goal State怎么动以及最后变成什么样机器人知道目标物体在哪里之后还需要解决两个问题怎么过去最终应该变成什么样Trajectory 负责描述运动路线。例如当前位置 ↓ P1 \ P2 \ P3 ↓ 目标点轨迹可以从人类视频、第一视角视频或机器人示范中学习因此有机会利用大量非机器人数据。但二维轨迹往往缺少完整的深度、姿态、旋转和接触关系因此未来还需要更强的 3D 表达能力。Goal State 则采用另一种思路不先预测“怎么做”而是先预测“完成后应该是什么样”。例如当前状态 茶杯为空茶壶在桌面右侧 目标状态 茶杯中有茶茶杯位于杯垫中央目标状态可以是一张图像、一段视频或其他未来观察结果。模型先“想象成功后的世界”再据此规划动作。这条路线与 World Model 密切相关也更容易利用海量视频数据但难点是如何生成真正物理一致、时序一致、可执行的未来状态。七、Latent Representation 与 Raw Action从隐藏动作语言到端到端控制有些动作信息很难用语言、轨迹或图像完整表达因此另一条路线是学习 Latent Representation。例如视频 ↓ Action Encoder ↓ z1, z2, z3, ..., zn ↓ Policy ↓ 机器人动作这些隐变量不一定具有明确的人类语义却可能同时编码运动模式、交互关系、时序结构和任务信息。优势是表达能力强缺点是难以解释而且必须保证隐空间真正与机器人任务相关。Raw Action 则是最直接的端到端路线。输入视觉和语言模型直接输出ΔT [0.02, -0.10, -0.10] ΔR [15°, 10°, -8°] Gripper Close理论上这种方式最接近真正的端到端 VLA。但它受到一个核心问题限制机器人动作数据远没有互联网文本、图像和视频那么丰富。因此Raw Action 很有 Scaling 潜力但高质量机器人数据仍然是主要瓶颈。八、Reasoning机器人行动之前要不要先“想一想”最后一类是 Reasoning。机器人在执行动作之前可以先进行显式推理首先定位茶壶。 茶壶把手是更稳定的抓取区域。 抓取后将茶壶移动到杯子上方。 倾斜角度不能过大否则可能溢出。 倒茶后先恢复直立姿态再放回桌面。Reasoning 的特殊之处在于它不仅可以作为一种独立 Action Token还可以增强其他 TokenReasoning → Language Plan Reasoning → Affordance Reasoning → Trajectory Reasoning → Raw Action因此论文将 Reasoning 看作一种更接近“元 Token”的能力。未来的机器人推理也不一定只停留在语言思维链而可能逐渐演化为语言推理 视觉反馈 动作反馈 环境变化 失败反思也就是说机器人一边行动一边观察一边调整。未来的 VLA 很可能不会只选择一种 Action Token而是形成层次化组合用户指令 ↓ Language / Code 高层规划与逻辑控制 ↓ Affordance / Trajectory / Goal State / Latent 中层动作表示 ↓ Raw Action 底层机器人控制 ↓ RobotReasoning 则可能贯穿整个过程。这篇综述真正有价值的地方不只是总结了八种 Action Token而是提供了一个统一视角从语言 Token 到动作 TokenAI 正在尝试把“理解世界”进一步推进到“改变世界”。VLA 的关键也许并不只是让模型更大而是让模型学会把理解、规划、空间定位、运动预测和真实控制连接成一个完整闭环。
