10000小时人类数据，练出全球首个全身移动操作隐式世界动作模型

这是全球首个面向人形机器人全身移动操作的隐式世界动作模型过去两年人形机器人赛道的竞争焦点正从整机硬件进一步延伸到模型能力。整机厂商密集发布新品翻跟头、跳舞、跑马拉松的视频轮番刷屏。但在喧嚣背后行业也逐渐形成一个共识决定人形机器人能力上限的已经不只是关节与电机。能否理解环境、预测变化并协调全身完成任务正在成为其走向通用的关键。世界模型、VLA 与人形机器人基础模型也由此成为近两年这一领域最重要的技术方向之一。热闹之下三道难题始终摆在整个行业面前。其一人形机器人的真机演示数据采集成本高采集时需要同步记录第一人称视频、本体感知数据与可执行的全身指令受制于遥操作难度、安全风险、硬件可得性与环境多样性很难在短时间内形成大规模、高质量的数据积累。其二现有不少世界动作模型沿用像素级视频预测路线计算开销大且大量容量被消耗在与控制关联很弱的画面细节上。人形机器人快速的自身运动和视角抖动又会进一步放大视觉预测噪声。其三许多现有方案仍将上肢操作与移动控制分开建模上下半身协调性不足难以支撑自然流畅的全身控制。在这一背景下具身智能公司智在无界发布了Being-M0.7。这是全球首个面向人形机器人全身移动操作的隐式世界动作模型Latent World-Action Model简称 Latent WAM也是业内首次将隐式世界模型能力从桌面灵巧操作扩展到全身移动操作的模型。论文链接https://research.beingbeyond.com/being-m07/being-m07.pdf项目主页https://research.beingbeyond.com/being-m07它使用超 10000 小时以人为中心的混合模态数据进行预训练再通过少量真机演示数据完成本体适配并在真实人形机器人上完成了多项高难度的全身移动操作任务。从 Being-H 到 Being-M一条持续兑现的技术路线Being-M0.7 背后是智在无界坚持多年的一条技术路线。这家公司是全球最早押注大规模人类视频训练路线的具身智能企业之一同时布局通用灵巧操作与通用移动灵巧操作两条模型主线也是国内首个推出原生具身隐式世界动作模型的团队。其路线的核心判断在于机器人真机演示数据昂贵、稀缺很难像互联网文本和视频那样持续扩大规模。与之相比人类每天都在用第一人称视角与物理世界交互这些海量的人类行为数据蕴含着关于场景演化、物体动力学与身体协调的丰富先验。与其等待机器人数据慢慢积累不如先让模型从人类经验中学习世界的运行方式再将这些知识迁移到具体的机器人本体上。今年 4 月发布的 Being-H0.7验证了这一判断在灵巧操作侧的可行性。该模型将训练数据规模扩展到 20 万小时人类视频在 6 项国际性评测中取得综合排名全球第一、其中 4 项登顶的成绩并成为首个覆盖跨本体、跨场景、连续动态、流体、柔性物体、物理规律和上下文推理七大关键维度的通用具身世界模型。Being-M0.7 则是这条隐式世界动作模型路线的最新成果。如果说 Being-H 系列回答的是手如何操作世界Being-M0.7 回答的则是整个身体如何在世界中协调地移动与作业。人形机器人的移动灵巧操作loco-manipulation要求模型同时决策去哪里、身体如何朝向、手脚如何配合、姿态如何保持稳定这是一个在时间维度与身体维度上都高度耦合的问题也是通用人形机器人绕不开的能力关口。Being-M0.7 是一个隐式世界动作模型先在第一人称视频和人体运动数据上进行预训练采用 Mixture of TransformersMoT结构随后通过动作专家后训练在多样化全身操作任务的机器人轨迹数据上完成控制落地。与许多依赖像素级视频生成的世界模型不同Being-M0.7 在隐空间中预测未来环境状态并将其与紧凑的全身运动表征耦合在一起。像素级预测计算昂贵且大量算力会被消耗在与控制关系不大的外观细节上第一人称视角下剧烈的自身运动与视角抖动还会让预测充满噪声。隐空间预测把建模能力集中在语义状态、物体布局与场景演化这些真正与控制相关的结构上既保留了世界模型预判未来的本质又大幅降低了计算开销。物理理解如何转化为全身行动模型是否真正具备全身移动操作能力最终还要回到真实场景中检验。智在无界围绕 Being-M0.7 公布了四个真机 Demo覆盖了液体交互、镜像推理、长程任务与遮挡避障四类极具挑战性的场景。这些任务共同检验一个问题机器人能否根据对环境和未来变化的预测持续生成与当前场景相匹配的全身动作。鱼缸捞鱼机器人走到水箱前使用手持网具捞取水中的玩具鱼。液体没有固定形状会流动会对浸入其中的物体产生浮力与阻力水面折射还会让水下目标的视觉位置发生偏移。机器人必须理解水、渔网与鱼之间的相互作用在视觉信息被水体扭曲的情况下协调手臂完成一次动态目标的工具化捕捞。这项任务考验的正是未来状态预测、工具使用与不确定物体动力学下的动作协调能力。对于任务中的捞鱼环节Being-M0.7 分别在 5 次测试中成功 3 次。相比之下为 2/5GR00T-N1.6 则为 1/5。镜像取物机器人面前有一个只在背面和侧面开口的盒子盒内物品从机器人自身视角完全不可见唯一的线索来自前方镜子里的反射。机器人需要根据镜中画面推断隐藏物体在真实三维空间中的位置再接近盒子并伸手抓取。这要求模型理解镜子、盒子和物体之间的空间关系和镜面反射原理在部分可观测条件下将间接视觉证据转化为可执行动作。在与、GR00T-N1.6 的真机对比测试中面对 0.5 米和 1 米两种距离设置Being-M0.7 分别在 5 次测试中成功 3 次和 1 次总体为 4/10和 GR00T 的总体成绩则均为 1/10。这一结果表明Being-M0.7 在需要间接视觉推理、全身接近和精细抓取的部分可观测任务中表现出了更强的适应能力。移动置物取物机器人行走至桌前把一个篮子里的法棍转移到另一个篮子再从篮中拿起花束转身离开。任务由多个子任务串联而成机器人需要在行走、抓取、转移、转身等行为间连续切换并在整个过程中保持对场景的持续理解。它考验的不只是单次抓取成功率还包括长程任务中的状态保持、物体级空间推理以及移动与灵巧操作之间的全身协同。搬箱避障机器人抱着箱子前行前方出现障碍后它没有完全停下重新规划而是调整身体朝向侧身从障碍物之间的狭窄空间穿过。搬运物体占据了部分第一人称视野也改变了机器人的负载和重心。模型需要结合已有的环境信息与实时反馈判断可通行区域调整行走方向和全身姿态同时保持自身平衡与所载物体的稳定。多方向移动、避障和负载感知操作在这里被统一进同一个闭环行为中。这些演示说明机器人并非按照固定轨迹开环执行而是结合当前观测、实时反馈以及对未来的预测持续生成并修正全身动作。MoT 架构与统一运动表征破解具身数据稀缺难题支撑上述能力的是 Being-M0.7 在数据与架构层面的一组关键设计。人形机器人需要通过第一人称视觉信息完成空间感知也需要输出未来要执行的运动和控制指令。高质量人体运动数据通常需要借助动作捕捉设备获得而视觉与运动严格对齐的第一人称配对数据更为稀缺。如果一个模型只能使用同时包含视觉和运动的数据可训练数据的规模将受到严重限制。Being-M0.7 要解决的问题正是如何让配对数据、纯视频数据和纯运动数据共同参与训练。智在无界选择的是Vision-Motion MoTMixture-of-Transformers混合 Transformer 多模态架构。Vision-Motion MoT 为视觉和运动保留各自的模态专属投影与处理模块同时通过共享的多模态注意力进行跨模态交互。视觉状态变化和连续运动具有不同的数据分布不必被强行压入完全相同的参数体系当两种模态同时存在时它们又可以在共享上下文中交换信息。这使模型能够同时兼容三类数据。对于视频 — 运动配对数据模型联合学习未来环境状态和运动轨迹对于纯视频数据只计算视觉分支的训练目标对于纯运动数据则只训练运动分支。不同来源的数据通过同一个训练目标共同约束模型而不需要分别训练多个彼此割裂的单模态系统。从概率建模角度看配对数据刻画视觉与运动之间的联合关系单模态数据则为这一联合分布提供边际约束。即便数据模态并不完整也能被纳入同一个训练框架。Being-M0.7 训练框架概览。左上预训练数据由视频 — 运动配对数据、纯视频数据和纯运动数据共同构成。左下研究团队构建了一套人类与人形机器人共享的统一运动表征为训练和推理提供更丰富的监督信号与反馈。右侧右侧Being-M0.7 的整体模型架构。基于这一架构团队构建了超 10000 小时的混合模态预训练数据涵盖人类第一人称视频、第一人称视频与运动的配对数据以及纯人体运动序列。Being-M0.7 的数据配方Data Recipe。 预训练语料来源于多个外部公开数据集包括 Ego4D、Xperience、Nymeria、Bones-SEED、SnapMoGen、HumanML3D 和 Lafan1同时还包括内部数据集。另一个关键设计是人类与人形机器人共享的统一运动表征。Being-M0.7 提出了一种统一的动作表示将来自不同来源的人体运动数据转换为以头部为根节点的统一表示使其与第一人称视觉天然对齐。通过统一坐标系、消除初始朝向等标准化处理降低了不同数据集之间的分布差异提高了跨数据源的一致性。进一步地Being-M0.7 采用了一种仅保留头部、双手和双脚的紧凑运动表示在保留关键交互和接触信息的同时有效弥合了人类与机器人之间的形态差异。该表示不仅为机器人后训练提供了比动作标签更丰富的监督信号还能够在推理阶段提供运动层面的反馈支持全身协同控制。在预训练阶段模型通过视觉编码器将图像映射至隐空间并使用紧凑统一运动表征。模型采用流匹配Flow Matching目标进行训练根据一段短时间的视觉 — 运动历史和任务指令联合预测未来状态变化与运动轨迹。在真机数据采集环节团队搭建了一套基于 PICO VR 的全身遥操作系统。操作员佩戴 PICO 头显、两个脚踝追踪器和两个手持控制器由 VR 系统实时估计人体姿态再通过全身运动控制器将其转换为宇树 G1 可执行的 29 自由度全身控制指令。机器人在遥操执行动作的同时记录机载 RGB 相机第一人称视角图像本体感知及运动控制指令。作为 Being-M0.7 在特定任务上的后训练微调数据。Being-M0.7 真机数据采集系统。操作员通过 VR 设备提供全身运动指令系统将人体姿态转换为机器人控制命令并同步采集第一人称图像、本体感知与运动轨迹。由于模型已经在预训练阶段建立了视觉 — 运动先验真机数据不再需要从头教授所有运动规律主要承担两项任务一是将预训练先验落地到人形机器人的具体控制空间二是学习真实机器人所需的低层控制命令与反馈机制。这一过程由轻量级动作专家Action Expert完成。动作专家读取 Latent WAM 的中间隐藏状态将其作为高层规划上下文再结合当前视觉观测、本体感知信息和执行进度生成机器人可以直接执行的动作块。推理阶段模型以较低频率生成未来的视频–运动规划并将其中间隐藏状态转换为可复用的策略缓存KV Cache。统一运动表示不仅融合视觉和本体感知反馈还利用机器人最新的运动状态对预测的全身运动规划进行校正使策略能够及时响应身体和末端执行器的运动偏差。动作专家则复用当前 KV Cache以较高频率连续生成动作并在缓存刷新时无缝融入最新机器人反馈。该设计实现了低频世界规划与高频动作控制的解耦在保证实时性的同时使机器人始终受到长期规划和实时反馈的共同引导。可扩展的融合范式通往更通用的具身智能Vision-Motion MoT 架构的意义不只在于解决 Being-M0.7 这一款模型的训练问题它确立的是一套可持续扩展的多模态融合范式。这套范式最直接的改变发生在数据层面。超 10,000 小时的混合模态数据把人形机器人模型训练可用的监督信号来源从昂贵稀缺的机器人真机演示扩展到了海量的人类行为数据。数据瓶颈的松动是任何 Scaling Law 得以成立的前提。与此同时Being-M0.7也调整了模型学习的顺序。在被适配为机器人可执行指令之前模型先从大规模人类中心数据中学习视觉上下文、未来动态和人形运动学结构。随后动作专家再将这些预测与运动先验转化为具体机器人的控制命令。换言之模型先建立对未来状态和身体运动的预测能力再学习如何在特定本体上行动。这构成了它与直接从机器人示教中学习动作映射的传统模仿学习方案之间的一项重要差异。后者往往从「看到什么、输出什么动作」开始Being-M0.7 则在动作生成之前加入了一层对未来状态 — 运动的联合建模。更重要的是这套架构并不要求所有新增数据都具备完整的视觉 — 运动配对。经过清洗和处理后单独的人类视频与运动序列都可以被纳入同一个模型。随着数据规模进一步扩大这套融合范式也有望持续拓展能力边界。放到整个行业的坐标系中Being-M0.7 的发布或许代表着人形机器人竞争逻辑的一次变化。过去几年行业的注意力更多集中在谁的本体更灵活、谁的运动演示更惊艳。随着硬件性能持续提升模型能否理解场景、预测变化并生成协调的全身动作以及背后是否存在可以持续扩大的数据体系将越来越成为拉开差距的关键。大语言模型的发展已经证明可规模化的数据与训练飞轮往往决定一条技术路线最终能够走多远。具身智能正站在相似的临界点上真机数据无法像互联网语料一样快速增长机器人还可以从哪里获得持续进化所需的经验从 Being-H 到 Being-M智在无界的判断是让机器人先从人类行为中学习世界再把这些知识转化为真实物理空间中的行动。当理解成为行动的前提通用人形机器人才真正走出了实验室叙事开始通向千行百业的物理世界。原文链接10000小时人类数据练出全球首个全身移动操作隐式世界动作模型-36氪