视觉负责回答「我要做什么」触觉负责不断修正「我现在做得对不对」2009 年李飞飞团队发布 ImageNet让人工智能第一次有机会通过海量图片认识这个世界。十五年后她在一次演讲中提出「空间智能」认为 AI 的下一步不只是识别一张图片里有什么而是理解物体在哪里、彼此如何关联以及人在其中采取行动后世界会发生什么变化。今年这条研究路线又往前走了一步。6 月李飞飞参与的一项机器人研究 T-Rex 发布研究者为机器人加入高频触觉反馈让它完成翻书页、拿鸡蛋、挤牙膏、抽取薄卡片和拧灯泡等任务。一位因计算机视觉闻名的科学家为什么开始反复谈论触觉、模拟器和机器人这并不意味着视觉已经过时。恰恰相反今天的具身智能厂商仍在给机器人安装更多摄像头、更精确的深度传感器和激光雷达。真正发生的变化是行业逐渐意识到「看」只是智能进入物理世界的第一步一张图片也只是世界留下的表面。AI可能根本没在看今年 3 月李飞飞参与的一项研究做了一个实验研究者向多模态模型提出视觉问题但故意没有真的把图片传进去。按理说模型应该回答「我没有看到图片无法判断」。但不少前沿模型依然开始一本正经地描述图像内容给出完整的分析过程甚至能在部分视觉问答测试中取得很高的分数。比如在一个胸肺 X 光问答基准里模型没有看过任何 X 光片成绩却依然排到了前列。研究者把这种现象称为「幻景推理」模型并不一定在根据视觉证据回答问题而可能是在利用问题里的文字线索和训练数据中的常见搭配猜测一张「通常会和这个问题同时出现的图片」应该长什么样。类似于大模型并不一定知道自己在说什么而是在推测「下一个最有可能出现的字」。题目问「图中车辆正在等待什么信号」即使没有图片人也可能根据常识猜出答案无非是红绿灯。模型吃过足够多的图片说明、诊断报告和问答数据以后也可能绕过真正的视觉观察直接从问题跳到答案。它说得非常像看见了不代表它真的看见了。在聊天窗口里只要答案听起来合理用户未必关心模型究竟是看图得出的还是靠语言猜中的。但进入物理世界以后二者的区别会立刻暴露出来。杯子究竟在桌子的左边还是右距离手臂还有十厘米还是二十厘米? 这些都不是可以靠语言常识蒙混过关的问题尤其是对于机器人而言差几厘米就会直接抓空。这也是为什么今天的机器人身上正在出现越来越复杂的感知系统。宇树 G1 使用深度相机和 3D 激光雷达一种负责判断物体远近一种负责建立周围空间的距离地图。智元灵犀 X2 除了 RGB-D 相机和激光雷达还使用前视双目、后视相机和触摸传感器从不同方向补充环境信息。这些配置看上去像是又一场针对传感器的军备竞赛但它们其实是在弥补视觉的不同盲区。头部摄像头适合观察整个房间但容易在机械臂靠近物体时被自己的手挡住激光雷达能够测量距离和建立地图却看不懂桌上的东西究竟是杯子还是苹果。对人来说转一下头、眯一下眼睛或者伸手试探是几乎不需要思考的动作。机器人却需要把来自不同摄像头、雷达和关节传感器的信息拼在一起才能确定自己面对的是同一个、持续存在的物理空间。所以具身智能首先遇到的问题并不是模型能不能认出一个杯子而是它能不能确认这样一个杯子真的在那里。大多数世界模型其实只是在画世界这两年「模型」成了 AI 行业最热门的词之一。视频生成模型可以根据一句提示词生成一台机器人走进客厅、拿起篮子、凑近玩具再把玩具放进篮子。这些画面中的光影、运动和镜头都可以非常自然观众很容易产生一种感觉既然模型能够生成这段过程它大概已经理解了环境和物体如何运作。但只是从视频来看杯子究竟有多重、柜门的铰链能承受多大的力、机械手碰到杯壁时会不会打滑都不是必须回答的问题只要下一帧看起来合理任务就完成了。实际上对机器人来说这些不足以在镜头中充分展示的细节恰恰决定了任务能不能成功。World Labs 今年把目前被统称为「世界模型」的技术拆成了三类。第一类是渲染器负责生成给人看的像素第二类是模拟器负责表示几何结构、物理属性和动态变化第三类是规划器根据目标决定机器人下一步应该做什么。这个分类维度恰恰说明了刚才我们提出的问题模型如果只是会画出一个世界不等于能够在里面干活。一辆车可以在生成视频里顺利穿过城市但镜头之外的街道是否持续存在建筑有没有稳定的三维结构车轮和地面之间是否真的存在摩擦模型未必知道。对于观众来说像真的已经够了对于机器人来说世界必须可以计算、可以碰撞也必须在它转过身以后继续存在。World Labs 推出的 Marble 已经可以从文字、图片或视频生成可探索的三维环境。除了供人观看的画面它还可以输出碰撞网格让物理引擎判断一个物体能不能穿过墙壁、落到地面后会停在哪里。英伟达的 Cosmos 则把世界生成、视频预测和机器人训练放在同一套 Physical AI 体系中希望用大量合成场景填补真实机器人数据不足的问题。这条路线听起来很宏大落到机器人公司的研发流程里其实非常朴素这就是先让机器人在虚拟世界里反复失败。只不过一台双足机器人学会走路不可能只靠工程师每天把真机推倒几千次。逐际动力的 TRON 1 支持 NVIDIA Isaac、MuJoCo 和 Gazebo 等仿真平台开发者可以先在虚拟环境里测试不同地面、坡度和碰撞情况。智元则发布了 AgiBot Digital World用仿真环境生成操作数据、训练模型并评估机器人策略。逐际动力支持的训练平台在现实中让机器人摔倒一次可能意味着零部件磨损、维修成本和安全风险在模拟器里同一个动作可以由成千上万个虚拟机器人同时尝试。桌子的高度、地面的摩擦系数、物体摆放的位置都可以不断变化机器人不必真的打碎一万只杯子才能学会怎样端稳一只杯子。不过模拟器也不是答案本身虚拟世界中的地面永远比真实地面干净模型设定的摩擦力也不可能覆盖每一种材料。机器人在模拟器里练得再熟进入工厂、商场和家庭以后依然会遇到没有被写进参数表的意外。这就是机器人行业一直面对的「仿真到现实差距」。World Labs 在 7 月 21 日收购 SceniX重要之处也正在这里。它不再只满足于生成一个可以观看和探索的三维空间而是开始把模拟出来的世界与真实机器人的行动反馈连接起来。触觉不只是另一双眼睛即使视觉和模拟已经足够成熟机器人真正碰到物体以后仍然会遇到一类摄像头很难独立解决的问题。拿起鸡蛋时机器人怎样知道手指已经用力过大抽出一张薄卡片时它怎样判断自己捏住的是卡片还是只碰到了桌面拧灯泡时它怎样感知螺纹已经卡住继续旋转可能会损坏物体摄像头可以看到手已经接近目标却很难及时判断接触面正在发生什么。触觉解决的不是「物体在哪里」而是「接触以后发生了什么」。压力是否增加物体是否开始滑动材料有没有变形抓握是否稳定这些信息都发生在视觉画面之下。Figure 今年发布的 Helix 02就把头部摄像头、手掌摄像头、指尖触觉和全身本体感知接入同一套控制系统。当头部摄像头被机械手遮挡时手掌里的摄像头继续提供近距离画面指尖传感器则可以感知低至 3 克的力让机器人从药盒中取出单颗药片、控制注射器推出精确剂量并在杂乱物体中分离出尺寸很小的目标。国内厂商也在快速补上这块感知能力像帕西尼这样的上游厂商则直接把触觉传感器、灵巧手、人形机器人、数据采集和多模态模型组成一条产品链希望把触觉从一个零部件问题变成机器人训练数据的一部分。图片来自帕西尼但给机器人装上传感器并不意味着它自然就会使用触觉很多被称为「常识」的能力并不是来自我们看过多少图片而是来自身体在漫长的接触中学会了让动作适应世界。李飞飞参与的 T-Rex 研究展示了这一步为什么困难。团队收集了 100 小时包含触觉信号的机器人操作数据让机器人完成翻书页、转移鸡蛋、擦盘子、挤牙膏、分离叠放的杯子、摸索麻将、开锁、抽取卡片和拧灯泡等任务。最终T-Rex 在 12 项任务中的平均成功率达到 65%比最强对照模型高出 30 个百分点。研究中一个很有意思的结果是直接把触觉数据塞进现有的视觉—语言—动作模型表现反而很差。原因并不难理解不同感官工作的速度并不相同视觉和语言适合做较慢的全局判断机器人需要先看清桌面理解人的指令再决定应该拿哪一个物体。但一只杯子开始从手指间滑落时它不会等待模型重新看图、分析和规划。触觉必须以更高频率持续工作在滑动刚刚发生的瞬间调整手指力度。T-Rex 因此让视觉和触觉按照不同速度运行。视觉负责回答「我要做什么」触觉负责不断修正「我现在做得对不对」。这不是给机器人增加了另一双眼睛而是给它增加了一条来自现实的即时反馈。过去几年的 AI 竞争主要围绕谁能造出一个更聪明的大脑。具身智能正在把竞争推向一套更完整的系统机器人需要摄像头和雷达确认世界在哪里需要模拟器提前练习行动的后果也需要触觉和力反馈处理真正接触以后出现的意外。李飞飞并非直接从视觉转向触觉她的研究路线更像是在不断扩大「看见」的含义从识别一张图片到理解一个持续存在的空间再到知道自己伸手碰触以后世界会怎样回应。十五年前ImageNet 教会 AI 说出眼前是什么下一代世界模型需要解决的问题是当它真的伸出手以后世界会交还给它什么。原文链接李飞飞教机器人摸麻将挤牙膏AI终于有“手感”了-36氪
视觉负责回答「我要做什么」触觉负责不断修正「我现在做得对不对」2009 年李飞飞团队发布 ImageNet让人工智能第一次有机会通过海量图片认识这个世界。十五年后她在一次演讲中提出「空间智能」认为 AI 的下一步不只是识别一张图片里有什么而是理解物体在哪里、彼此如何关联以及人在其中采取行动后世界会发生什么变化。今年这条研究路线又往前走了一步。6 月李飞飞参与的一项机器人研究 T-Rex 发布研究者为机器人加入高频触觉反馈让它完成翻书页、拿鸡蛋、挤牙膏、抽取薄卡片和拧灯泡等任务。一位因计算机视觉闻名的科学家为什么开始反复谈论触觉、模拟器和机器人这并不意味着视觉已经过时。恰恰相反今天的具身智能厂商仍在给机器人安装更多摄像头、更精确的深度传感器和激光雷达。真正发生的变化是行业逐渐意识到「看」只是智能进入物理世界的第一步一张图片也只是世界留下的表面。AI可能根本没在看今年 3 月李飞飞参与的一项研究做了一个实验研究者向多模态模型提出视觉问题但故意没有真的把图片传进去。按理说模型应该回答「我没有看到图片无法判断」。但不少前沿模型依然开始一本正经地描述图像内容给出完整的分析过程甚至能在部分视觉问答测试中取得很高的分数。比如在一个胸肺 X 光问答基准里模型没有看过任何 X 光片成绩却依然排到了前列。研究者把这种现象称为「幻景推理」模型并不一定在根据视觉证据回答问题而可能是在利用问题里的文字线索和训练数据中的常见搭配猜测一张「通常会和这个问题同时出现的图片」应该长什么样。类似于大模型并不一定知道自己在说什么而是在推测「下一个最有可能出现的字」。题目问「图中车辆正在等待什么信号」即使没有图片人也可能根据常识猜出答案无非是红绿灯。模型吃过足够多的图片说明、诊断报告和问答数据以后也可能绕过真正的视觉观察直接从问题跳到答案。它说得非常像看见了不代表它真的看见了。在聊天窗口里只要答案听起来合理用户未必关心模型究竟是看图得出的还是靠语言猜中的。但进入物理世界以后二者的区别会立刻暴露出来。杯子究竟在桌子的左边还是右距离手臂还有十厘米还是二十厘米? 这些都不是可以靠语言常识蒙混过关的问题尤其是对于机器人而言差几厘米就会直接抓空。这也是为什么今天的机器人身上正在出现越来越复杂的感知系统。宇树 G1 使用深度相机和 3D 激光雷达一种负责判断物体远近一种负责建立周围空间的距离地图。智元灵犀 X2 除了 RGB-D 相机和激光雷达还使用前视双目、后视相机和触摸传感器从不同方向补充环境信息。这些配置看上去像是又一场针对传感器的军备竞赛但它们其实是在弥补视觉的不同盲区。头部摄像头适合观察整个房间但容易在机械臂靠近物体时被自己的手挡住激光雷达能够测量距离和建立地图却看不懂桌上的东西究竟是杯子还是苹果。对人来说转一下头、眯一下眼睛或者伸手试探是几乎不需要思考的动作。机器人却需要把来自不同摄像头、雷达和关节传感器的信息拼在一起才能确定自己面对的是同一个、持续存在的物理空间。所以具身智能首先遇到的问题并不是模型能不能认出一个杯子而是它能不能确认这样一个杯子真的在那里。大多数世界模型其实只是在画世界这两年「模型」成了 AI 行业最热门的词之一。视频生成模型可以根据一句提示词生成一台机器人走进客厅、拿起篮子、凑近玩具再把玩具放进篮子。这些画面中的光影、运动和镜头都可以非常自然观众很容易产生一种感觉既然模型能够生成这段过程它大概已经理解了环境和物体如何运作。但只是从视频来看杯子究竟有多重、柜门的铰链能承受多大的力、机械手碰到杯壁时会不会打滑都不是必须回答的问题只要下一帧看起来合理任务就完成了。实际上对机器人来说这些不足以在镜头中充分展示的细节恰恰决定了任务能不能成功。World Labs 今年把目前被统称为「世界模型」的技术拆成了三类。第一类是渲染器负责生成给人看的像素第二类是模拟器负责表示几何结构、物理属性和动态变化第三类是规划器根据目标决定机器人下一步应该做什么。这个分类维度恰恰说明了刚才我们提出的问题模型如果只是会画出一个世界不等于能够在里面干活。一辆车可以在生成视频里顺利穿过城市但镜头之外的街道是否持续存在建筑有没有稳定的三维结构车轮和地面之间是否真的存在摩擦模型未必知道。对于观众来说像真的已经够了对于机器人来说世界必须可以计算、可以碰撞也必须在它转过身以后继续存在。World Labs 推出的 Marble 已经可以从文字、图片或视频生成可探索的三维环境。除了供人观看的画面它还可以输出碰撞网格让物理引擎判断一个物体能不能穿过墙壁、落到地面后会停在哪里。英伟达的 Cosmos 则把世界生成、视频预测和机器人训练放在同一套 Physical AI 体系中希望用大量合成场景填补真实机器人数据不足的问题。这条路线听起来很宏大落到机器人公司的研发流程里其实非常朴素这就是先让机器人在虚拟世界里反复失败。只不过一台双足机器人学会走路不可能只靠工程师每天把真机推倒几千次。逐际动力的 TRON 1 支持 NVIDIA Isaac、MuJoCo 和 Gazebo 等仿真平台开发者可以先在虚拟环境里测试不同地面、坡度和碰撞情况。智元则发布了 AgiBot Digital World用仿真环境生成操作数据、训练模型并评估机器人策略。逐际动力支持的训练平台在现实中让机器人摔倒一次可能意味着零部件磨损、维修成本和安全风险在模拟器里同一个动作可以由成千上万个虚拟机器人同时尝试。桌子的高度、地面的摩擦系数、物体摆放的位置都可以不断变化机器人不必真的打碎一万只杯子才能学会怎样端稳一只杯子。不过模拟器也不是答案本身虚拟世界中的地面永远比真实地面干净模型设定的摩擦力也不可能覆盖每一种材料。机器人在模拟器里练得再熟进入工厂、商场和家庭以后依然会遇到没有被写进参数表的意外。这就是机器人行业一直面对的「仿真到现实差距」。World Labs 在 7 月 21 日收购 SceniX重要之处也正在这里。它不再只满足于生成一个可以观看和探索的三维空间而是开始把模拟出来的世界与真实机器人的行动反馈连接起来。触觉不只是另一双眼睛即使视觉和模拟已经足够成熟机器人真正碰到物体以后仍然会遇到一类摄像头很难独立解决的问题。拿起鸡蛋时机器人怎样知道手指已经用力过大抽出一张薄卡片时它怎样判断自己捏住的是卡片还是只碰到了桌面拧灯泡时它怎样感知螺纹已经卡住继续旋转可能会损坏物体摄像头可以看到手已经接近目标却很难及时判断接触面正在发生什么。触觉解决的不是「物体在哪里」而是「接触以后发生了什么」。压力是否增加物体是否开始滑动材料有没有变形抓握是否稳定这些信息都发生在视觉画面之下。Figure 今年发布的 Helix 02就把头部摄像头、手掌摄像头、指尖触觉和全身本体感知接入同一套控制系统。当头部摄像头被机械手遮挡时手掌里的摄像头继续提供近距离画面指尖传感器则可以感知低至 3 克的力让机器人从药盒中取出单颗药片、控制注射器推出精确剂量并在杂乱物体中分离出尺寸很小的目标。国内厂商也在快速补上这块感知能力像帕西尼这样的上游厂商则直接把触觉传感器、灵巧手、人形机器人、数据采集和多模态模型组成一条产品链希望把触觉从一个零部件问题变成机器人训练数据的一部分。图片来自帕西尼但给机器人装上传感器并不意味着它自然就会使用触觉很多被称为「常识」的能力并不是来自我们看过多少图片而是来自身体在漫长的接触中学会了让动作适应世界。李飞飞参与的 T-Rex 研究展示了这一步为什么困难。团队收集了 100 小时包含触觉信号的机器人操作数据让机器人完成翻书页、转移鸡蛋、擦盘子、挤牙膏、分离叠放的杯子、摸索麻将、开锁、抽取卡片和拧灯泡等任务。最终T-Rex 在 12 项任务中的平均成功率达到 65%比最强对照模型高出 30 个百分点。研究中一个很有意思的结果是直接把触觉数据塞进现有的视觉—语言—动作模型表现反而很差。原因并不难理解不同感官工作的速度并不相同视觉和语言适合做较慢的全局判断机器人需要先看清桌面理解人的指令再决定应该拿哪一个物体。但一只杯子开始从手指间滑落时它不会等待模型重新看图、分析和规划。触觉必须以更高频率持续工作在滑动刚刚发生的瞬间调整手指力度。T-Rex 因此让视觉和触觉按照不同速度运行。视觉负责回答「我要做什么」触觉负责不断修正「我现在做得对不对」。这不是给机器人增加了另一双眼睛而是给它增加了一条来自现实的即时反馈。过去几年的 AI 竞争主要围绕谁能造出一个更聪明的大脑。具身智能正在把竞争推向一套更完整的系统机器人需要摄像头和雷达确认世界在哪里需要模拟器提前练习行动的后果也需要触觉和力反馈处理真正接触以后出现的意外。李飞飞并非直接从视觉转向触觉她的研究路线更像是在不断扩大「看见」的含义从识别一张图片到理解一个持续存在的空间再到知道自己伸手碰触以后世界会怎样回应。十五年前ImageNet 教会 AI 说出眼前是什么下一代世界模型需要解决的问题是当它真的伸出手以后世界会交还给它什么。原文链接李飞飞教机器人摸麻将挤牙膏AI终于有“手感”了-36氪
