一句话定位允许机器人先完整逛一遍环境把点云整理成楼层–房间–物体的 Spatial Scene Graph任务时 MLLM 看「以自己为中心的俯视局部图 罗盘全景拼图 候选点附近物体」做零样本视觉语言导航。给新人的直觉经典 VLN 像第一次进迷宫只准看眼前SpatialNav 像扫地机器人先建一张带房间标签的平面关系图再听「去卧室」——看不见的房间靠图不靠猜。背景概念术语白话Zero-shot VLN不针对 VLN 数据集训专用策略主要靠 MLLM 推理Pre-exploration任务前允许充分探索偏离「纯在线局部」经典设定SSGSpatial Scene Graph带几何布局与语义标签的分层场景图Remote object localization问图若走到某个候选落点周围会有什么物体论文在干什么痛点零样本 VLN 只有局部观测 → 探索低效多卧室等同指令候选时无法消歧论文 Fig.1。做法假设预探索后有点云可用现成 SLAM自动/半自动做成 SSG楼层分割 → 房间分割 → GPT 房间分类 → SpatialLM 物体检测。SpatialNav三件套agent-centric ~7 m 俯视房间布局图八方向罗盘拼成一张图对每个候选导航点从 SSG 取邻域物体描述。评测R2R / REVERIE / R2R-CE / RxR-CE val-unseenSR 约 57.7% / 49.6% / 64.0% / 32.4%超以往零样本并逼近部分有监督学习。关键创新3 条设定把「家用预建图」写进零样本 VLN 问题定义。表示SSG 显式编码全局布局语义而不是只靠 prompt 历史。用法地图裁成 agent-centric 视觉罗盘对齐 远程物体专门解决「墙后面是什么」。局限仿真侧大量依赖 Matterport 类点云真机噪声由同系列SpatialAnt再补。大开放空间房间分割仍难论文对 20 m² 区域有人工核验。不替代局部避障控制器仍要 waypoint / 底层控制。分数与「禁止预探索」的经典 VLN 设定不可直接横比吹嘘。要点总结SSG ≈ 分层语义场景图不是纯占用栅格。预探索设定 工程友好≠ 经典 VLN 规则。
一句话定位允许机器人先完整逛一遍环境把点云整理成楼层–房间–物体的 Spatial Scene Graph任务时 MLLM 看「以自己为中心的俯视局部图 罗盘全景拼图 候选点附近物体」做零样本视觉语言导航。给新人的直觉经典 VLN 像第一次进迷宫只准看眼前SpatialNav 像扫地机器人先建一张带房间标签的平面关系图再听「去卧室」——看不见的房间靠图不靠猜。背景概念术语白话Zero-shot VLN不针对 VLN 数据集训专用策略主要靠 MLLM 推理Pre-exploration任务前允许充分探索偏离「纯在线局部」经典设定SSGSpatial Scene Graph带几何布局与语义标签的分层场景图Remote object localization问图若走到某个候选落点周围会有什么物体论文在干什么痛点零样本 VLN 只有局部观测 → 探索低效多卧室等同指令候选时无法消歧论文 Fig.1。做法假设预探索后有点云可用现成 SLAM自动/半自动做成 SSG楼层分割 → 房间分割 → GPT 房间分类 → SpatialLM 物体检测。SpatialNav三件套agent-centric ~7 m 俯视房间布局图八方向罗盘拼成一张图对每个候选导航点从 SSG 取邻域物体描述。评测R2R / REVERIE / R2R-CE / RxR-CE val-unseenSR 约 57.7% / 49.6% / 64.0% / 32.4%超以往零样本并逼近部分有监督学习。关键创新3 条设定把「家用预建图」写进零样本 VLN 问题定义。表示SSG 显式编码全局布局语义而不是只靠 prompt 历史。用法地图裁成 agent-centric 视觉罗盘对齐 远程物体专门解决「墙后面是什么」。局限仿真侧大量依赖 Matterport 类点云真机噪声由同系列SpatialAnt再补。大开放空间房间分割仍难论文对 20 m² 区域有人工核验。不替代局部避障控制器仍要 waypoint / 底层控制。分数与「禁止预探索」的经典 VLN 设定不可直接横比吹嘘。要点总结SSG ≈ 分层语义场景图不是纯占用栅格。预探索设定 工程友好≠ 经典 VLN 规则。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
