一句话定位用360° RGB 全景做 VLN-CE不是简单换输入而是配套更长动作序列 CGE 置信执行 分叉密集训练数据 PanoVGGT 几何残差融合4B 骨干在 R2R-CE / RxR-CE Val-Unseen 上 SR 达77.3% / 78.0%。本页概念卡任务/观测VLN · VLN-CE · ERP · R2R本文方法PanoVLN · CGE · 决策中心数据 · PanoVGGT · 空间对齐几何融合指标SR · SPL · NE · OS · nDTW对照JanusVLN · StreamVLN · DualVLN · VGGT · PVP · DAgger1. 背景概念Vision-and-Language NavigationVLN视觉语言导航听自然语言指令在环境里走到目标。白话像听导游说「出门右转进最远的房间」。VLN-CE连续环境版——不是在离散导航图上点节点而是执行forward/left/right/stop等可执行动作。透视 vs ERP 全景透视像挡风玻璃ERP 把 360° 摊成一张矩形图身后左右边界相接。为什么「换全景」不自动涨分视野变宽后决策变复杂、监督目标要更长、还要懂跨方向空间关系——论文三板斧分别打这三点。技术线端到端单体 生成式动作序列VLM 自回归出离散动作几何侧借鉴 VGGT 族的 PanoVGGT。2. 论文在干什么问题多数 VLM-VLN 用前视 RGB。全景理论上能一次看到身后/侧方通道少做「先转身探索」。但作者发现只把输入换成 ERP、训练与执行不变 → 收益很小甚至变差。设定任务R2R-CE / RxR-CEHabitat Matterport3D输入指令 当前/历史 ERPRGB-only无深度/里程计动作forward25 cmleft/right15°stop骨干Qwen3.5-4B 冻结 PanoVGGT预测 horizonH 18 H18H18贡献总览长动作序列监督 CGE决策中心数据98K / 800 HM3D空间对齐几何融合不增视觉 token3. 核心创新点长 horizon 适配全景透视最优约H 4 H4H4ERP 在H 18 H18H18明显更好——因为岔路与后续运动在全景里已经可见短目标会「还没教到选路就截断」。CGE预测长、执行短到有把握处用动作不确定性累计预算B BB选执行前缀消融全面优于固定 1/6/12/18 与随机长度。为「全景选路」造监督现成数据分支点稀疏 → 造分叉密集路线 可验证指令 转弯/停车过采样。语义 token 对齐几何不加 tokenPanoVGGT 特征按 ERP 区域对齐后残差融合α 0.2 \alpha0.2α0.2保留 token 预算。4. 方法细节4.1 基线透视 → 全景透视基线指令x xx 当前透视I t I_tIt 历史I t \mathcal{I}_{t}It→ 预测动作序列。全景基线换成P t , P t P_t,\mathcal{P}_{t}Pt,PtERP其余不变 →几乎不涨引出后续改造。4.2 长序列监督训练目标为下一步H HH个专家动作末尾 padstopteacher forcingL a c t − 1 H ∑ i 1 H log p θ ( a t , i ∗ ∣ O t , A t , i ∗ ) \mathcal{L}_{\mathrm{act}}-\frac{1}{H}\sum_{i1}^{H}\log p_\theta(a_{t,i}^* \mid \mathcal{O}_t, \mathbf{A}_{t,i}^*)Lact−H1i1∑Hlogpθ(at,i∗∣Ot,At,i∗)4.3 CGE不确定性u t , i − log q t , i ( a ^ t , i ) u_{t,i}-\log q_{t,i}(\hat a_{t,i})ut,i−logqt,i(a^t,i)累计U t ( k ) U_t(k)Ut(k)在预算B BB内尽量长且≥ E min \ge E_{\min}≥EminE t max { k ∈ { 1 , … , H } : k ≤ E min o r U t ( k ) ≤ B } E_t\max\{k\in\{1,\ldots,H\}: k\le E_{\min}\ \mathrm{or}\ U_t(k)\le B\}Etmax{k∈{1,…,H}:k≤EminorUt(k)≤B}默认B 1.2 B1.2B1.2E min 4 E_{\min}4Emin4。4.4 决策中心数据路线branching point ≥2 可见出路渲染质量过滤专家动作回放校验指令分段生成Qwen3.8-27B 运动/选择/停车三重校验采样stride-6 转弯 onset 近终点4.5 视觉 token 与几何融合当前全景N c N_cNctoken历史帧各N h N c N_hN_cNhNc最多M MM帧历史最近 100 步窗口内采样默认最多 10V ˉ t V t α f ψ ( G t ) \bar V_t V_t \alpha f_\psi(G_t)VˉtVtαfψ(Gt)几何编码器冻结4.6 提示格式推理系统要求返回恰好 18 个动作词未结束用stop填满。见附录 prompt。5. 整体框架Mermaid未 stop语言指令Qwen3.5-4B历史 ERP 粗 token当前 ERPVLM 视觉编码PanoVGGT 冻结空间对齐残差融合预测 H18 动作CGE 选执行前缀执行 forward/left/right/stopHM3D navmesh分叉密集路线Qwen 写指令三重校验转弯/停车过采样长序列模仿 可选 DAgger上图推理数据流下图决策中心数据管线。6. 实验与结论主结果Val-UnseenRGB-only 对照方法R2R-CE SRR2R SPLRxR-CE SRRxR SPLJanusVLN60.556.856.247.5DualVLN64.358.561.451.8AwareVLN65.455.167.656.1PanoVLN77.370.678.065.9相对先前 SOTASR11.9 / 8.7个百分点。仅用 R2RRxR†含 DAgger也已领先同组。关键消融点结论HorizonERP 偏好H 18 H18H18透视峰值约H 4 H4H4采样转弯/停车过采样SR 56.4→62.8几何无关设定执行CGE 优于一切固定/随机前缀几何PanoVGGT UniK3D / DA² / DAP / 无几何数据自建数据 ScaleVLN / rewrite再叠 DAgger 继续涨真机Unitree Go2 Insta360 X5Hallway / Office / Campus 各 20 条共享指令无场景微调效率Time 86.4 sSpeed 25.7 cm/sCalls7.4Pauses5.4显著少于 JanusVLN 逐步调用约 12 GB 显存同步执行网络开销 ~272 ms/call局限依赖全景传感器与 ERP 管线前视-only 机型不能直接套同步执行仍会停顿CGE 减请求但不能消灭通信延迟动作空间仍是固定步长离散原语非连续轨迹头与「地图 规划 避障」的传统分层导航栈没有直接的模块对应落地时需要额外的工程衔接7. 要点总结换全景不够要改监督长度、执行策略、数据分布、几何表征长学短做H 18 H18H18学选路CGE 管何时重看数据要「看得见岔路」分支密度 指令可验证几何对齐 ERP 区域、不加 tokenPanoVGGT 残差融合效率故事更少 policy calls → 更少暂停 → 更快到点8. 开放问题CGE 的B BB、E min E_{\min}Emin换机体步长/转弯角不同如何迁移历史用粗 token 固定预算长程指令进度靠什么保证对照 JanusVLN KV 记忆户外 Campus 成功是否依赖全景几何还是主要靠决策数据泛化HuggingFace 权重/训练代码完整度如何能否复现 † vs full参考论文arXiv 2609.34759PanoVLN: Towards Effective Panoramic Vision-and-Language Navigation项目主页PanoVLN
一句话定位用360° RGB 全景做 VLN-CE不是简单换输入而是配套更长动作序列 CGE 置信执行 分叉密集训练数据 PanoVGGT 几何残差融合4B 骨干在 R2R-CE / RxR-CE Val-Unseen 上 SR 达77.3% / 78.0%。本页概念卡任务/观测VLN · VLN-CE · ERP · R2R本文方法PanoVLN · CGE · 决策中心数据 · PanoVGGT · 空间对齐几何融合指标SR · SPL · NE · OS · nDTW对照JanusVLN · StreamVLN · DualVLN · VGGT · PVP · DAgger1. 背景概念Vision-and-Language NavigationVLN视觉语言导航听自然语言指令在环境里走到目标。白话像听导游说「出门右转进最远的房间」。VLN-CE连续环境版——不是在离散导航图上点节点而是执行forward/left/right/stop等可执行动作。透视 vs ERP 全景透视像挡风玻璃ERP 把 360° 摊成一张矩形图身后左右边界相接。为什么「换全景」不自动涨分视野变宽后决策变复杂、监督目标要更长、还要懂跨方向空间关系——论文三板斧分别打这三点。技术线端到端单体 生成式动作序列VLM 自回归出离散动作几何侧借鉴 VGGT 族的 PanoVGGT。2. 论文在干什么问题多数 VLM-VLN 用前视 RGB。全景理论上能一次看到身后/侧方通道少做「先转身探索」。但作者发现只把输入换成 ERP、训练与执行不变 → 收益很小甚至变差。设定任务R2R-CE / RxR-CEHabitat Matterport3D输入指令 当前/历史 ERPRGB-only无深度/里程计动作forward25 cmleft/right15°stop骨干Qwen3.5-4B 冻结 PanoVGGT预测 horizonH 18 H18H18贡献总览长动作序列监督 CGE决策中心数据98K / 800 HM3D空间对齐几何融合不增视觉 token3. 核心创新点长 horizon 适配全景透视最优约H 4 H4H4ERP 在H 18 H18H18明显更好——因为岔路与后续运动在全景里已经可见短目标会「还没教到选路就截断」。CGE预测长、执行短到有把握处用动作不确定性累计预算B BB选执行前缀消融全面优于固定 1/6/12/18 与随机长度。为「全景选路」造监督现成数据分支点稀疏 → 造分叉密集路线 可验证指令 转弯/停车过采样。语义 token 对齐几何不加 tokenPanoVGGT 特征按 ERP 区域对齐后残差融合α 0.2 \alpha0.2α0.2保留 token 预算。4. 方法细节4.1 基线透视 → 全景透视基线指令x xx 当前透视I t I_tIt 历史I t \mathcal{I}_{t}It→ 预测动作序列。全景基线换成P t , P t P_t,\mathcal{P}_{t}Pt,PtERP其余不变 →几乎不涨引出后续改造。4.2 长序列监督训练目标为下一步H HH个专家动作末尾 padstopteacher forcingL a c t − 1 H ∑ i 1 H log p θ ( a t , i ∗ ∣ O t , A t , i ∗ ) \mathcal{L}_{\mathrm{act}}-\frac{1}{H}\sum_{i1}^{H}\log p_\theta(a_{t,i}^* \mid \mathcal{O}_t, \mathbf{A}_{t,i}^*)Lact−H1i1∑Hlogpθ(at,i∗∣Ot,At,i∗)4.3 CGE不确定性u t , i − log q t , i ( a ^ t , i ) u_{t,i}-\log q_{t,i}(\hat a_{t,i})ut,i−logqt,i(a^t,i)累计U t ( k ) U_t(k)Ut(k)在预算B BB内尽量长且≥ E min \ge E_{\min}≥EminE t max { k ∈ { 1 , … , H } : k ≤ E min o r U t ( k ) ≤ B } E_t\max\{k\in\{1,\ldots,H\}: k\le E_{\min}\ \mathrm{or}\ U_t(k)\le B\}Etmax{k∈{1,…,H}:k≤EminorUt(k)≤B}默认B 1.2 B1.2B1.2E min 4 E_{\min}4Emin4。4.4 决策中心数据路线branching point ≥2 可见出路渲染质量过滤专家动作回放校验指令分段生成Qwen3.8-27B 运动/选择/停车三重校验采样stride-6 转弯 onset 近终点4.5 视觉 token 与几何融合当前全景N c N_cNctoken历史帧各N h N c N_hN_cNhNc最多M MM帧历史最近 100 步窗口内采样默认最多 10V ˉ t V t α f ψ ( G t ) \bar V_t V_t \alpha f_\psi(G_t)VˉtVtαfψ(Gt)几何编码器冻结4.6 提示格式推理系统要求返回恰好 18 个动作词未结束用stop填满。见附录 prompt。5. 整体框架Mermaid未 stop语言指令Qwen3.5-4B历史 ERP 粗 token当前 ERPVLM 视觉编码PanoVGGT 冻结空间对齐残差融合预测 H18 动作CGE 选执行前缀执行 forward/left/right/stopHM3D navmesh分叉密集路线Qwen 写指令三重校验转弯/停车过采样长序列模仿 可选 DAgger上图推理数据流下图决策中心数据管线。6. 实验与结论主结果Val-UnseenRGB-only 对照方法R2R-CE SRR2R SPLRxR-CE SRRxR SPLJanusVLN60.556.856.247.5DualVLN64.358.561.451.8AwareVLN65.455.167.656.1PanoVLN77.370.678.065.9相对先前 SOTASR11.9 / 8.7个百分点。仅用 R2RRxR†含 DAgger也已领先同组。关键消融点结论HorizonERP 偏好H 18 H18H18透视峰值约H 4 H4H4采样转弯/停车过采样SR 56.4→62.8几何无关设定执行CGE 优于一切固定/随机前缀几何PanoVGGT UniK3D / DA² / DAP / 无几何数据自建数据 ScaleVLN / rewrite再叠 DAgger 继续涨真机Unitree Go2 Insta360 X5Hallway / Office / Campus 各 20 条共享指令无场景微调效率Time 86.4 sSpeed 25.7 cm/sCalls7.4Pauses5.4显著少于 JanusVLN 逐步调用约 12 GB 显存同步执行网络开销 ~272 ms/call局限依赖全景传感器与 ERP 管线前视-only 机型不能直接套同步执行仍会停顿CGE 减请求但不能消灭通信延迟动作空间仍是固定步长离散原语非连续轨迹头与「地图 规划 避障」的传统分层导航栈没有直接的模块对应落地时需要额外的工程衔接7. 要点总结换全景不够要改监督长度、执行策略、数据分布、几何表征长学短做H 18 H18H18学选路CGE 管何时重看数据要「看得见岔路」分支密度 指令可验证几何对齐 ERP 区域、不加 tokenPanoVGGT 残差融合效率故事更少 policy calls → 更少暂停 → 更快到点8. 开放问题CGE 的B BB、E min E_{\min}Emin换机体步长/转弯角不同如何迁移历史用粗 token 固定预算长程指令进度靠什么保证对照 JanusVLN KV 记忆户外 Campus 成功是否依赖全景几何还是主要靠决策数据泛化HuggingFace 权重/训练代码完整度如何能否复现 † vs full参考论文arXiv 2609.34759PanoVLN: Towards Effective Panoramic Vision-and-Language Navigation项目主页PanoVLN
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
