一句话定位终身 VLN 不只换「房间」还要换「光照/雾/过曝」AlldayWalker 用四阶张量 TuKA 把知识拆成共享核 场景专家 环境专家再靠 DKIL 边学新边少忘旧。关键词任务 / 平台AML-VLN · Allday-Habitat · Lifelong VLN · StreamVLN方法AlldayWalker · TuKA · DKIL · LoRA指标SR · SPL · OSR · F-SR / F-SPL / F-OSR别和 EverWalker 搞混本篇是AlldayWalkerarXiv 2603.14276ICLR 2026。EverWalker 是同组另一篇 IEEE T-CSVT 论文机制不同。1. 背景概念术语白话VLN听指令、看相机、走到终点场景 Scene vs 环境 Environment场景≈哪套房子环境≈成像条件正常/弱光/过曝/散射雾AML-VLN场景×环境组合按序列持续学测时不给任务 IDLoRA冻结大模型只训小矩阵补丁Tucker 分解把高阶「数据砖」拆成一个小核 各边方向的因子矩阵可解耦StreamVLN底座Qwen2-7B CLIP 视觉动作 {前进 0.25m, 左转/右转 15°, STOP}生活类比你会「白天办公室」和「夜里客厅」——能力可拆成「办公室知识」「客厅知识」「白天知识」「夜里知识」再组合而不是给每个「白天办公室」单独背一整本互不相关的手册。2. 论文在干什么问题换一个场景或换一种光照微调旧场景成功率断崖Fig.2纯 LoRA / MoE-LoRA 仍主要是二维矩阵层级共享一块 若干任务块撑不住「场景 × 环境」多层结构。设定任务序列Ti(Se,Ee)T_i(S_e, E_e)Ti(Se,Ee)训练可见 task-id测试 agnostic新场景对与旧场景对不重叠基准Allday-Habitat——Habitat 上加 normal / low-light / overexposure / scattering24 任务5 仿真场景×4 环境 2 真机场景×环境顺序随机贡献作者三条形式化 AML-VLN 提出 TuKA高阶张量 PEFTAlldayWalker DKIL 解耦增量学习Allday-Habitat 基准 真机验证3. 核心创新点四阶 TuKAXG×1U1×2U2×3U3×4U4\mathcal{X}G\times_1 U^1\times_2 U^2\times_3 U^3\times_4 U^4XG×1U1×2U2×3U3×4U4GGG共享核心导航技能U1,U2U^1,U^2U1,U2共享 decoder / encoder对齐 LLM 矩阵维U3U^3U3行场景专家U4U^4U4行环境专家取第sss场景、第eee环境ΔWU1(G×3U3[s,:]×4U4[e,:])(U2)⊤\Delta W U^1(G\times_3 U^3[s,:]\times_4 U^4[e,:])(U^2)^\topΔWU1(G×3U3[s,:]×4U4[e,:])(U2)⊤DKIL共享子空间用 EWCFisher巩固当前专家可训、其它专家冻结见过的专家一致性约束新专家正交约束减少互相踩脚。推理专家检索训练时存 CLIP 场景/环境特征测试用当前观测余弦匹配选s,es,es,e不靠 task-id。四阶优于三阶把(M×N)(M\times N)(M×N)捆成一个专家轴会耦合场景/环境拆开更好Fig.8 / 消融。4. 方法细节4.1 损失任务tttLt−λ∑nlogpt(An∣I,Ot)LewcLcoLes L_t -\lambda\sum_n\log p_t(A_n\mid I,O_t)L_{ewc}L_{co}L_{es}Lt−λn∑logpt(An∣I,Ot)LewcLcoLesLewcL_{ewc}Lewc对{G,U1,U2}\{G,U^1,U^2\}{G,U1,U2}的 Fisher 加权位移惩罚式 4–6ω0.95\omega0.95ω0.95EMALcoL_{co}Lco若该场景/环境以前学过专家向量靠近旧快照式 7LesL_{es}Les对新场景/环境专家做行正交式 8超参示例λ1λ20.2, λ30.1\lambda_1\lambda_20.2,\ \lambda_30.1λ1λ20.2,λ30.1秩r1r28, r3r464r_1r_28,\ r_3r_464r1r28,r3r464M7,N4M7,N4M7,N44.2 退化成像平台散射大气模型、弱光增益/曝光/噪声CRF、过曝饱和 clip——把「全天」变成可训可测的视觉分布轴。5. 整体框架Mermaid观测 OCLIP 视觉特征指令 IStreamVLN / Qwen2-7B余弦检索选场景专家 U3 s选环境专家 U4 e共享 G U1 U2组成 ΔWFORWARD/TURN/STOP新任务 Ss,Ee继承共享 G/U1/U2EWC 巩固共享冻结其它专家只训 U3s U4e正交约束一致性若复用6. 实验与结论主结果Table 1–2AML-VLN 24 任务方法Avg SR↑Avg F-SR↓Seq-FT1187HydraLoRA3846BranchLoRA4436SD-LoRA5618AlldayWalker6511SPL / F-SPL / OSR / F-OSR 雷达亦优于对照Fig.7细表在附录 K。其它30 任务扩任务后旧任务 SR 基本稳住Table 4未见 G1–G6AlldayWalker Avg SR55%vs StreamVLN 35 / BranchLoRA 40 / SD-LoRA 39Table 5共享GGGU2U^2U2对性能关键共享U1U^1U1主要省存储Table 3局限专家数M,NM,NM,N需预设/扩展检索依赖 CLIP 特征可分性与 EverWalker本稿显式拆场景×环境张量EverWalker 用原型库超网络生成逐步 LoRA不强调成像退化轴要点总结AML-VLN 场景 × 环境终身学测时无 task-idTuKA 四阶 Tucker共享核/编解码 场景行 环境行 → 组成 ΔWDKIL EWC 共享 冻旧专家 一致性 正交主表Avg SR 65%、F-SR 11%未见均 SR 55%开放问题真机仅 normal/low-light 两环境散射/过曝是否只在仿真专家检索失败时的退化行为与 EverWalker 同设定直接数值对比论文未同表
一句话定位终身 VLN 不只换「房间」还要换「光照/雾/过曝」AlldayWalker 用四阶张量 TuKA 把知识拆成共享核 场景专家 环境专家再靠 DKIL 边学新边少忘旧。关键词任务 / 平台AML-VLN · Allday-Habitat · Lifelong VLN · StreamVLN方法AlldayWalker · TuKA · DKIL · LoRA指标SR · SPL · OSR · F-SR / F-SPL / F-OSR别和 EverWalker 搞混本篇是AlldayWalkerarXiv 2603.14276ICLR 2026。EverWalker 是同组另一篇 IEEE T-CSVT 论文机制不同。1. 背景概念术语白话VLN听指令、看相机、走到终点场景 Scene vs 环境 Environment场景≈哪套房子环境≈成像条件正常/弱光/过曝/散射雾AML-VLN场景×环境组合按序列持续学测时不给任务 IDLoRA冻结大模型只训小矩阵补丁Tucker 分解把高阶「数据砖」拆成一个小核 各边方向的因子矩阵可解耦StreamVLN底座Qwen2-7B CLIP 视觉动作 {前进 0.25m, 左转/右转 15°, STOP}生活类比你会「白天办公室」和「夜里客厅」——能力可拆成「办公室知识」「客厅知识」「白天知识」「夜里知识」再组合而不是给每个「白天办公室」单独背一整本互不相关的手册。2. 论文在干什么问题换一个场景或换一种光照微调旧场景成功率断崖Fig.2纯 LoRA / MoE-LoRA 仍主要是二维矩阵层级共享一块 若干任务块撑不住「场景 × 环境」多层结构。设定任务序列Ti(Se,Ee)T_i(S_e, E_e)Ti(Se,Ee)训练可见 task-id测试 agnostic新场景对与旧场景对不重叠基准Allday-Habitat——Habitat 上加 normal / low-light / overexposure / scattering24 任务5 仿真场景×4 环境 2 真机场景×环境顺序随机贡献作者三条形式化 AML-VLN 提出 TuKA高阶张量 PEFTAlldayWalker DKIL 解耦增量学习Allday-Habitat 基准 真机验证3. 核心创新点四阶 TuKAXG×1U1×2U2×3U3×4U4\mathcal{X}G\times_1 U^1\times_2 U^2\times_3 U^3\times_4 U^4XG×1U1×2U2×3U3×4U4GGG共享核心导航技能U1,U2U^1,U^2U1,U2共享 decoder / encoder对齐 LLM 矩阵维U3U^3U3行场景专家U4U^4U4行环境专家取第sss场景、第eee环境ΔWU1(G×3U3[s,:]×4U4[e,:])(U2)⊤\Delta W U^1(G\times_3 U^3[s,:]\times_4 U^4[e,:])(U^2)^\topΔWU1(G×3U3[s,:]×4U4[e,:])(U2)⊤DKIL共享子空间用 EWCFisher巩固当前专家可训、其它专家冻结见过的专家一致性约束新专家正交约束减少互相踩脚。推理专家检索训练时存 CLIP 场景/环境特征测试用当前观测余弦匹配选s,es,es,e不靠 task-id。四阶优于三阶把(M×N)(M\times N)(M×N)捆成一个专家轴会耦合场景/环境拆开更好Fig.8 / 消融。4. 方法细节4.1 损失任务tttLt−λ∑nlogpt(An∣I,Ot)LewcLcoLes L_t -\lambda\sum_n\log p_t(A_n\mid I,O_t)L_{ewc}L_{co}L_{es}Lt−λn∑logpt(An∣I,Ot)LewcLcoLesLewcL_{ewc}Lewc对{G,U1,U2}\{G,U^1,U^2\}{G,U1,U2}的 Fisher 加权位移惩罚式 4–6ω0.95\omega0.95ω0.95EMALcoL_{co}Lco若该场景/环境以前学过专家向量靠近旧快照式 7LesL_{es}Les对新场景/环境专家做行正交式 8超参示例λ1λ20.2, λ30.1\lambda_1\lambda_20.2,\ \lambda_30.1λ1λ20.2,λ30.1秩r1r28, r3r464r_1r_28,\ r_3r_464r1r28,r3r464M7,N4M7,N4M7,N44.2 退化成像平台散射大气模型、弱光增益/曝光/噪声CRF、过曝饱和 clip——把「全天」变成可训可测的视觉分布轴。5. 整体框架Mermaid观测 OCLIP 视觉特征指令 IStreamVLN / Qwen2-7B余弦检索选场景专家 U3 s选环境专家 U4 e共享 G U1 U2组成 ΔWFORWARD/TURN/STOP新任务 Ss,Ee继承共享 G/U1/U2EWC 巩固共享冻结其它专家只训 U3s U4e正交约束一致性若复用6. 实验与结论主结果Table 1–2AML-VLN 24 任务方法Avg SR↑Avg F-SR↓Seq-FT1187HydraLoRA3846BranchLoRA4436SD-LoRA5618AlldayWalker6511SPL / F-SPL / OSR / F-OSR 雷达亦优于对照Fig.7细表在附录 K。其它30 任务扩任务后旧任务 SR 基本稳住Table 4未见 G1–G6AlldayWalker Avg SR55%vs StreamVLN 35 / BranchLoRA 40 / SD-LoRA 39Table 5共享GGGU2U^2U2对性能关键共享U1U^1U1主要省存储Table 3局限专家数M,NM,NM,N需预设/扩展检索依赖 CLIP 特征可分性与 EverWalker本稿显式拆场景×环境张量EverWalker 用原型库超网络生成逐步 LoRA不强调成像退化轴要点总结AML-VLN 场景 × 环境终身学测时无 task-idTuKA 四阶 Tucker共享核/编解码 场景行 环境行 → 组成 ΔWDKIL EWC 共享 冻旧专家 一致性 正交主表Avg SR 65%、F-SR 11%未见均 SR 55%开放问题真机仅 normal/low-light 两环境散射/过曝是否只在仿真专家检索失败时的退化行为与 EverWalker 同设定直接数值对比论文未同表
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
