113、语言指令导航：从自然语言到路径规划的端到端上周调试一个VLN模型时，我盯着终端里那个loss曲线整整两个小时没动弹——训练到第40个epoch，验证集上的成功率卡在31%死活上不去。换了个预训练权重，掉到28%。加了beam search，涨了0.5%。那一刻我突然意识到，语言指令导航这个任务，真正难的不是模型结构，而是你根本不知道模型到底“听懂”了指令里的哪个词。先说说这个任务到底在干什么。你给机器人一句话：“绕过茶几，走到电视柜左边，把红色杯子拿起来。”机器人需要理解这句话里的空间关系（茶几、电视柜、左边）、动作序列（绕过、走到、拿起）、以及目标物体（红色杯子）。然后它要在一个未知环境里，根据视觉观测，一步步规划出路径并执行。端到端的意思就是——不拆模块，直接输入指令和图像，输出动作。我第一次跑通这个pipeline的时候，天真地以为核心难点在视觉编码器上。结果发现，真正卡脖子的地方，是语言指令和视觉观测的对齐。你让模型看一张走廊尽头的图，指令说“走到第二个房间门口”，模型根本不知道“第二个”是从左数还是从右数，更不知道“门口”在图像里对应哪几个像素。这不是视觉的问题，这是语义对齐的问题。我踩过最大的坑，是把指令直接丢给一个预训练的语言模型，然后把最后一层hidden state拼到视觉特征上。看起来合理对吧？实际训练起来，模型很快就过拟合到指令里的高频词上——比如“直走”出现得多了，模型就学会一看到“直走”就输出前进动作，完全不管视觉输入是什么。这就像考试时你发现所有正确答案都是C，于是你不再读题了。后来我换成了cross-attention机制，让视觉特征和语言特征在每一层都交互。具体做法是，把指令tokenize之后，每个
113、语言指令导航：从自然语言到路径规划的端到端上周调试一个VLN模型时，我盯着终端里那个loss曲线整整两个小时没动弹——训练到第40个epoch，验证集上的成功率卡在31%死活上不去。换了个预训练权重，掉到28%。加了beam search，涨了0.5%。那一刻我突然意识到，语言指令导航这个任务，真正难的不是模型结构，而是你根本不知道模型到底“听懂”了指令里的哪个词。先说说这个任务到底在干什么。你给机器人一句话：“绕过茶几，走到电视柜左边，把红色杯子拿起来。”机器人需要理解这句话里的空间关系（茶几、电视柜、左边）、动作序列（绕过、走到、拿起）、以及目标物体（红色杯子）。然后它要在一个未知环境里，根据视觉观测，一步步规划出路径并执行。端到端的意思就是——不拆模块，直接输入指令和图像，输出动作。我第一次跑通这个pipeline的时候，天真地以为核心难点在视觉编码器上。结果发现，真正卡脖子的地方，是语言指令和视觉观测的对齐。你让模型看一张走廊尽头的图，指令说“走到第二个房间门口”，模型根本不知道“第二个”是从左数还是从右数，更不知道“门口”在图像里对应哪几个像素。这不是视觉的问题，这是语义对齐的问题。我踩过最大的坑，是把指令直接丢给一个预训练的语言模型，然后把最后一层hidden state拼到视觉特征上。看起来合理对吧？实际训练起来，模型很快就过拟合到指令里的高频词上——比如“直走”出现得多了，模型就学会一看到“直走”就输出前进动作，完全不管视觉输入是什么。这就像考试时你发现所有正确答案都是C，于是你不再读题了。后来我换成了cross-attention机制，让视觉特征和语言特征在每一层都交互。具体做法是，把指令tokenize之后，每个
