「18ms实现感知规划一体化」目录01 整套架构三大核心原创设计1.1 双流混合TransformerMoT双向耦合世界与动作1.2 7阶伯恩斯坦多项式控制器原生友好轨迹表征1.3 三级深度金字塔双阶段训练策略1.4 流匹配联合损失函数02 仿真闭环实验高速、密集场景全面领先03 实机机载全流程验证3.1 机载硬件与流水线耗时3.2 室内零样本泛化测试3.3 户外林地实飞效果04 落地适用场景与未来拓展方向工程落地价值现有局限与后续研究方向05 总结当前杂乱环境无人机自主导航分为建图优化、端到端学习两条主流路线前者建图带来延迟与噪声问题高速密集场景避障滞后后者仅做即时反应缺少未来环境预判。现有世界动作模型WAM多适配机械臂难以在无人机嵌入式设备实时运行航空类同类方案也无法输出控制器适配的平滑轨迹。来自北京理工大学、上海交通大学、香港大学的联合团队通讯作者王刚推出FlowPilot针对性解决以上矛盾基于流匹配Flow Matching双流混合Transformer架构同步预测未来深度场景与可执行平滑轨迹采用7阶伯恩斯坦多项式压缩动作表征Jetson Orin NX机载端全套感知-规划流水线总耗时低于18ms室内、林地杂乱环境最高飞行速度达5.5m/s在仿真8m/s高速场景、实机复杂障碍场景成功率全面超越优化类、纯学习类基线。01 整套架构三大核心原创设计整套系统核心逻辑输入机载单目深度图、机体状态、上一段轨迹与目标速度双流Transformer共享注意力完成场景与动作协同去噪训练阶段同步监督未来深度预测、轨迹分布部署阶段仅输出轨迹、舍弃深度解码大幅削减机载计算开销。1.1 双流混合TransformerMoT双向耦合世界与动作网络拆分为视频专家、动作专家两条独立分支各自保留专属编码器、前馈网络仅通过联合视频-动作共享注意力互通信息两条流采用独立流匹配时间步长调控去噪进程视频专家基于冻结Wan VAE编码当前未来深度图像学习环境时序演化规律输出未来深度隐变量为轨迹生成提供障碍物预判先验动作专家编码机体位姿、速度指令、上一段轨迹输出伯恩斯坦多项式自由控制点隐变量图| 双流MoT网络架构图关键创新是双向信息流通动作分支生成轨迹时能读取预测的前方障碍物分布深度分支预测场景时同步参考无人机即将执行的飞行路径实现“看前路、算路径”互相约束区别于先预测画面再单独规划的分离式方案。落地层面做了轻量化取舍推理时无需解码完整未来深度图仅保留动作分支输出把世界模型的预测能力作为训练辅助监督不占用闭环控制算力。1.2 7阶伯恩斯坦多项式控制器原生友好轨迹表征传统方案直接回归离散航点存在致命缺陷航点仅约束位置求导后速度、加速度、加抖jerk剧烈震荡控制器跟踪难度极大必须额外加平滑模块增加延迟。图| FlowPilot 可生成具备多模态特性的平滑轨迹分布FlowP放弃独立航点采用8控制点7阶伯恩斯坦曲线表征1.6s规划时域完整轨迹公式简化解读轨迹为伯恩斯坦基函数 前3个控制点由无人机当前位置、速度、加速度硬约束锁定仅预测剩余5个自由控制点动作隐变量仅5×3共15维大幅压缩网络输出维度、缩短推理时长 速度、加速度、加加速度均可通过控制点闭式求导无需数值差分天然保证二阶连续平滑输出轨迹可直接送入100Hz MPC跟踪器无需后置平滑。另外流匹配生成多模态轨迹分布遇到障碍物存在左右绕行多条可行路径时模型会生成多条备选曲线不会像确定性回归直接取平均碰撞路线提升高速避障安全性。1.3 三级深度金字塔双阶段训练策略1分层数据集解决仿真与真机域 gap训练数据三层金字塔结构兼顾数据规模与真机传感器真实噪声底层16hIsaacLab高速并行仿真海量多样几何场景覆盖全部运动工况中层8hFlightmare高真实感仿真还原树木、建筑等真实纹理顶层2h实体无人机户外采集深度数据复刻机载相机噪声、测距截断等硬件特性。2两阶段分治训练先学环境再对齐动作图| FlowPilot 两阶段训练机制阶段1世界建模预训练屏蔽动作、速度、历史轨迹token仅用深度数据训练视频专家让模型先学会杂乱环境的视觉演化规律建立通用导航场景先验阶段2世界-动作对齐打开全部token共享注意力同步优化视频、动作双损失使用激光高精度SUPER规划器生成专家轨迹做监督让预判环境与轨迹生成互相对齐。额外引入历史轨迹软条件约束把上一轮规划轨迹作为输入token而非直接热启动去噪避免模型重复输出完全相同路径、丧失多模态绕行能力同时缓解连续规划之间轨迹跳变、控制器剧烈震荡的问题。1.4 流匹配联合损失函数采用线性插值流匹配作为双分支统一训练目标分别对深度隐变量、伯恩斯坦控制点隐变量计算速度场损失总损失权重平衡场景预测与轨迹生成的训练权重。两条流独立采样噪声等级覆盖“场景清晰但路径模糊、路径确定但未知前方环境”等全部推理工况一套网络同时具备世界模型与规划器双重能力。02 仿真闭环实验高速、密集场景全面领先仿真环境采用随机树木森林场景分稀疏、密集两类障碍物布局对比基线EGO-Planner优化类标杆、YOPO单阶段学习规划、FlowPilot无深度预测消融版。图| 不同障碍物疏密程度与飞行速度下的方案成功率对比核心指标解读1. 速度3~8m/s区间原版FlowPilot全程维持最高成功率障碍物越密集消融版、EGO-Planner、YOPO性能断崖下跌证明同步预判未来深度是高速避障核心增益图| PX4 仿真下启用 / 冻结未来深度分支的各项性能消融对比2. 消融实验冻结深度预测分支后碰撞率从4%暴涨至26%平均速度下降0.31m峰值速度降低0.53m/s。该指标真实含义仅靠当前画面的反应式规划容错率极低对前方障碍物的显式预判能大幅降低碰撞风险图| 未来深度预测推演效果图补充定性结果模型可完整推演未来1.6s视野内障碍物排布无人机提前减速绕行仅依靠当前观测的消融版本只能近距离才识别障碍急刹、急转弯动作大幅增多控制器跟踪压力显著上升。03 实机机载全流程验证3.1 机载硬件与流水线耗时硬件平台OddityRC 35Pro四旋翼Intel RealSense D455深度相机Jetson Orin NX 16GBPX4飞控搭配OMMPC 100Hz跟踪控制器。整套流水线时延拆分图| 机载感知 - 规划全流水线推理时延统计表深度预处理4.747ms、蒸馏深度编码器1.163ms、3步流去噪14.924ms总推理最大耗时17.055ms整体感知到轨迹输出稳定低于18ms完全满足高频率闭环控制硬性要求下游MPC跟踪仅增加2.384ms时延不存在规划延迟导致的失控风险。3.2 室内零样本泛化测试训练仅使用森林仿真数据直接在两类全新人工障碍室内环境试飞属于完全零样本迁移图| 实机无人机与室内杂乱测试场景宽松室内场景峰值3.8m/s障碍物极拥挤窄通道场景峰值3.1m/s证明模型不是记忆树木纹理而是学习通用障碍物规避逻辑对未知人造障碍具备泛化能力。3.3 户外林地实飞效果图| 丘陵林地室外真机自主飞行结果丘陵林地场景树干直径0.3~0.6m地形落差最大4m最长单次飞行100m开阔区域稳定5.5m/s高速穿行树木密集区域自动降速至4m全程无离线地图、无外部定位辅助仅依靠机载深度与机体状态完成自主导航是目前单深度视觉无地图方案的速度第一梯队。04 落地适用场景与未来拓展方向工程落地价值室内仓储、地下管廊无GPS高速巡检无人机无需提前构建场景地图开箱自主穿梭障碍物低矮林地、山区近距勘察仅搭载低成本深度相机轻量化机载计算降低整机硬件成本应急搜救小型敏捷无人机杂乱废墟内高速自主穿行无需地面站实时回传建图数据。现有局限与后续研究方向感知单一仅依靠单目深度融合激光、RGB多模态感知可补齐薄障碍物盲区规划时域短拓展长时序世界模型实现数百米远距离连续自主导航环境局限当前仅静态障碍物未验证行人、移动车辆等动态障碍避障拓展机型适配固定翼、垂直起降巡检飞行器拓宽适用平台。05 总结FlowPilot填补了机载实时世界动作模型在敏捷无人机高速导航领域的空白通过双流共享注意力完成环境预判与轨迹生成双向约束搭配伯恩斯坦多项式解决学习方案轨迹震荡痛点三级分层数据大幅缩小仿真与真机域偏差。整套方案轻量化、低延迟在仿真8m/s、实机5.5m/s杂乱环境实现稳定无地图自主飞行为单深度视觉低成本高速无人机导航提供一套完整可落地的学习规划一体化框架同时也证明世界动作模型无需在推理阶段解码完整视觉画面即可有效提升飞行器避障性能为后续机载世界模型研发提供全新轻量化思路。Ref论文标题FlowPilot: Real-Time World-Action Modeling for Agile UAV Navigation论文链接https://arxiv.org/pdf/2608.00635
「18ms实现感知规划一体化」目录01 整套架构三大核心原创设计1.1 双流混合TransformerMoT双向耦合世界与动作1.2 7阶伯恩斯坦多项式控制器原生友好轨迹表征1.3 三级深度金字塔双阶段训练策略1.4 流匹配联合损失函数02 仿真闭环实验高速、密集场景全面领先03 实机机载全流程验证3.1 机载硬件与流水线耗时3.2 室内零样本泛化测试3.3 户外林地实飞效果04 落地适用场景与未来拓展方向工程落地价值现有局限与后续研究方向05 总结当前杂乱环境无人机自主导航分为建图优化、端到端学习两条主流路线前者建图带来延迟与噪声问题高速密集场景避障滞后后者仅做即时反应缺少未来环境预判。现有世界动作模型WAM多适配机械臂难以在无人机嵌入式设备实时运行航空类同类方案也无法输出控制器适配的平滑轨迹。来自北京理工大学、上海交通大学、香港大学的联合团队通讯作者王刚推出FlowPilot针对性解决以上矛盾基于流匹配Flow Matching双流混合Transformer架构同步预测未来深度场景与可执行平滑轨迹采用7阶伯恩斯坦多项式压缩动作表征Jetson Orin NX机载端全套感知-规划流水线总耗时低于18ms室内、林地杂乱环境最高飞行速度达5.5m/s在仿真8m/s高速场景、实机复杂障碍场景成功率全面超越优化类、纯学习类基线。01 整套架构三大核心原创设计整套系统核心逻辑输入机载单目深度图、机体状态、上一段轨迹与目标速度双流Transformer共享注意力完成场景与动作协同去噪训练阶段同步监督未来深度预测、轨迹分布部署阶段仅输出轨迹、舍弃深度解码大幅削减机载计算开销。1.1 双流混合TransformerMoT双向耦合世界与动作网络拆分为视频专家、动作专家两条独立分支各自保留专属编码器、前馈网络仅通过联合视频-动作共享注意力互通信息两条流采用独立流匹配时间步长调控去噪进程视频专家基于冻结Wan VAE编码当前未来深度图像学习环境时序演化规律输出未来深度隐变量为轨迹生成提供障碍物预判先验动作专家编码机体位姿、速度指令、上一段轨迹输出伯恩斯坦多项式自由控制点隐变量图| 双流MoT网络架构图关键创新是双向信息流通动作分支生成轨迹时能读取预测的前方障碍物分布深度分支预测场景时同步参考无人机即将执行的飞行路径实现“看前路、算路径”互相约束区别于先预测画面再单独规划的分离式方案。落地层面做了轻量化取舍推理时无需解码完整未来深度图仅保留动作分支输出把世界模型的预测能力作为训练辅助监督不占用闭环控制算力。1.2 7阶伯恩斯坦多项式控制器原生友好轨迹表征传统方案直接回归离散航点存在致命缺陷航点仅约束位置求导后速度、加速度、加抖jerk剧烈震荡控制器跟踪难度极大必须额外加平滑模块增加延迟。图| FlowPilot 可生成具备多模态特性的平滑轨迹分布FlowP放弃独立航点采用8控制点7阶伯恩斯坦曲线表征1.6s规划时域完整轨迹公式简化解读轨迹为伯恩斯坦基函数 前3个控制点由无人机当前位置、速度、加速度硬约束锁定仅预测剩余5个自由控制点动作隐变量仅5×3共15维大幅压缩网络输出维度、缩短推理时长 速度、加速度、加加速度均可通过控制点闭式求导无需数值差分天然保证二阶连续平滑输出轨迹可直接送入100Hz MPC跟踪器无需后置平滑。另外流匹配生成多模态轨迹分布遇到障碍物存在左右绕行多条可行路径时模型会生成多条备选曲线不会像确定性回归直接取平均碰撞路线提升高速避障安全性。1.3 三级深度金字塔双阶段训练策略1分层数据集解决仿真与真机域 gap训练数据三层金字塔结构兼顾数据规模与真机传感器真实噪声底层16hIsaacLab高速并行仿真海量多样几何场景覆盖全部运动工况中层8hFlightmare高真实感仿真还原树木、建筑等真实纹理顶层2h实体无人机户外采集深度数据复刻机载相机噪声、测距截断等硬件特性。2两阶段分治训练先学环境再对齐动作图| FlowPilot 两阶段训练机制阶段1世界建模预训练屏蔽动作、速度、历史轨迹token仅用深度数据训练视频专家让模型先学会杂乱环境的视觉演化规律建立通用导航场景先验阶段2世界-动作对齐打开全部token共享注意力同步优化视频、动作双损失使用激光高精度SUPER规划器生成专家轨迹做监督让预判环境与轨迹生成互相对齐。额外引入历史轨迹软条件约束把上一轮规划轨迹作为输入token而非直接热启动去噪避免模型重复输出完全相同路径、丧失多模态绕行能力同时缓解连续规划之间轨迹跳变、控制器剧烈震荡的问题。1.4 流匹配联合损失函数采用线性插值流匹配作为双分支统一训练目标分别对深度隐变量、伯恩斯坦控制点隐变量计算速度场损失总损失权重平衡场景预测与轨迹生成的训练权重。两条流独立采样噪声等级覆盖“场景清晰但路径模糊、路径确定但未知前方环境”等全部推理工况一套网络同时具备世界模型与规划器双重能力。02 仿真闭环实验高速、密集场景全面领先仿真环境采用随机树木森林场景分稀疏、密集两类障碍物布局对比基线EGO-Planner优化类标杆、YOPO单阶段学习规划、FlowPilot无深度预测消融版。图| 不同障碍物疏密程度与飞行速度下的方案成功率对比核心指标解读1. 速度3~8m/s区间原版FlowPilot全程维持最高成功率障碍物越密集消融版、EGO-Planner、YOPO性能断崖下跌证明同步预判未来深度是高速避障核心增益图| PX4 仿真下启用 / 冻结未来深度分支的各项性能消融对比2. 消融实验冻结深度预测分支后碰撞率从4%暴涨至26%平均速度下降0.31m峰值速度降低0.53m/s。该指标真实含义仅靠当前画面的反应式规划容错率极低对前方障碍物的显式预判能大幅降低碰撞风险图| 未来深度预测推演效果图补充定性结果模型可完整推演未来1.6s视野内障碍物排布无人机提前减速绕行仅依靠当前观测的消融版本只能近距离才识别障碍急刹、急转弯动作大幅增多控制器跟踪压力显著上升。03 实机机载全流程验证3.1 机载硬件与流水线耗时硬件平台OddityRC 35Pro四旋翼Intel RealSense D455深度相机Jetson Orin NX 16GBPX4飞控搭配OMMPC 100Hz跟踪控制器。整套流水线时延拆分图| 机载感知 - 规划全流水线推理时延统计表深度预处理4.747ms、蒸馏深度编码器1.163ms、3步流去噪14.924ms总推理最大耗时17.055ms整体感知到轨迹输出稳定低于18ms完全满足高频率闭环控制硬性要求下游MPC跟踪仅增加2.384ms时延不存在规划延迟导致的失控风险。3.2 室内零样本泛化测试训练仅使用森林仿真数据直接在两类全新人工障碍室内环境试飞属于完全零样本迁移图| 实机无人机与室内杂乱测试场景宽松室内场景峰值3.8m/s障碍物极拥挤窄通道场景峰值3.1m/s证明模型不是记忆树木纹理而是学习通用障碍物规避逻辑对未知人造障碍具备泛化能力。3.3 户外林地实飞效果图| 丘陵林地室外真机自主飞行结果丘陵林地场景树干直径0.3~0.6m地形落差最大4m最长单次飞行100m开阔区域稳定5.5m/s高速穿行树木密集区域自动降速至4m全程无离线地图、无外部定位辅助仅依靠机载深度与机体状态完成自主导航是目前单深度视觉无地图方案的速度第一梯队。04 落地适用场景与未来拓展方向工程落地价值室内仓储、地下管廊无GPS高速巡检无人机无需提前构建场景地图开箱自主穿梭障碍物低矮林地、山区近距勘察仅搭载低成本深度相机轻量化机载计算降低整机硬件成本应急搜救小型敏捷无人机杂乱废墟内高速自主穿行无需地面站实时回传建图数据。现有局限与后续研究方向感知单一仅依靠单目深度融合激光、RGB多模态感知可补齐薄障碍物盲区规划时域短拓展长时序世界模型实现数百米远距离连续自主导航环境局限当前仅静态障碍物未验证行人、移动车辆等动态障碍避障拓展机型适配固定翼、垂直起降巡检飞行器拓宽适用平台。05 总结FlowPilot填补了机载实时世界动作模型在敏捷无人机高速导航领域的空白通过双流共享注意力完成环境预判与轨迹生成双向约束搭配伯恩斯坦多项式解决学习方案轨迹震荡痛点三级分层数据大幅缩小仿真与真机域偏差。整套方案轻量化、低延迟在仿真8m/s、实机5.5m/s杂乱环境实现稳定无地图自主飞行为单深度视觉低成本高速无人机导航提供一套完整可落地的学习规划一体化框架同时也证明世界动作模型无需在推理阶段解码完整视觉画面即可有效提升飞行器避障性能为后续机载世界模型研发提供全新轻量化思路。Ref论文标题FlowPilot: Real-Time World-Action Modeling for Agile UAV Navigation论文链接https://arxiv.org/pdf/2608.00635
