FutureX 要点总结小鹏关键图表说明Figure 1展示了 FutureX 的整体架构顶部直接从当前潜在状态规划传统方法底部通过思考模块决定是否需要进一步推理激活时进行 CoT 展开预测未来潜在状态Summarizer 模块基于此精炼轨迹一、相关工作 (Related Work)论文在第2节回顾了以下方向1. 端到端自动驾驶 (End-to-End Autonomous Driving)分为两类模仿学习 (Imitation Learning, IL)和强化学习 (Reinforcement Learning, RL)代表性方法LTFTransFuserDriveTransformerVAD (Vectorized scene representation)DiffusionDriveSparseDrive等2. 世界模型 (World Model)用于建模场景演化相关工作GAIAWorld4DriveEponaDriving into the Future等3. Chain-of-Thought (CoT) 推理在自动驾驶中的应用DriveLMDriveVLMEmma等局限性这些方法主要在文本域生成解释与实际的控制过程脱节二、核心思想 (Core Idea)1. 问题定义现有端到端系统仅基于当前场景进行单次前向预测在高度动态的交通环境中可能产生次优响应自车行为会改变未来场景需要推理未来场景演化2. 解决方案引入潜在 Chain-of-Thought 推理将 CoT 重新解释为状态演化和动作选择每个推理步骤对应潜在世界模型的前向展开随后进行内部策略评估建立推理思考与规划行动之间的可微分、可学习接口3. 工作流程当前场景 → Auto-think Switch → 判断是否需要推理 ↓ [需要] → Thinking 模式 → 潜在世界模型 CoT 展开 → 预测未来场景表示 ↓ Summarizer Network → 基于未来表示和初始计划预测偏移量 → 精炼运动计划 [不需要] → Instant 模式 → 直接前向生成运动计划核心组件Auto-think Switch评估当前场景的规划难度决定是否激活世界模型Thinking 模式潜在世界模型进行 CoT 引导的展开预测未来场景表示Summarizer Network基于未来表示和初始运动计划预测偏移量Instant 模式简单场景下直接前向生成运动计划三、创新点 (Contributions)1. 概念创新将 CoT 重新定义为潜在未来推理在可学习的世界模型-策略循环中进行显式状态演化和动作选择2. 方法创新提出FutureX首个 CoT 驱动的潜在世界模型Auto-Think Switch选择性激活推理在性能和效率之间取得平衡适合实时部署3. 实验验证在经典骨干网络LTF、TransFuser上达到 SOTA在仅相机和相机-激光雷达两种设置下均有效四、实验结论 (Experimental Results)1. 性能提升在NAVSIM基准测试中FutureX-Auto 相比基线方法显著提升方法模态PDMS 提升LTFCamera5.4TransFuserCamera-LiDAR6.22. 主要优势✅ 生成更合理的运动计划✅减少碰撞✅不牺牲效率通过 Auto-Think Switch 实现性能与效率的平衡3. 实验设置基准测试NAVSIM评估指标PDMS (Planning Domain Metric Score) 等支持模态相机和相机-激光雷达两种模态4. 整体结论FutureX 通过潜在 CoT 推理增强端到端规划器在复杂动态交通环境中表现更好方法具有通用性可应用于多种端到端自动驾驶架构论文信息标题FutureX: Enhance End-to-End Autonomous Driving via Latent Chain-of-Thought World ModelarXivhttps://arxiv.org/abs/2512.11226v1代码将发布作者Hongbin Lin, Yiming Yang, Yifan Zhang, Chaoda Zheng, 等
FutureX 要点总结小鹏关键图表说明Figure 1展示了 FutureX 的整体架构顶部直接从当前潜在状态规划传统方法底部通过思考模块决定是否需要进一步推理激活时进行 CoT 展开预测未来潜在状态Summarizer 模块基于此精炼轨迹一、相关工作 (Related Work)论文在第2节回顾了以下方向1. 端到端自动驾驶 (End-to-End Autonomous Driving)分为两类模仿学习 (Imitation Learning, IL)和强化学习 (Reinforcement Learning, RL)代表性方法LTFTransFuserDriveTransformerVAD (Vectorized scene representation)DiffusionDriveSparseDrive等2. 世界模型 (World Model)用于建模场景演化相关工作GAIAWorld4DriveEponaDriving into the Future等3. Chain-of-Thought (CoT) 推理在自动驾驶中的应用DriveLMDriveVLMEmma等局限性这些方法主要在文本域生成解释与实际的控制过程脱节二、核心思想 (Core Idea)1. 问题定义现有端到端系统仅基于当前场景进行单次前向预测在高度动态的交通环境中可能产生次优响应自车行为会改变未来场景需要推理未来场景演化2. 解决方案引入潜在 Chain-of-Thought 推理将 CoT 重新解释为状态演化和动作选择每个推理步骤对应潜在世界模型的前向展开随后进行内部策略评估建立推理思考与规划行动之间的可微分、可学习接口3. 工作流程当前场景 → Auto-think Switch → 判断是否需要推理 ↓ [需要] → Thinking 模式 → 潜在世界模型 CoT 展开 → 预测未来场景表示 ↓ Summarizer Network → 基于未来表示和初始计划预测偏移量 → 精炼运动计划 [不需要] → Instant 模式 → 直接前向生成运动计划核心组件Auto-think Switch评估当前场景的规划难度决定是否激活世界模型Thinking 模式潜在世界模型进行 CoT 引导的展开预测未来场景表示Summarizer Network基于未来表示和初始运动计划预测偏移量Instant 模式简单场景下直接前向生成运动计划三、创新点 (Contributions)1. 概念创新将 CoT 重新定义为潜在未来推理在可学习的世界模型-策略循环中进行显式状态演化和动作选择2. 方法创新提出FutureX首个 CoT 驱动的潜在世界模型Auto-Think Switch选择性激活推理在性能和效率之间取得平衡适合实时部署3. 实验验证在经典骨干网络LTF、TransFuser上达到 SOTA在仅相机和相机-激光雷达两种设置下均有效四、实验结论 (Experimental Results)1. 性能提升在NAVSIM基准测试中FutureX-Auto 相比基线方法显著提升方法模态PDMS 提升LTFCamera5.4TransFuserCamera-LiDAR6.22. 主要优势✅ 生成更合理的运动计划✅减少碰撞✅不牺牲效率通过 Auto-Think Switch 实现性能与效率的平衡3. 实验设置基准测试NAVSIM评估指标PDMS (Planning Domain Metric Score) 等支持模态相机和相机-激光雷达两种模态4. 整体结论FutureX 通过潜在 CoT 推理增强端到端规划器在复杂动态交通环境中表现更好方法具有通用性可应用于多种端到端自动驾驶架构论文信息标题FutureX: Enhance End-to-End Autonomous Driving via Latent Chain-of-Thought World ModelarXivhttps://arxiv.org/abs/2512.11226v1代码将发布作者Hongbin Lin, Yiming Yang, Yifan Zhang, Chaoda Zheng, 等
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
