0718LLM在自动驾驶中的研究

乘车时遇到人大毕业的黄老师她们就是将llm模型用于无人驾驶人机协同因此增加了对这方面的关注。我还不会训练LLM模型也缺少资源先做一些记录。WCog-VLA自动驾驶大模型从“看见后反应”转向“预测多车未来后主动决策”[2607.08375] WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving7月9日提交的WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving试图解决当前端到端自动驾驶VLA模型缺少完整世界认知和未来推演能力的问题。模型通过语义认知和生成式世界模型两个层级实现主动驾驶。基础模型与训练数据WCog-VLA包含两层世界认知语义层引入三维空间感知和交通参与者token描述车辆、行人等主体的动态状态并使用Game-CoT进行博弈式链式推理。生成层使用 Aligned Decoupled Diffusion Transformer联合生成多个交通参与者的未来轨迹形成物理上较合理的多车演化预测。研究团队为此构建了约8.5万条Game-CoT标注用于训练车辆在交互场景中分析不同参与者意图及潜在行为。实验结果在NAVSIM基准上WCog-VLA取得92.9的PDMS得分论文报告其达到当时领先水平。创新性其核心变化是当前场景理解→多主体意图推理→未来世界生成→主动轨迹规划而不是只根据当前摄像头画面直接输出控制量。局限性Game-CoT推理是否真正反映因果认知仍需通过闭环安全测试验证。生成式未来可能看似合理但不符合真实动力学且NAVSIM得分不能替代极端场景、传感器故障和真实道路安全验证。PixelPilot自动驾驶VLA开始把二维视觉语言特征直接映射到可扩展驾驶动作PixelPilot: Scalable Vision-Language-Action Models for End-to-End Autonomous Driving7月6日发布的PixelPilot: Scalable Vision-Language-Action Models for Autonomous Driving关注自动驾驶VLA模型中的一个关键问题许多方法需要先构建高成本的三维场景表示再预测轨迹而PixelPilot试图从像素级视觉语言特征出发建立更具扩展性的动作生成框架。尽管当前公开检索信息尚未完整披露模型规模、训练数据和全部数值结果但该方向反映出自动驾驶大模型的一个明显趋势视觉基础模型→语言语义与场景理解→动作token或轨迹生成而不是把感知、预测、规划完全割裂。对工程研究的启发这种统一建模思路可用于检测装备输入视觉、点云、GPR或超声图谱语言条件检测任务、构件类型、规范要求动作输出移动、补扫、降低速度、调整探头或切换传感器。例如隧道巡检车可根据当前GPR图谱质量和视觉定位结果自动判断是否需要降低行驶速度增加测线重复采集调整天线离地高度联动超声或红外设备复检。这一方向可概括为“检测视觉语言动作模型Inspection-VLA”。科研大模型研究智能体正在覆盖“假设—实验—分析—迭代”全过程但可靠性仍是瓶颈https://arxiv.org/html/2510.09901v2?utm_sourcechatgpt.com综述Autonomous Agents for Scientific Discovery: Orchestrating AI Systems for Research系统总结了LLM科研智能体在假设生成、实验设计、实验执行、结果分析和迭代优化中的应用。其核心观点是科研大模型正在由单一问答和写作工具转向能够调用数据库、代码、仿真器和实验设备的智能体系统。典型科研智能体架构研究问题→文献与知识检索→假设生成→实验/仿真设计→工具执行→结果评价→下一轮实验工具层可以包括文献检索Python/MATLAB代码有限元与电磁仿真数据清洗和统计分析图表生成实验设备控制报告与论文草稿生成。适用于无损检测研究的落地方式不建议让大模型直接决定最终检测结论而应构建“受约束科研智能体”大模型生成候选假设如某GPR频带可能对含水更敏感智能体自动调用MATLAB或Python完成特征计算调用gprMax、有限元或波动仿真验证通过统计检验筛除无效结果将有效结果写入实验记录由研究人员确认后再形成论文结论。局限性目前科研智能体的主要风险包括引用或实验条件虚构将相关性错误解释为因果关系代码能运行但实验设计不合理只选择支持原假设的结果对负结果和不确定性处理不足重复实验可复现性差。因此评价科研智能体不能只看最终文本质量还需评价引用准确率实验可执行率代码运行成功率结果复现率统计分析正确率人工修订次数是否如实保留负结果。领域大模型的工程架构专业检测器、结构化证据与小模型协同更可行近期多项工业异常研究共同表明通用视觉语言模型直接分析原始检测图像通常对微小局部缺陷不够敏感。AD-Copilot通过参考图像与待测图像的交叉注意力比较、工业知识数据构建及多阶段训练在MMAD基准上取得82.3%准确率并在边界框定位测试中相对基线最高提升3.35倍。BTP的结果同样说明针对点云应优先使用三维专业编码器而不是先投影成二维图像。由此可归纳出更适合NDT的架构专业信号/图谱模型→结构化检测证据→RAG与领域小模型→报告和决策​基础模型与训练建议对于检测报告、专业问答和维修建议可选择7B以下开源语言模型作为基础模型通过以下组合实现领域适配继续预训练使用标准、教材、论文、设备手册及历史报告SFT或LoRA/QLoRA学习检测方案、图谱解释和报告格式RAG实时调用规范、设计资料、历史病例和维修规程工具智能体调用信号处理、尺寸计算、坐标转换和风险分级程序专业模型协同GPR、超声、红外、CT和点云分别使用独立编码器。训练样本不应只是“图片—病害名称”至少应包含{数据、位置、缺陷、特征、依据、尺寸、置信度、复检、处置}\评估指标领域大模型应同时评价专业问答正确率原始数据引用准确率病害类型、位置和尺寸一致率规范引用正确率幻觉率报告缺项率专家修改率维修建议可执行率。模型不能自行替代安全评定。其工程角色应是组织证据、检索规则和生成初步报告最终结论仍需专业检测结果、结构计算和责任工程师审核。自动报告生成1.5B专业小模型优于超大通用模型一项面向风机叶片检测的研究提出“Eyes–Bridge–Brain”解耦框架将缺陷定位、空间信息编码和维修报告生成分别交给专业模块完成。与让通用视觉语言模型直接看图生成结论相比这种架构更接近可落地的无损检测系统。基础模型与训练方式系统由三部分组成EyesYOLO26-x-obb对叶片缺陷进行旋转框定位Bridge无参数规则模块将检测框转换为空间网格坐标和结构化提示Brain4 bit量化的Qwen-2.5-1.5B采用QLoRA在947份合成维修报告上适配同时使用RAFT将维修建议与索引化维修规程绑定。这一架构没有要求语言模型直接识别原始图像而是让专业检测器提供可验证的缺陷证据再由小语言模型生成JSON结构化报告。评价指标与效果研究采用BLEU-4、ROUGE-L、幻觉率和LLM-as-a-Judge专家评分进行评价。完整系统取得BLEU-40.41幻觉率4%专家评分8.6/10零样本通用VLM基线对应结果为0.07、65%和3.3/10。在相同检测证据下QLoRA适配的1.5B模型报告质量高于一个671B通用API模型并可在单张T4级GPU上达到约47 tokens/s。创新性这项工作的关键结论是无损检测报告生成不一定需要更大的模型而需要更可靠的检测证据、更明确的结构化接口和更专业的训练语料。局限性训练报告主要由合成数据构成可能缺少真实现场中的模糊表述、证据冲突、漏检、设备异常和责任边界。BLEU和ROUGE也只能评价文本相似性不能完全反映工程判断是否正确。对无损检测领域大模型的启发建议采用“专业小模型协同”路线信号处理模型缺陷检测/分割模型物理规则校核小语言模型规范RAG训练数据可由历史报告结构化抽取与专家修订形成而不是全部依赖自动生成。评价指标应增加病害类型一致率位置和尺寸引用准确率检测依据完整率规范条文引用正确率维修建议可执行率幻觉率专家复核修改率。