这两年做工业检测软件开发的朋友应该都有同感软件功能本身很久没有质变了。定位、测量、缺陷分类这些算子库越来越全可真正到了产线上调试一套检测流程依旧靠老师傅一点一点试参数、标缺陷、调阈值。我去年参与了一个模拟项目X前前后后改了十几版检测脚本每次换料型都要重新标定。那段时间我一直在琢磨能不能把这套繁琐的流程交给一个AI Agent去自主完成这篇文章就围绕工业检测软件怎么做AI Agent展开聊聊我从想法到落地全过程中的设计思路、架构拆解、模型选型、工具链搭建以及踩过的坑。内容面向两类人一是做视觉检测软件架构的工程师想给现有系统加一层智能决策能力二是刚接触大模型、想知道它除了对话还能在工业场景干什么的开发者。读完你至少能获得一个可复现的最小闭环方案以及一套判断Agent是否真正值得上产线的评估框架。1. 先把问题定义清楚工业检测Agent到底解决什么很多团队一上来就说我们要做个智能检测Agent结果做出来是个套了聊天皮的检测软件根本没人用。根子在于没想清楚Agent和传统检测系统的边界到底在哪。1.1 传统检测软件的三座大山传统工业检测软件的痛点归纳下来就三件事每一件都是真实产线上耗人精力的大头。第一是参数调试成本高。一个检测工位往往要处理几十个参数曝光时间、光源亮度、滤波核大小、二值化阈值、Blob面积范围、特征匹配分数……这些参数不是调一次就完事换一种物料、换一个批次可能就要重新适应。某3C电子厂的零件表面检测项目里工程师光是把划痕检测的阈值从0.75调到0.68就花了半天时间还得配合现场打光条件反复验证。第二是缺陷样本难沉淀。产线上的异常永远是长尾分布划痕、脏污、磕碰、毛刺、压伤、异色、缺料、溢胶……每个品类都有自己的个性缺陷。传统做法是人工截图、人工标注、定期训练模型但样本散落在各个工程师的电脑里缺少系统化的回流机制导致算法迭代速度永远赶不上新缺陷出现的速度。第三是检测逻辑是固化的。传统检测软件的流程写死了定位、ROI裁剪、算法处理、判定输出。这套链路对已知的已知很有效但对已知的未知和未知的未知完全无能为力。比如一个从来没见过的新缺陷类型或者一个因为来料角度偏了导致整个流程崩溃的情况传统软件要么报错停机要么直接误判没有中间态。这三座大山共同指向一个本质问题检测系统缺少理解和自适应的能力。它不知道自己在检什么、为什么这样检、检出来的结果意味着什么只是机械地执行算子序列。1.2 Agent能带来哪些质的改变AI Agent的核心能力放在工业检测语境里就是一句话让检测系统具备感知、决策、执行、记忆、反思的完整闭环。举一个具体场景。产线上突然出现一批表面有细微水渍痕迹的产品传统检测方案里没有水渍这个缺陷类别于是这批产品被判定为良品流出或者被当作脏污批量误杀。如果有Agent参与它的行为路径会是这样的感知视觉模型提取到一批特征向量与已知缺陷库比对后发现相似度低判定为疑似新缺陷决策调用大模型对该区域进行开放词汇描述结合产线湿度传感器数据推理出可能是水渍执行触发灰度增强 边缘梯度响应组合算法做二次确认同时异步通知质检员确认反思确认后把这个样本加入缺陷库并调整后续检测逻辑在下一次遇到类似水渍时自动识别。这个过程不是把一个大模型塞进检测软件就完事而是要在传统检测系统外面加一套智能操作系统让它调度已有的算法工具并在闭环中持续进化。这里有个重要认知Agent不是来替换传统检测算法的而是来做它们的调度者、编排者和解释者。传统算法是手Agent是大脑。手还是那双手但大脑知道什么时候该用哪只手、用完了怎么判断结果、结果是否需要返回去修正手的动作。2. 架构拆解检测Agent的关键模块与协作方式如果把工业检测Agent拆开看它并不是一个单独的服务而是一组模块的有机组合。我在模拟项目X里的整体架构分四层下面逐一拆解。2.1 感知层视觉特征提取与缺陷理解的边界感知层的职责是把图像变成信息它的核心不是深度学习模型本身而是模型的表达能力和组织方式。传统检测软件里的视觉输出是单一的一个面积值、一个灰度均值、一个匹配分数。Agent需要的是更丰富的结构化描述目标区域在哪、什么形状、表面纹理特征如何、颜色分布怎样、边缘梯度方向如何。因此感知层不只是跑一个分类网络而是同时跑多个特征提取器把结果组织成多模态特征向量。我用的方案是经典图像处理特征HOG、LBP、灰度共生矩阵 轻量化CNN特征 语义分割掩码三者融合成一条结构化的视觉观测帧。为什么要保留经典特征因为工业现场的图像噪声、光照变化对CNN很不友好而经典特征在某些场景下反而更稳定。Agent在推理时可以根据置信度决定信任哪种特征来源这是一种多模态冗余设计。感知层的另一个关键设计是异常检测前置。在进入Agent决策之前先用一个自编码器或者孤立森林模型做无监督异常检测将图像分为正常、疑似异常、未知异常三档。这相当于给Agent加了好感度门槛大部分产线图像是正常的不值得消耗大模型算力去推理只有异常或未知图像才会触发Agent的深度介入。2.2 决策层从规则引擎到大模型的推理链路决策层是Agent的中枢负责回答三个问题现在发生了什么应该怎么处理处理后怎么确认我给决策层的设计是规则优先 LLM兜底 反射修正三层结构。规则优先是指所有已知缺陷类型、已知处理逻辑都写成结构化规则直接走传统流程不经过大模型。这样保证检测的确定性和低延迟。LLM兜底是指当规则的置信度低于阈值或者输入数据特征无法匹配任何已知规则时将任务交给大模型做开放推理。反射修正则是在每一次决策后把实际结果与预期结果做对比形成一条反思记录用于后续规则优化。举个例子。规则库里有一条胶囊外观检测如果面积大于50像素且灰度低于80判定为黑点。当Agent遇到一个面积30像素但灰度低于40的小颗粒时规则给出不够黑点阈值放行但异常检测模块提示疑似异常。此时LLM介入结合小颗粒的位置恰好位于胶囊头部边缘推理出可能是压伤而非黑点并建议用边缘检测算法验证。验证结果确认是压伤反射机制记录下小面积低灰度位于边缘 压伤这条新经验。这种三层结构有个好处它不会让大模型成为系统的瓶颈也不会因为规则死板而漏掉新缺陷。本质上是把经验知识和机器智能做了分层管理。2.3 执行层工具调用与闭环控制执行层解决的问题是Agent做出决策之后命令怎么下达、动作怎么执行、结果怎么回收。工业检测软件的工具集通常是固定的图像采集、曝光控制、算法处理、PLC信号输出、数据库写入、告警推送。Agent要做的事情是为这些工具设计统一的功能接口让大模型可以通过函数调用的方式触发它们。我这里的做法是参考OpenAI Function Calling的思路给每个工具写一个JSON Schema描述包含工具名、入参、出参、功能说明、注意事项。大模型根据当前上下文决定调用哪个工具、传什么参数。关键点是这个工具描述必须写得足够笨人友好比如adjust_threshold这个工具Schema里不能只写调整阈值而要写清楚调整缺陷判定的灰度阈值范围0-255值越小越容易判缺陷默认建议70-90之间调整后需重新跑一遍检测确认误判率。执行层的闭环控制同样重要。一个检测动作执行完系统必须把结果回传给决策层决策层结合结果更新内部状态然后决定下一步动作。这本质上是一个状态机每步动作之后Agent的世界模型都在更新。我在实现上用了一个执行记录表每一步动作的时间、参数、结果、置信度都被记录下来既用于当前流程的控制也用于后续反思和复盘。2.4 记忆与反馈样本沉淀与模型迭代很多做Agent的人容易忽略记忆层但在工业场景里记忆才是Agent长期价值的核心。产线每天都在产生新数据如果Agent不能把经验存下来它就是个一次性对话工具没有任何积累价值。我的记忆层设计分两部分短期记忆和长期记忆。短期记忆是指当前检测会话内的上下文比如这一批产品的来料批次、当前缺陷率、最近10次检测判定结果长期记忆则是一个经验库存储历史样本、特征向量、判定结论、反思记录供后续同类场景直接命中。长期记忆的实现方式就是业界常说的RAG检索增强生成。每个缺陷样本被编码成特征向量存入向量数据库当新样本到来时Agent先从库中检索相似样本带着相似样本的表征做推理。这样一来Agent的判断不是凭空产生的而是有历史案例支撑的。模型迭代则是记忆层的上层应用当经验库里的同类样本累积到一定数量系统自动触发一次增量训练更新感知层的检测模型。闭环走完Agent的能力螺旋式上升。3. 关键设计模型选型与工具链搭建聊完架构说说落地的关键设计决策。这部分是真正决定项目成败的地方也是很多团队一开始就走偏的部分。3.1 大小模型协同的落地思路工业现场有一个天然约束GPU算力不充裕往往只有一台带基础显卡的工控机甚至有些老产线连GPU都没有。这意味着你不能指望在每台工控机上跑一个大模型。我的建议是大小模型协同、分层部署。轻量模型YOLO系列、MobileNet、自编码器跑在边缘工控机上负责实时检测和异常预筛中等模型10B以下的视觉语言模型跑在产线边缘的GPU服务器上负责需要一定理解能力的判定大模型70B级别以上放在工厂AI中心或云端负责复杂度高的推理、知识沉淀和规则生成。三级部署的算力代价递减但决策能力递增。这样做还有一个额外收益边缘端即使与中心断开网络也能保底完成基本的检测逻辑Agent的决策质量会降低但不会宕机。这在工业现场是硬需求产线停产一分钟都是经济损失。模型选型上我踩过一次坑一开始贪心选了70B大模型做全量推理效果确实好但延迟达到4秒根本扛不住产线节拍。后来把80%的常见缺陷判定下沉到规则和轻量模型大模型只处理剩余20%的疑难情况平均延迟一下降到300毫秒以内可接受的检测节拍才得以保障。3.2 工具集设计从被动调用到主动调度工具设计决定了Agent的能力边界。我最初只给Agent暴露了3个工具检测、调参、报警。结果它的能力非常受限面对复杂情况要么报错、要么答非所问。后来我把工具集扩充到11个才真正体现出Agent的调度价值。核心工具集合分为四类感知类工具图像采集、ROI标定、特征提取、异常打标分析类工具算法运行滤波/边缘/形态学、参数评估、批量回放控制类工具曝光/光源调节、阈值设定、PLC信号输出知识类工具经验库检索、相似样本匹配、缺陷描述生成每一类工具必须配合完整的Schema描述大模型才能正确地用错。这里有个细节工具名和描述要写成场景导向而非接口导向。同样是阈值调整Schema描述里写适用于灰度类缺陷的判定敏感度调整值越小灵敏度越高比写调整integer参数threshold好用十倍。大模型不理解工业术语但完全能理解人话描述。主动调度是指Agent能根据当前检测状态自动编排工具的执行顺序。比如它发现当前批次产品的表面纹理复杂导致边缘检测误判率偏高会自动决策先执行图像滤波增强再执行边缘检测并用形态学闭运算去除细小噪点最后再判定缺陷。传统检测流程的算子顺序是写死的Agent让这个顺序变成了动态可编排的这是我见过最明显的体验提升点。3.3 提示词与工作流编排要点提示词设计在工业检测场景里和其他领域有些不一样。工业场景的要求是稳定、可预期、结构化而不是有创意、发散、自然。所以提示词模板要做严格约束。我常用的系统提示词结构包括三部分角色定义你是谁、能力边界你能做什么、不能做什么、行为规范怎么思考、怎么调用工具、怎么报告结果。其中能力边界一定要写清楚不能做什么避免Agent跨权操作。比如不得修改检测流水线的PLC控制逻辑、不得直接删除经验库中的历史样本、当置信度低于0.6时必须人工介入。这些约束能在很大程度上减少危险动作。工作流编排上我建议画一条主状态链路图像接入 → 异常预筛 → 规则判定 → LLM决策 → 工具执行 → 结果确认 → 经验回流。每一步都有明确的出口条件不满足则触发回退或告警。这套链路要落到代码里不能靠大模型自由发挥不然产线稳定性会出大问题。我的经验是Agent自主性要给但要有栅栏。给它在一个大的SOP框架内自主编排而不是让它无约束地全权接管。工业场景容错率极低任何Agent厂房降本增效宣传背后都是无数次擦边球测试换来的平衡。4. 实操从0到1做一个检测Agent的最小闭环理论讲完上一套能跑起来的实操方案。这个最小闭环大概需要一周左右的开发时间就能在一个模拟检测数据集上验证Agent的基本能力。4.1 环境准备与基础能力接入我的建议是用Python生态PyTorch做模型部分vLLM或Ollama做大模型推理FAISS做向量检索FastAPI做服务框架。工控机与中心之间用消息队列通信这样Agent架构可以随时拆解、重部署。第一步先把传统检测管线的接口封装好给每个算子一个明确的输入输出JSON格式。这一步是Agent能不能握住检测系统的手的关键接口封装得越薄越好让Agent不直接接触底层相机SDK和PLC协议。我会把图像采集封装成一个take_photo()把算法运行封装成run_algorithm(name, params)把结果输出封装成send_result(verdict, confidence)。Agent看到的就是这三个函数至于里面是调用哪家相机、哪家PLC它不需要知道。基础能力接入的第二件事是搭一个向量数据库把项目里历史积累的缺陷样本图、特征向量、判定结论全部灌进去。这一步必须做否则Agent的检索式推理就是空谈。样本不用太多几百张有代表性的就够了关键是每张样本都要有标签和结构化描述。4.2 构建检测任务的数据Schema与状态机Agent要理解检测任务需要先把任务本身的语法定义清楚。我用一个数据Schema来描述当前检测任务{ task_id: batch_20240618_01, material: steel_surface_grade_a, inspection_points: [scratch, rust, pitting, stain], current_image: path/to/image_0231.jpg, detection_result: null, confidence: null, status: pending, history: [] }每个字段都在告诉Agent我在检什么、当前看到什么、已经做了什么。Agent每完成一步就更新这个Schema并且把操作记录放到history里。状态机是另一个关键组件。我把一个完整的检测流程划分为5个状态INIT初始化、SCAN扫描待检、JUDGE判定中、ACT执行中、REVIEW复核中。状态转移不允许跳过比如从SCAN直接跳到REVIEW是不合法的Agent必须经过JUDGE并产生置信度结果才能进入REVIEW。这个设计有效防止了大模型跳步带来的混乱。4.3 让Agent学会调用检测工具接下来是核心一步让大模型学会通过Function Calling调用我们封装的检测工具。以几个核心工具为例{ name: run_algorithm, description: 运行指定的图像处理算法用于对当前图像进行特征增强或检测。, parameters: { type: object, properties: { algorithm_name: { type: string, enum: [median_blur, canny_edge, threshold, contour_extract, morphology_close], description: 要运行的算法名称 }, params: { type: object, description: 算法的参数键值对具体参数取决于算法名称 } }, required: [algorithm_name] } }这个Schema是给大模型看的所以描述信息要尽可能细化。比如algorithm_name里枚举的每个算法最好在描述里给出典型使用场景和推荐参数范围。大模型读到这个Schema后才知道什么时候该用Canny、什么情况该做形态学闭运算而不是乱猜。做好Schema后我用一个模拟对话验证Agent的工具调用逻辑给它一张表面有细微裂纹的图片问它该怎么做。如果模型正确输出调用median_blur和canny_edge的组合再配合contour_extract做轮廓提取说明工具链打通了。4.4 从单步执行到多步自主排障工具调用跑通后要进一步提升Agent的自主性让它不仅能执行单步动作还能根据执行结果动态调整策略。这一步我给Agent接入了一个反思循环。结构上我用了一个简单的Agent循环观测拿到当前图像和状态→ 推理大模型根据观测生成下一步计划→ 执行调用工具→ 反思比较执行结果与预期决定是否继续或终止。我设计了一个模拟排障场景来测试它一张钢材表面图像初始用固定阈值分割缺陷结果把正常纹理误报成划痕。Agent的反思机制应该让它意识到阈值分割在这种光照条件下不可靠然后自主切换到边缘特征 纹理分析的检测路径。如果系统设计合理它会在2到3轮内找到更优的检测配置而不是死磕一个参数。多步自主排障的关键点在于反馈信号的获取。工业检测里反馈信号可以是缺陷检测的准确率、检测时间消耗、误报数量等。Agent每尝试一种新配置都要能拿到这些反馈才能判断自己做得好不好。我把这个反馈设计成了一个回调函数每轮循环结束时返回当前配置下的检测质量评分把评分注入提示词上下文供大模型参考。4.5 用一套量化指标判断Agent是否合格Agent做完不能只靠看起来聪明来验收必须有一组量化指标。我用的指标体系围绕三个维度检测能力准确率Accuracy、误报率FPR、漏报率FNR对比传统检测基线决策质量工具调用成功率、多步决策完成率、反射修正命中率工程性能单次检测Latency、Agent调用LLM的Token消耗、占用的显存/内存我认为最关键且最容易被忽视的是决策质量里的反射修正命中率。这个指标反映了Agent是否真的在学习它在反思中提出修正方案的次数里有多少次真的改善了检测结果。我见到的初版Agent这个指标普遍很低大概20%到30%说明它大多数反思是无效空转。经过提示词优化和工具描述优化后能提升到60%以上这时候Agent才是有实践价值的。另外一定要做A/B对比测试同一批测试样本分别用传统检测流程和Agent强化流程跑对比误判率和处理时间。不要只看准确率因为Agent有时会用更多步骤获得同样准确的结果如果没有效率收益产线是不愿意为复杂度买单的。5. 落地踩坑记录与排查速查表最后聊聊实操中真正踩过的坑以及对应的排查思路。这些内容比架构设计更值得看因为都是代码和产线上真实发生的问题。5.1 典型故障一Agent幻觉导致误检Agent用久了一定会遇到幻觉问题在工业检测里非常危险。我遇到的一个真实案例某新能源电池模组的表面检测任务里Agent在处理一张图像时因为检索到了经验库中一个相似度高达0.87但实际是不同缺陷类型的样本直接把它当成判定依据输出了此缺陷为极耳受损需停机的错误结论。其实那个图像只是一个轻微折痕按产线标准可以放行。排查思路分两步。第一步检查相似度阈值是否设置得过高检索到的样本是否真的足够相似第二步在提示词里强调相似样本仅作参考必须结合当前图像的独立特征做最终判断并在输出格式上要求Agent标明参考样本ID和独立判断依据这样即使出错也可追溯。从根本上解决幻觉要靠置信度门槛 人工确认机制。我设定AI每一判断都必须携带置信度低于0.7的判定结果自动转向人工复核。这个机制会牺牲一部分效率但产线上的安全价值远远高过效率。5.2 典型故障二工控现场算力不足很多产线的工控机配置很老我遇到过一台只有8GB内存、无独立显卡的工控机连轻量级YOLO模型都跑不顺更别提Agent了。一开始硬往里塞大模型结果图像采集线程和推理线程互相抢资源整个检测工位卡死。解决方案是分层降级 异步化。图像采集和实时预筛跑在工控机主线程Agent推理全部放到边缘GPU服务器通过局域网把预筛后的疑似异常帧送过去推理结果回传。工控机本地再加一级缓存队列防止断网时数据丢失。异步化的关键是把实时链路和智能链路彻底分开。实时链路保证产线节拍不中断智能链路负责疑难帧的深度分析两者通过消息队列解耦。只要实时链路正常Agent哪怕挂了产线也只是降级到基础检测模式不会停机。5.3 典型故障三数据漂移带来的Agent退化Agent上线时效果很好用了两三个月后准确率肉眼可见地下降。排查后发现原因很常见产线换了新供应商的原材料表面纹理和原先差异很大但Agent的经验库没有更新检索匹配一直命中旧的相似样本导致误判率上升。数据漂移是工业AI的老大难Agent场景下更突出因为Agent依赖检索和经验库一旦库里的样本分布跟不上现实分布决策质量就会出问题。我的对策是设计一个分布漂移监控器定期对近期检测图像的特征分布和建库时的基底分布做距离计算比如Wasserstein距离一旦超过阈值自动触发主动学习流程把分布外的图像挑出来发起标注任务人工确认后回流到经验库。另一个更简单的对策是样本保鲜期给经验库里的每个样本打上入库时间和最后命中时间定期清理超过保质期且长期未命中的样本防止脏数据长期占据检索空间。5.4 排查速查表现象可能原因排查顺序与措施Agent频繁误判已知缺陷规则库优先级被大模型覆盖检查决策层规则置信度阈值确认规则优先逻辑是否生效Agent判定置信度普遍偏低提示词缺乏领域约束、工具描述不清晰重构工具Schema描述补充典型参数范围和禁忌场景图像处理延迟超过产线节拍大模型推理链路过长、算力不足启用分层降级划分实时链路与智能链路异步处理Agent反复调用相同工具不收敛反思循环缺少终止条件检查循环出口条件增加结果改善量低于阈值即终止逻辑检索命中样本但判定错误向量相似度阈值偏低、语义不匹配提高相似度阈值在提示词中要求结合当前图像独立特征判断新批次产品误报率飙升数据分布漂移经验库未更新触发主动学习流程补充新样本重建部分索引最后说点真实的感受做完这个项目后我最大的体会是AI Agent在工业检测里绝不是灵丹妙药它更像一个极其聪明的学徒——学得快、懂得多、反应灵活但仍然需要师傅给定框架、划好边界否则会用自己的聪明闯祸。真正让它发挥价值的关键不是大模型选得多强而是感知数据的结构化程度和反馈闭环的完整性。数据结构化做不好Agent就是无源之水反馈闭环断了Agent就只是个会聊天的空壳。最后分享一个小技巧给Agent的每一个决策动作加一行日志记录当时看到了什么、为什么这样判断、最后结果如何。这个日志成本极低但排障时的价值无可估量。产线现场的人不会因为你的模型准确率高就信任你但会因为你能够在出现问题后30分钟内定位到责任环节而信任你。做工业软件赢得信任比赢得性能更重要。
这两年做工业检测软件开发的朋友应该都有同感软件功能本身很久没有质变了。定位、测量、缺陷分类这些算子库越来越全可真正到了产线上调试一套检测流程依旧靠老师傅一点一点试参数、标缺陷、调阈值。我去年参与了一个模拟项目X前前后后改了十几版检测脚本每次换料型都要重新标定。那段时间我一直在琢磨能不能把这套繁琐的流程交给一个AI Agent去自主完成这篇文章就围绕工业检测软件怎么做AI Agent展开聊聊我从想法到落地全过程中的设计思路、架构拆解、模型选型、工具链搭建以及踩过的坑。内容面向两类人一是做视觉检测软件架构的工程师想给现有系统加一层智能决策能力二是刚接触大模型、想知道它除了对话还能在工业场景干什么的开发者。读完你至少能获得一个可复现的最小闭环方案以及一套判断Agent是否真正值得上产线的评估框架。1. 先把问题定义清楚工业检测Agent到底解决什么很多团队一上来就说我们要做个智能检测Agent结果做出来是个套了聊天皮的检测软件根本没人用。根子在于没想清楚Agent和传统检测系统的边界到底在哪。1.1 传统检测软件的三座大山传统工业检测软件的痛点归纳下来就三件事每一件都是真实产线上耗人精力的大头。第一是参数调试成本高。一个检测工位往往要处理几十个参数曝光时间、光源亮度、滤波核大小、二值化阈值、Blob面积范围、特征匹配分数……这些参数不是调一次就完事换一种物料、换一个批次可能就要重新适应。某3C电子厂的零件表面检测项目里工程师光是把划痕检测的阈值从0.75调到0.68就花了半天时间还得配合现场打光条件反复验证。第二是缺陷样本难沉淀。产线上的异常永远是长尾分布划痕、脏污、磕碰、毛刺、压伤、异色、缺料、溢胶……每个品类都有自己的个性缺陷。传统做法是人工截图、人工标注、定期训练模型但样本散落在各个工程师的电脑里缺少系统化的回流机制导致算法迭代速度永远赶不上新缺陷出现的速度。第三是检测逻辑是固化的。传统检测软件的流程写死了定位、ROI裁剪、算法处理、判定输出。这套链路对已知的已知很有效但对已知的未知和未知的未知完全无能为力。比如一个从来没见过的新缺陷类型或者一个因为来料角度偏了导致整个流程崩溃的情况传统软件要么报错停机要么直接误判没有中间态。这三座大山共同指向一个本质问题检测系统缺少理解和自适应的能力。它不知道自己在检什么、为什么这样检、检出来的结果意味着什么只是机械地执行算子序列。1.2 Agent能带来哪些质的改变AI Agent的核心能力放在工业检测语境里就是一句话让检测系统具备感知、决策、执行、记忆、反思的完整闭环。举一个具体场景。产线上突然出现一批表面有细微水渍痕迹的产品传统检测方案里没有水渍这个缺陷类别于是这批产品被判定为良品流出或者被当作脏污批量误杀。如果有Agent参与它的行为路径会是这样的感知视觉模型提取到一批特征向量与已知缺陷库比对后发现相似度低判定为疑似新缺陷决策调用大模型对该区域进行开放词汇描述结合产线湿度传感器数据推理出可能是水渍执行触发灰度增强 边缘梯度响应组合算法做二次确认同时异步通知质检员确认反思确认后把这个样本加入缺陷库并调整后续检测逻辑在下一次遇到类似水渍时自动识别。这个过程不是把一个大模型塞进检测软件就完事而是要在传统检测系统外面加一套智能操作系统让它调度已有的算法工具并在闭环中持续进化。这里有个重要认知Agent不是来替换传统检测算法的而是来做它们的调度者、编排者和解释者。传统算法是手Agent是大脑。手还是那双手但大脑知道什么时候该用哪只手、用完了怎么判断结果、结果是否需要返回去修正手的动作。2. 架构拆解检测Agent的关键模块与协作方式如果把工业检测Agent拆开看它并不是一个单独的服务而是一组模块的有机组合。我在模拟项目X里的整体架构分四层下面逐一拆解。2.1 感知层视觉特征提取与缺陷理解的边界感知层的职责是把图像变成信息它的核心不是深度学习模型本身而是模型的表达能力和组织方式。传统检测软件里的视觉输出是单一的一个面积值、一个灰度均值、一个匹配分数。Agent需要的是更丰富的结构化描述目标区域在哪、什么形状、表面纹理特征如何、颜色分布怎样、边缘梯度方向如何。因此感知层不只是跑一个分类网络而是同时跑多个特征提取器把结果组织成多模态特征向量。我用的方案是经典图像处理特征HOG、LBP、灰度共生矩阵 轻量化CNN特征 语义分割掩码三者融合成一条结构化的视觉观测帧。为什么要保留经典特征因为工业现场的图像噪声、光照变化对CNN很不友好而经典特征在某些场景下反而更稳定。Agent在推理时可以根据置信度决定信任哪种特征来源这是一种多模态冗余设计。感知层的另一个关键设计是异常检测前置。在进入Agent决策之前先用一个自编码器或者孤立森林模型做无监督异常检测将图像分为正常、疑似异常、未知异常三档。这相当于给Agent加了好感度门槛大部分产线图像是正常的不值得消耗大模型算力去推理只有异常或未知图像才会触发Agent的深度介入。2.2 决策层从规则引擎到大模型的推理链路决策层是Agent的中枢负责回答三个问题现在发生了什么应该怎么处理处理后怎么确认我给决策层的设计是规则优先 LLM兜底 反射修正三层结构。规则优先是指所有已知缺陷类型、已知处理逻辑都写成结构化规则直接走传统流程不经过大模型。这样保证检测的确定性和低延迟。LLM兜底是指当规则的置信度低于阈值或者输入数据特征无法匹配任何已知规则时将任务交给大模型做开放推理。反射修正则是在每一次决策后把实际结果与预期结果做对比形成一条反思记录用于后续规则优化。举个例子。规则库里有一条胶囊外观检测如果面积大于50像素且灰度低于80判定为黑点。当Agent遇到一个面积30像素但灰度低于40的小颗粒时规则给出不够黑点阈值放行但异常检测模块提示疑似异常。此时LLM介入结合小颗粒的位置恰好位于胶囊头部边缘推理出可能是压伤而非黑点并建议用边缘检测算法验证。验证结果确认是压伤反射机制记录下小面积低灰度位于边缘 压伤这条新经验。这种三层结构有个好处它不会让大模型成为系统的瓶颈也不会因为规则死板而漏掉新缺陷。本质上是把经验知识和机器智能做了分层管理。2.3 执行层工具调用与闭环控制执行层解决的问题是Agent做出决策之后命令怎么下达、动作怎么执行、结果怎么回收。工业检测软件的工具集通常是固定的图像采集、曝光控制、算法处理、PLC信号输出、数据库写入、告警推送。Agent要做的事情是为这些工具设计统一的功能接口让大模型可以通过函数调用的方式触发它们。我这里的做法是参考OpenAI Function Calling的思路给每个工具写一个JSON Schema描述包含工具名、入参、出参、功能说明、注意事项。大模型根据当前上下文决定调用哪个工具、传什么参数。关键点是这个工具描述必须写得足够笨人友好比如adjust_threshold这个工具Schema里不能只写调整阈值而要写清楚调整缺陷判定的灰度阈值范围0-255值越小越容易判缺陷默认建议70-90之间调整后需重新跑一遍检测确认误判率。执行层的闭环控制同样重要。一个检测动作执行完系统必须把结果回传给决策层决策层结合结果更新内部状态然后决定下一步动作。这本质上是一个状态机每步动作之后Agent的世界模型都在更新。我在实现上用了一个执行记录表每一步动作的时间、参数、结果、置信度都被记录下来既用于当前流程的控制也用于后续反思和复盘。2.4 记忆与反馈样本沉淀与模型迭代很多做Agent的人容易忽略记忆层但在工业场景里记忆才是Agent长期价值的核心。产线每天都在产生新数据如果Agent不能把经验存下来它就是个一次性对话工具没有任何积累价值。我的记忆层设计分两部分短期记忆和长期记忆。短期记忆是指当前检测会话内的上下文比如这一批产品的来料批次、当前缺陷率、最近10次检测判定结果长期记忆则是一个经验库存储历史样本、特征向量、判定结论、反思记录供后续同类场景直接命中。长期记忆的实现方式就是业界常说的RAG检索增强生成。每个缺陷样本被编码成特征向量存入向量数据库当新样本到来时Agent先从库中检索相似样本带着相似样本的表征做推理。这样一来Agent的判断不是凭空产生的而是有历史案例支撑的。模型迭代则是记忆层的上层应用当经验库里的同类样本累积到一定数量系统自动触发一次增量训练更新感知层的检测模型。闭环走完Agent的能力螺旋式上升。3. 关键设计模型选型与工具链搭建聊完架构说说落地的关键设计决策。这部分是真正决定项目成败的地方也是很多团队一开始就走偏的部分。3.1 大小模型协同的落地思路工业现场有一个天然约束GPU算力不充裕往往只有一台带基础显卡的工控机甚至有些老产线连GPU都没有。这意味着你不能指望在每台工控机上跑一个大模型。我的建议是大小模型协同、分层部署。轻量模型YOLO系列、MobileNet、自编码器跑在边缘工控机上负责实时检测和异常预筛中等模型10B以下的视觉语言模型跑在产线边缘的GPU服务器上负责需要一定理解能力的判定大模型70B级别以上放在工厂AI中心或云端负责复杂度高的推理、知识沉淀和规则生成。三级部署的算力代价递减但决策能力递增。这样做还有一个额外收益边缘端即使与中心断开网络也能保底完成基本的检测逻辑Agent的决策质量会降低但不会宕机。这在工业现场是硬需求产线停产一分钟都是经济损失。模型选型上我踩过一次坑一开始贪心选了70B大模型做全量推理效果确实好但延迟达到4秒根本扛不住产线节拍。后来把80%的常见缺陷判定下沉到规则和轻量模型大模型只处理剩余20%的疑难情况平均延迟一下降到300毫秒以内可接受的检测节拍才得以保障。3.2 工具集设计从被动调用到主动调度工具设计决定了Agent的能力边界。我最初只给Agent暴露了3个工具检测、调参、报警。结果它的能力非常受限面对复杂情况要么报错、要么答非所问。后来我把工具集扩充到11个才真正体现出Agent的调度价值。核心工具集合分为四类感知类工具图像采集、ROI标定、特征提取、异常打标分析类工具算法运行滤波/边缘/形态学、参数评估、批量回放控制类工具曝光/光源调节、阈值设定、PLC信号输出知识类工具经验库检索、相似样本匹配、缺陷描述生成每一类工具必须配合完整的Schema描述大模型才能正确地用错。这里有个细节工具名和描述要写成场景导向而非接口导向。同样是阈值调整Schema描述里写适用于灰度类缺陷的判定敏感度调整值越小灵敏度越高比写调整integer参数threshold好用十倍。大模型不理解工业术语但完全能理解人话描述。主动调度是指Agent能根据当前检测状态自动编排工具的执行顺序。比如它发现当前批次产品的表面纹理复杂导致边缘检测误判率偏高会自动决策先执行图像滤波增强再执行边缘检测并用形态学闭运算去除细小噪点最后再判定缺陷。传统检测流程的算子顺序是写死的Agent让这个顺序变成了动态可编排的这是我见过最明显的体验提升点。3.3 提示词与工作流编排要点提示词设计在工业检测场景里和其他领域有些不一样。工业场景的要求是稳定、可预期、结构化而不是有创意、发散、自然。所以提示词模板要做严格约束。我常用的系统提示词结构包括三部分角色定义你是谁、能力边界你能做什么、不能做什么、行为规范怎么思考、怎么调用工具、怎么报告结果。其中能力边界一定要写清楚不能做什么避免Agent跨权操作。比如不得修改检测流水线的PLC控制逻辑、不得直接删除经验库中的历史样本、当置信度低于0.6时必须人工介入。这些约束能在很大程度上减少危险动作。工作流编排上我建议画一条主状态链路图像接入 → 异常预筛 → 规则判定 → LLM决策 → 工具执行 → 结果确认 → 经验回流。每一步都有明确的出口条件不满足则触发回退或告警。这套链路要落到代码里不能靠大模型自由发挥不然产线稳定性会出大问题。我的经验是Agent自主性要给但要有栅栏。给它在一个大的SOP框架内自主编排而不是让它无约束地全权接管。工业场景容错率极低任何Agent厂房降本增效宣传背后都是无数次擦边球测试换来的平衡。4. 实操从0到1做一个检测Agent的最小闭环理论讲完上一套能跑起来的实操方案。这个最小闭环大概需要一周左右的开发时间就能在一个模拟检测数据集上验证Agent的基本能力。4.1 环境准备与基础能力接入我的建议是用Python生态PyTorch做模型部分vLLM或Ollama做大模型推理FAISS做向量检索FastAPI做服务框架。工控机与中心之间用消息队列通信这样Agent架构可以随时拆解、重部署。第一步先把传统检测管线的接口封装好给每个算子一个明确的输入输出JSON格式。这一步是Agent能不能握住检测系统的手的关键接口封装得越薄越好让Agent不直接接触底层相机SDK和PLC协议。我会把图像采集封装成一个take_photo()把算法运行封装成run_algorithm(name, params)把结果输出封装成send_result(verdict, confidence)。Agent看到的就是这三个函数至于里面是调用哪家相机、哪家PLC它不需要知道。基础能力接入的第二件事是搭一个向量数据库把项目里历史积累的缺陷样本图、特征向量、判定结论全部灌进去。这一步必须做否则Agent的检索式推理就是空谈。样本不用太多几百张有代表性的就够了关键是每张样本都要有标签和结构化描述。4.2 构建检测任务的数据Schema与状态机Agent要理解检测任务需要先把任务本身的语法定义清楚。我用一个数据Schema来描述当前检测任务{ task_id: batch_20240618_01, material: steel_surface_grade_a, inspection_points: [scratch, rust, pitting, stain], current_image: path/to/image_0231.jpg, detection_result: null, confidence: null, status: pending, history: [] }每个字段都在告诉Agent我在检什么、当前看到什么、已经做了什么。Agent每完成一步就更新这个Schema并且把操作记录放到history里。状态机是另一个关键组件。我把一个完整的检测流程划分为5个状态INIT初始化、SCAN扫描待检、JUDGE判定中、ACT执行中、REVIEW复核中。状态转移不允许跳过比如从SCAN直接跳到REVIEW是不合法的Agent必须经过JUDGE并产生置信度结果才能进入REVIEW。这个设计有效防止了大模型跳步带来的混乱。4.3 让Agent学会调用检测工具接下来是核心一步让大模型学会通过Function Calling调用我们封装的检测工具。以几个核心工具为例{ name: run_algorithm, description: 运行指定的图像处理算法用于对当前图像进行特征增强或检测。, parameters: { type: object, properties: { algorithm_name: { type: string, enum: [median_blur, canny_edge, threshold, contour_extract, morphology_close], description: 要运行的算法名称 }, params: { type: object, description: 算法的参数键值对具体参数取决于算法名称 } }, required: [algorithm_name] } }这个Schema是给大模型看的所以描述信息要尽可能细化。比如algorithm_name里枚举的每个算法最好在描述里给出典型使用场景和推荐参数范围。大模型读到这个Schema后才知道什么时候该用Canny、什么情况该做形态学闭运算而不是乱猜。做好Schema后我用一个模拟对话验证Agent的工具调用逻辑给它一张表面有细微裂纹的图片问它该怎么做。如果模型正确输出调用median_blur和canny_edge的组合再配合contour_extract做轮廓提取说明工具链打通了。4.4 从单步执行到多步自主排障工具调用跑通后要进一步提升Agent的自主性让它不仅能执行单步动作还能根据执行结果动态调整策略。这一步我给Agent接入了一个反思循环。结构上我用了一个简单的Agent循环观测拿到当前图像和状态→ 推理大模型根据观测生成下一步计划→ 执行调用工具→ 反思比较执行结果与预期决定是否继续或终止。我设计了一个模拟排障场景来测试它一张钢材表面图像初始用固定阈值分割缺陷结果把正常纹理误报成划痕。Agent的反思机制应该让它意识到阈值分割在这种光照条件下不可靠然后自主切换到边缘特征 纹理分析的检测路径。如果系统设计合理它会在2到3轮内找到更优的检测配置而不是死磕一个参数。多步自主排障的关键点在于反馈信号的获取。工业检测里反馈信号可以是缺陷检测的准确率、检测时间消耗、误报数量等。Agent每尝试一种新配置都要能拿到这些反馈才能判断自己做得好不好。我把这个反馈设计成了一个回调函数每轮循环结束时返回当前配置下的检测质量评分把评分注入提示词上下文供大模型参考。4.5 用一套量化指标判断Agent是否合格Agent做完不能只靠看起来聪明来验收必须有一组量化指标。我用的指标体系围绕三个维度检测能力准确率Accuracy、误报率FPR、漏报率FNR对比传统检测基线决策质量工具调用成功率、多步决策完成率、反射修正命中率工程性能单次检测Latency、Agent调用LLM的Token消耗、占用的显存/内存我认为最关键且最容易被忽视的是决策质量里的反射修正命中率。这个指标反映了Agent是否真的在学习它在反思中提出修正方案的次数里有多少次真的改善了检测结果。我见到的初版Agent这个指标普遍很低大概20%到30%说明它大多数反思是无效空转。经过提示词优化和工具描述优化后能提升到60%以上这时候Agent才是有实践价值的。另外一定要做A/B对比测试同一批测试样本分别用传统检测流程和Agent强化流程跑对比误判率和处理时间。不要只看准确率因为Agent有时会用更多步骤获得同样准确的结果如果没有效率收益产线是不愿意为复杂度买单的。5. 落地踩坑记录与排查速查表最后聊聊实操中真正踩过的坑以及对应的排查思路。这些内容比架构设计更值得看因为都是代码和产线上真实发生的问题。5.1 典型故障一Agent幻觉导致误检Agent用久了一定会遇到幻觉问题在工业检测里非常危险。我遇到的一个真实案例某新能源电池模组的表面检测任务里Agent在处理一张图像时因为检索到了经验库中一个相似度高达0.87但实际是不同缺陷类型的样本直接把它当成判定依据输出了此缺陷为极耳受损需停机的错误结论。其实那个图像只是一个轻微折痕按产线标准可以放行。排查思路分两步。第一步检查相似度阈值是否设置得过高检索到的样本是否真的足够相似第二步在提示词里强调相似样本仅作参考必须结合当前图像的独立特征做最终判断并在输出格式上要求Agent标明参考样本ID和独立判断依据这样即使出错也可追溯。从根本上解决幻觉要靠置信度门槛 人工确认机制。我设定AI每一判断都必须携带置信度低于0.7的判定结果自动转向人工复核。这个机制会牺牲一部分效率但产线上的安全价值远远高过效率。5.2 典型故障二工控现场算力不足很多产线的工控机配置很老我遇到过一台只有8GB内存、无独立显卡的工控机连轻量级YOLO模型都跑不顺更别提Agent了。一开始硬往里塞大模型结果图像采集线程和推理线程互相抢资源整个检测工位卡死。解决方案是分层降级 异步化。图像采集和实时预筛跑在工控机主线程Agent推理全部放到边缘GPU服务器通过局域网把预筛后的疑似异常帧送过去推理结果回传。工控机本地再加一级缓存队列防止断网时数据丢失。异步化的关键是把实时链路和智能链路彻底分开。实时链路保证产线节拍不中断智能链路负责疑难帧的深度分析两者通过消息队列解耦。只要实时链路正常Agent哪怕挂了产线也只是降级到基础检测模式不会停机。5.3 典型故障三数据漂移带来的Agent退化Agent上线时效果很好用了两三个月后准确率肉眼可见地下降。排查后发现原因很常见产线换了新供应商的原材料表面纹理和原先差异很大但Agent的经验库没有更新检索匹配一直命中旧的相似样本导致误判率上升。数据漂移是工业AI的老大难Agent场景下更突出因为Agent依赖检索和经验库一旦库里的样本分布跟不上现实分布决策质量就会出问题。我的对策是设计一个分布漂移监控器定期对近期检测图像的特征分布和建库时的基底分布做距离计算比如Wasserstein距离一旦超过阈值自动触发主动学习流程把分布外的图像挑出来发起标注任务人工确认后回流到经验库。另一个更简单的对策是样本保鲜期给经验库里的每个样本打上入库时间和最后命中时间定期清理超过保质期且长期未命中的样本防止脏数据长期占据检索空间。5.4 排查速查表现象可能原因排查顺序与措施Agent频繁误判已知缺陷规则库优先级被大模型覆盖检查决策层规则置信度阈值确认规则优先逻辑是否生效Agent判定置信度普遍偏低提示词缺乏领域约束、工具描述不清晰重构工具Schema描述补充典型参数范围和禁忌场景图像处理延迟超过产线节拍大模型推理链路过长、算力不足启用分层降级划分实时链路与智能链路异步处理Agent反复调用相同工具不收敛反思循环缺少终止条件检查循环出口条件增加结果改善量低于阈值即终止逻辑检索命中样本但判定错误向量相似度阈值偏低、语义不匹配提高相似度阈值在提示词中要求结合当前图像独立特征判断新批次产品误报率飙升数据分布漂移经验库未更新触发主动学习流程补充新样本重建部分索引最后说点真实的感受做完这个项目后我最大的体会是AI Agent在工业检测里绝不是灵丹妙药它更像一个极其聪明的学徒——学得快、懂得多、反应灵活但仍然需要师傅给定框架、划好边界否则会用自己的聪明闯祸。真正让它发挥价值的关键不是大模型选得多强而是感知数据的结构化程度和反馈闭环的完整性。数据结构化做不好Agent就是无源之水反馈闭环断了Agent就只是个会聊天的空壳。最后分享一个小技巧给Agent的每一个决策动作加一行日志记录当时看到了什么、为什么这样判断、最后结果如何。这个日志成本极低但排障时的价值无可估量。产线现场的人不会因为你的模型准确率高就信任你但会因为你能够在出现问题后30分钟内定位到责任环节而信任你。做工业软件赢得信任比赢得性能更重要。
