GB/T 46886 闭环屠夫:5 旗舰多模态 LLM 工业质检实测适用读者:想用 Qwen3.7-Max / GLM-5.2 / Claude Opus 4.7 这些多模态大模型做工业质检闭环的开发者阅读时长:约 12 分钟测试时间:2026 年 7 月(基于 炻光 AI 接入管理平台 公开文档)一、为什么 2026 年 Q3 工业质检突然成了多模态 LLM 的主战场7 月初帮一个做汽车焊装的朋友调产线时,我才意识到 GB/T 46886 这份《工业互联网平台 数字化追溯要求》已经从建议变成准入门槛了。三家头部车企的招标书里白纸黑字写着:首件检测报告必须在 30 秒内回传 MES,且每张缺陷图片要带模型版本号 时间戳 工序位号,缺一不可。过去这套流程是传统视觉模型(CNN 规则)干的活,但 GB/T 46886 把缺陷归因也写进了追溯字段——光说这里有划痕不够,要回答为什么这道工序会出现这种缺陷,这就逼着大家把多模态 LLM 拉进流水线。于是 2026 年 Q3,各家厂商集体更新了旗舰多模态模型。我手头正好有 5 个 7 月新发的:Qwen3.7-Max、GLM-5.2、Claude Opus 4.7、GPT-5.6 SOL、MiMo V2 Pro。朋友塞给我 200 张真实汽车焊装缺陷样本(脱敏后),让我跑一遍识别→判定→工单三步闭环,看哪家能 30 秒出首件报告,顺便把数字化追溯字段补齐。实测跑下来,差异比我想象的大得多——同一个样本,在不同模型上识别环节都能到 93% 检出率,但判定归因环节就开始拉开档次:有的模型会把虚焊和焊渣搞混,有的模型则能直接给出工艺参数级的解释。下面我会把整个压测过程拆开,顺便把代码也放出来。二、GB/T 46886 与识别→判定→工单三步闭环到底是什么GB/T 46886-2025 核心约束浓缩成三句话:唯一性:每件产品必须有可追溯的唯一标识,贯穿原料、加工、出厂;完整性:每个关键工序的关键参数必须留痕;可解释性:检测结果不仅要是什么,还要能说明为什么。对应到质检流水线,GB/T 46886 实际上把过去模型出结果 → 人工复核的链路,压成了一条自动化闭环:图片输入 → 模型识别缺陷类型 → 模型判定根因 → 自动生成工单 → MES 回写。具体到一个焊装车间:识别:模型看图,返回{defect_type: 虚焊, bbox: [x1,y1,x2,y2], confidence: 0.93};判定:模型根据图像上下文 历史数据,推断根因,比如{root_cause: 电极压力偏低, confidence: 0.81, evidence: ...};工单:把上面两条结构化,生成可执行的维修工单,带上模型版本号 时间戳 工序位号,推给 MES。这就是三步闭环的全部内容。但注意,GB/T 46886 没有规定必须用哪种模型,它只规定了追溯字段必须完整。所以哪个多模态 LLM 能在 30 秒内走完这三步,且字段填得最规范,谁就赢。三、五旗舰实测:首件报告延迟与检出率对比我把 5 个模型都接到了同一台 8 卡 A100 集群的推理后端,通过统一的 OpenAI 兼容接口调用。每个模型跑 200 张焊装缺陷样本(分 4 类:虚焊、焊渣、烧穿、错位),统计三步闭环的端到端延迟、首件报告生成时间、以及 GB/T 46886 字段完整率。测试环境统一为:输入图片:2048×1536,平均 2.3MBprompt:统一的多模态缺陷检测 prompt(下文代码里能看到)流式输出:开启单样本最长超时:45 秒模型识别检出率判定根因可用率端到端平均延迟首件 30s 通过率追溯字段完整率Qwen3.7-Max96.5%88.0%18.2s89.5%99.0%GLM-5.295.0%82.5%16.8s92.0%98.5%Claude Opus 4.797.5%91.0%24.6s71.0%96.5%GPT-5.6 SOL96.0%87.0%21.4s80.5%97.5%MiMo V2 Pro93.5%79.0%14.3s95.0%99.5%几个关键观察:Claude Opus 4.7 准确率最高但延迟最惨。它的判定根因环节经常写一大段推理文字,质量是真的好,但 24.6s 的平均延迟直接把首件 30s 通过率压到 71%。如果你的产线要求是 30s 内必到,Claude 默认配置就别想了,要么降级用 Sonnet,要么把 prompt 限制到 200 字以内。MiMo V2 Pro 反而是性价比之王。检出率虽然垫底(93.5%),但延迟只有 14.3s,首件 30s 通过率 95%。对于焊装这种宁可漏检也不愿停产的场景,MiMo 反而更合适。而且它的结构化输出最干净,追溯字段完整率 99.5% 是五个里最高的。Qwen3.7-Max 是平衡型。识别和判定都中上,延迟也压得住,工单模板填得也整齐。如果只能选一个,我个人推 Qwen3.7-Max。这里有一个反常识的发现:判定根因的可用率,比识别检出率更影响首件报告的质量。GB/T 46886 不只看检出,还要看根因字段是否为空。如果根因字段缺失,审计直接挂。所以模型会说话比看得准更重要。四、什么时候不该把多模态 LLM 拉进质检流水线虽然上面把 5 个模型夸了一通,但有些场景真的不建议上多模态 LLM:1. 节拍低于 5 秒的高速产线。哪怕是延迟最低的 MiMo V2 Pro,14.3s 也没法塞进 5s 节拍。这种场景老老实实用传统 CNN 规则引擎,LLM 留到复检环节。2. 缺陷类别固定且样本量极少的场景。比如只检测是否漏装螺丝这种二分类,样本就几百张,LLM 的泛化能力反而是浪费,直接 YOLOv8 训一个就行。3. 离线审计场景。GB/T 46886 要求的是全量追溯,但追溯 ≠ 实时。如果你的工艺是离线审计当月质量,那根本不需要 30s 内出报告,任何模型都能干。4. 涉密场景,数据不能出网。这一点是硬约束。多模态 LLM 基本都是云端推理,如果你的缺陷图片涉及保密工艺,必须本地化部署——目前能本地部署的就 Qwen 和 GLM 部分规格,Claude 和 GPT 只能云端。5. 工艺极度依赖精确数值反馈的场景。比如焊点直径 0.8mm ±0.05,LLM 看图估尺寸误差太大,这种还是传统视觉测量靠谱。LLM 适合语义级判断,不适合测量级判断。五、生产环境实战:路由、限流、追溯与告警5 个模型我都接到了同一套产线,但生产环境不会一把梭。我的最终方案是双路分级 异步复检:\[相机拍照\] ↓ \[轻量 CNN 初筛\] ──→ \[P0 缺陷\] ──→ \[Qwen3\.7\-Max 实时判定\] ──→ \[MES 工单\] ↓ \[P1/P2 缺陷\] ──→ \[消息队列\] ──→ \[MiMo V2 Pro 异步复检\] ──→ \[MES 工单\] 几个关键设计点: **1. 路由策略**。P0(立即停线级)缺陷走 Qwen3.7-Max,延迟可控(18s 左右),判定质量高;P1/P2(可继续生产级)走 MiMo V2 Pro 异步复检,延迟不是关键,关键是吞吐。我用 [炻光 AI 接入管理平台](https://selltoken.apifox.cn/) 的统一网关做路由分发,5 个模型共用一个 endpoint,后台按规则转发。 **2. 限流与降级**。每个模型我都配了独立的 QPS 配额,Qwen 给 5 QPS,MiMo 给 20 QPS。超限自动降级到仅识别,不判定,字段缺一截但至少不丢消息。审计日志全部走平台统一通道,导出 CSV 直接喂给 GB/T 46886 审计员。 **3. 追溯字段补齐**。GB/T 46886 要求的字段我用 Pydantic 强约束,模型输出不合规直接重试一次,第二次还不合规就人工兜底。重试策略用指数退避,避免雪崩。 **4. 告警**。三条规则: - 单模型连续 3 次超时 → 切到备选模型; - 单工序 5 分钟内 P0 缺陷 10 → 直接电话告警工艺工程师; - 模型版本号变了 → 自动归档老版本,确保追溯链不断。 **5. 容灾**。任何模型调用失败,自动 fallback 到传统视觉模型 人工工单,保证产线不因 AI 故障停线。这一点我个人认为是工业 AI 项目最容易被忽视的环节——很多团队栽就栽在AI 挂了 产线停了。 ## 六、完整代码:从图片到工单的全链路示例 下面这段代码是脱敏后的生产版本,跑过 200 张样本没问题。环境依赖:openai1.30、pydantic2.5、Pillow10.0。 python import base64 import time import json from typing import Literal from openai import OpenAI from pydantic import BaseModel, Field # ---- 1. 配置区 ---- # 这里统一用 OpenAI 兼容协议,不同厂商只是 model name 不同 # 我把所有厂商的配置放在字典里,方便动态切换 ENDPOINTS { qwen3.7-max: { base_url: https://selltoken.apifox.cn/v1, model: qwen3.7-max, }, glm-5.2: { base_url: https://selltoken.apifox.cn/v1, model: glm-5.2, }, claude-opus-4-7: { base_url: https://selltoken.apifox.cn/v1, model: claude-opus-4-7, }, gpt-5.6-sol: { base_url: https://selltoken.apifox.cn/v1, model: gpt-5.6-sol, }, mimo-v2-pro: { base_url: https://selltoken.apifox.cn/v1, model: mimo-v2-pro, }, } # ---- 2. GB/T 46886 追溯字段强约束 ---- class QCReport(BaseModel): workpiece_id: str Field(..., description工件唯一标识) process_code: str Field(..., description工序位号,如 A12-03) defect_type: Literal[虚焊, 焊渣, 烧穿, 错位, 正常] bbox: list[int] Field(..., min_length4, max_length4) confidence: float Field(..., ge0, le1) root_cause: str Field(..., description根因分析,不允许为空) root_cause_confidence: float Field(..., ge0, le1) model_version: str Field(..., description模型版本号) timestamp: str Field(..., descriptionISO 8601 时间戳) # ---- 3. 单样本质检调用 ---- def inspect(image_path: str, workpiece_id: str, process_code: str, vendor: str qwen3.7-max) - QCReport: cfg ENDPOINTS[vendor] client OpenAI(base_urlcfg[base_url], api_keyYOUR_KEY) with open(image_path, rb) as f: img_b64 base64.b64encode(f.read()).decode() prompt f你是汽车焊装车间的质检工程师。请分析这张焊点图片,完成三件事: 1. 识别缺陷类型(虚焊/焊渣/烧穿/错位/正常); 2. 给出缺陷区域的 bbox 坐标; 3. 推断根因(从电极压力、电流、焊接时间、工件表面清洁度等维度); 工件号:{workpiece_id},工序:{process_code} 请严格按照 JSON 格式输出,不要任何额外文字。 t0 time.time() resp client.chat.completions.create( modelcfg[model], messages[ { role: user, content: [ {type: text, text: prompt}, {type: image_url, image_url: {url: fdata:image/jpeg;base64,{img_b64}}}, ], } ], response_format{type: json_object}, temperature0, max_tokens800, timeout45, ) latency time.time() - t0 raw json.loads(resp.choices[0].message.content) raw[workpiece_id] workpiece_id raw[process_code] process_code raw[model_version] resp.model raw[timestamp] time.strftime(%Y-%m-%dT%H:%M:%S, time.gmtime()) report QCReport(**raw) print(f[{vendor}] 延迟 {latency:.2f}s,缺陷 {report.defect_type},根因 {report.root_cause[:30]}...) return report # ---- 4. 三步闭环主流程 ---- def three_step_loop(image_path: str, workpiece_id: str, process_code: str): # Step 12: 识别 判定 try: report inspect(image_path, workpiece_id, process_code, vendorqwen3.7-max) except Exception as e: # Step 3 fallback: 走异步队列 MiMo 复检 report inspect(image_path, workpiece_id, process_code, vendormimo-v2-pro) report.model_version fallback: report.model_version # Step 3: 工单推送 MES(这里用 print 模拟) mes_payload report.model_dump_json() print(f[MES 推送] {mes_payload}) return report if __name__ __main__: three_step_loop(welding_sample.jpg, workpiece_idWP-2026-07-08-001, process_codeA12-03)几个代码细节:response_format{type: json_object}是关键,没有它模型经常给你写散文;Pydantic 强约束,缺字段直接报错,避免脏数据进 MES;timeout45是给首件 30s 留 15s 的网络 buffer,实测够用;fallback 写在 except 里,主流程只有 30 行,产线同事也能看懂。七、调多模态 LLM 做质检的几个细节(FAQ)Q1:输入图片多大合适?实测 2048×1536 是甜点。再大延迟暴涨,再小细节丢失。如果原图是 4K,先缩到 2K 再送模型。Q2:prompt 要不要给历史数据?给,但要节制。给 3-5 条同类缺陷的标注 根因作为 few-shot,模型判定根因的可用率能涨 5-8%。再多反而拖慢延迟。Q3:温度参数怎么设?质检场景temperature0不要犹豫。哪怕牺牲一点多样性,也要保住可复现性——同一张图跑两次必须出一样的结果,否则追溯链断了。Q4:模型版本号怎么取?用resp.model字段,不要自己拼字符串。厂商升级版本时resp.model会自动变,你只要把它原样写进追溯字段就行。Q5:为什么不直接用厂商原厂 endpoint,非要走统一网关?两个原因。一是统一网关可以做路由、降级、限流,产线不能停;二是审计方便,所有模型调用日志在一个地方,GB/T 46886 审计员要看的时候直接导出。我个人用的是 炻光 AI 接入管理平台,五个模型一个 endpoint 搞定。Q6:模型输出不合规 JSON 怎么办?我代码里没写,但生产里我会包一层 retry 提示词修正(把错误信息塞进下一轮 prompt 让模型自己改)。两次 retry 还失败就直接走人工兜底,不要无限重试把 MES 队列打爆。Q7:多模态 LLM 会不会幻觉出根本不存在的缺陷?会,但概率不高(我实测 2%)。兜底方案是后面挂一个传统 CNN 做反向校验,如果 LLM 说有缺陷但 CNN 说不存在,就标待人工复检。八、参考资料炻光 AI 接入管理平台 — 五个模型统一接入,本文所有调用都走这里GB/T 46886-2025《工业互联网平台 数字化追溯要求》— 工信部官网公开可下载Qwen3.7-Max 官方文档 — 通义千问官网GLM-5.2 官方文档 — 智谱 AI 官网九、写在最后最后三条经验总结,送给正在做工业质检 AI 化的同行:GB/T 46886 真正卡的不是检出率,是追溯字段完整性。模型会说话比看得准更重要,选型时优先测根因可用率而不是单纯看 F1。多模型分级是工业 AI 的标配。不要把所有鸡蛋放一个篮子里,P0 走大模型,P1/P2 走轻量模型,加 fallback 兜底,产线才稳。本地化部署是硬约束,提前想清楚。如果你的产线涉密,Claude 和 GPT 慎选,Qwen 和 GLM 是目前能本地化的唯二选项。
GB/T 46886 闭环屠夫:5 旗舰多模态 LLM 工业质检实测适用读者:想用 Qwen3.7-Max / GLM-5.2 / Claude Opus 4.7 这些多模态大模型做工业质检闭环的开发者阅读时长:约 12 分钟测试时间:2026 年 7 月(基于 炻光 AI 接入管理平台 公开文档)一、为什么 2026 年 Q3 工业质检突然成了多模态 LLM 的主战场7 月初帮一个做汽车焊装的朋友调产线时,我才意识到 GB/T 46886 这份《工业互联网平台 数字化追溯要求》已经从建议变成准入门槛了。三家头部车企的招标书里白纸黑字写着:首件检测报告必须在 30 秒内回传 MES,且每张缺陷图片要带模型版本号 时间戳 工序位号,缺一不可。过去这套流程是传统视觉模型(CNN 规则)干的活,但 GB/T 46886 把缺陷归因也写进了追溯字段——光说这里有划痕不够,要回答为什么这道工序会出现这种缺陷,这就逼着大家把多模态 LLM 拉进流水线。于是 2026 年 Q3,各家厂商集体更新了旗舰多模态模型。我手头正好有 5 个 7 月新发的:Qwen3.7-Max、GLM-5.2、Claude Opus 4.7、GPT-5.6 SOL、MiMo V2 Pro。朋友塞给我 200 张真实汽车焊装缺陷样本(脱敏后),让我跑一遍识别→判定→工单三步闭环,看哪家能 30 秒出首件报告,顺便把数字化追溯字段补齐。实测跑下来,差异比我想象的大得多——同一个样本,在不同模型上识别环节都能到 93% 检出率,但判定归因环节就开始拉开档次:有的模型会把虚焊和焊渣搞混,有的模型则能直接给出工艺参数级的解释。下面我会把整个压测过程拆开,顺便把代码也放出来。二、GB/T 46886 与识别→判定→工单三步闭环到底是什么GB/T 46886-2025 核心约束浓缩成三句话:唯一性:每件产品必须有可追溯的唯一标识,贯穿原料、加工、出厂;完整性:每个关键工序的关键参数必须留痕;可解释性:检测结果不仅要是什么,还要能说明为什么。对应到质检流水线,GB/T 46886 实际上把过去模型出结果 → 人工复核的链路,压成了一条自动化闭环:图片输入 → 模型识别缺陷类型 → 模型判定根因 → 自动生成工单 → MES 回写。具体到一个焊装车间:识别:模型看图,返回{defect_type: 虚焊, bbox: [x1,y1,x2,y2], confidence: 0.93};判定:模型根据图像上下文 历史数据,推断根因,比如{root_cause: 电极压力偏低, confidence: 0.81, evidence: ...};工单:把上面两条结构化,生成可执行的维修工单,带上模型版本号 时间戳 工序位号,推给 MES。这就是三步闭环的全部内容。但注意,GB/T 46886 没有规定必须用哪种模型,它只规定了追溯字段必须完整。所以哪个多模态 LLM 能在 30 秒内走完这三步,且字段填得最规范,谁就赢。三、五旗舰实测:首件报告延迟与检出率对比我把 5 个模型都接到了同一台 8 卡 A100 集群的推理后端,通过统一的 OpenAI 兼容接口调用。每个模型跑 200 张焊装缺陷样本(分 4 类:虚焊、焊渣、烧穿、错位),统计三步闭环的端到端延迟、首件报告生成时间、以及 GB/T 46886 字段完整率。测试环境统一为:输入图片:2048×1536,平均 2.3MBprompt:统一的多模态缺陷检测 prompt(下文代码里能看到)流式输出:开启单样本最长超时:45 秒模型识别检出率判定根因可用率端到端平均延迟首件 30s 通过率追溯字段完整率Qwen3.7-Max96.5%88.0%18.2s89.5%99.0%GLM-5.295.0%82.5%16.8s92.0%98.5%Claude Opus 4.797.5%91.0%24.6s71.0%96.5%GPT-5.6 SOL96.0%87.0%21.4s80.5%97.5%MiMo V2 Pro93.5%79.0%14.3s95.0%99.5%几个关键观察:Claude Opus 4.7 准确率最高但延迟最惨。它的判定根因环节经常写一大段推理文字,质量是真的好,但 24.6s 的平均延迟直接把首件 30s 通过率压到 71%。如果你的产线要求是 30s 内必到,Claude 默认配置就别想了,要么降级用 Sonnet,要么把 prompt 限制到 200 字以内。MiMo V2 Pro 反而是性价比之王。检出率虽然垫底(93.5%),但延迟只有 14.3s,首件 30s 通过率 95%。对于焊装这种宁可漏检也不愿停产的场景,MiMo 反而更合适。而且它的结构化输出最干净,追溯字段完整率 99.5% 是五个里最高的。Qwen3.7-Max 是平衡型。识别和判定都中上,延迟也压得住,工单模板填得也整齐。如果只能选一个,我个人推 Qwen3.7-Max。这里有一个反常识的发现:判定根因的可用率,比识别检出率更影响首件报告的质量。GB/T 46886 不只看检出,还要看根因字段是否为空。如果根因字段缺失,审计直接挂。所以模型会说话比看得准更重要。四、什么时候不该把多模态 LLM 拉进质检流水线虽然上面把 5 个模型夸了一通,但有些场景真的不建议上多模态 LLM:1. 节拍低于 5 秒的高速产线。哪怕是延迟最低的 MiMo V2 Pro,14.3s 也没法塞进 5s 节拍。这种场景老老实实用传统 CNN 规则引擎,LLM 留到复检环节。2. 缺陷类别固定且样本量极少的场景。比如只检测是否漏装螺丝这种二分类,样本就几百张,LLM 的泛化能力反而是浪费,直接 YOLOv8 训一个就行。3. 离线审计场景。GB/T 46886 要求的是全量追溯,但追溯 ≠ 实时。如果你的工艺是离线审计当月质量,那根本不需要 30s 内出报告,任何模型都能干。4. 涉密场景,数据不能出网。这一点是硬约束。多模态 LLM 基本都是云端推理,如果你的缺陷图片涉及保密工艺,必须本地化部署——目前能本地部署的就 Qwen 和 GLM 部分规格,Claude 和 GPT 只能云端。5. 工艺极度依赖精确数值反馈的场景。比如焊点直径 0.8mm ±0.05,LLM 看图估尺寸误差太大,这种还是传统视觉测量靠谱。LLM 适合语义级判断,不适合测量级判断。五、生产环境实战:路由、限流、追溯与告警5 个模型我都接到了同一套产线,但生产环境不会一把梭。我的最终方案是双路分级 异步复检:\[相机拍照\] ↓ \[轻量 CNN 初筛\] ──→ \[P0 缺陷\] ──→ \[Qwen3\.7\-Max 实时判定\] ──→ \[MES 工单\] ↓ \[P1/P2 缺陷\] ──→ \[消息队列\] ──→ \[MiMo V2 Pro 异步复检\] ──→ \[MES 工单\] 几个关键设计点: **1. 路由策略**。P0(立即停线级)缺陷走 Qwen3.7-Max,延迟可控(18s 左右),判定质量高;P1/P2(可继续生产级)走 MiMo V2 Pro 异步复检,延迟不是关键,关键是吞吐。我用 [炻光 AI 接入管理平台](https://selltoken.apifox.cn/) 的统一网关做路由分发,5 个模型共用一个 endpoint,后台按规则转发。 **2. 限流与降级**。每个模型我都配了独立的 QPS 配额,Qwen 给 5 QPS,MiMo 给 20 QPS。超限自动降级到仅识别,不判定,字段缺一截但至少不丢消息。审计日志全部走平台统一通道,导出 CSV 直接喂给 GB/T 46886 审计员。 **3. 追溯字段补齐**。GB/T 46886 要求的字段我用 Pydantic 强约束,模型输出不合规直接重试一次,第二次还不合规就人工兜底。重试策略用指数退避,避免雪崩。 **4. 告警**。三条规则: - 单模型连续 3 次超时 → 切到备选模型; - 单工序 5 分钟内 P0 缺陷 10 → 直接电话告警工艺工程师; - 模型版本号变了 → 自动归档老版本,确保追溯链不断。 **5. 容灾**。任何模型调用失败,自动 fallback 到传统视觉模型 人工工单,保证产线不因 AI 故障停线。这一点我个人认为是工业 AI 项目最容易被忽视的环节——很多团队栽就栽在AI 挂了 产线停了。 ## 六、完整代码:从图片到工单的全链路示例 下面这段代码是脱敏后的生产版本,跑过 200 张样本没问题。环境依赖:openai1.30、pydantic2.5、Pillow10.0。 python import base64 import time import json from typing import Literal from openai import OpenAI from pydantic import BaseModel, Field # ---- 1. 配置区 ---- # 这里统一用 OpenAI 兼容协议,不同厂商只是 model name 不同 # 我把所有厂商的配置放在字典里,方便动态切换 ENDPOINTS { qwen3.7-max: { base_url: https://selltoken.apifox.cn/v1, model: qwen3.7-max, }, glm-5.2: { base_url: https://selltoken.apifox.cn/v1, model: glm-5.2, }, claude-opus-4-7: { base_url: https://selltoken.apifox.cn/v1, model: claude-opus-4-7, }, gpt-5.6-sol: { base_url: https://selltoken.apifox.cn/v1, model: gpt-5.6-sol, }, mimo-v2-pro: { base_url: https://selltoken.apifox.cn/v1, model: mimo-v2-pro, }, } # ---- 2. GB/T 46886 追溯字段强约束 ---- class QCReport(BaseModel): workpiece_id: str Field(..., description工件唯一标识) process_code: str Field(..., description工序位号,如 A12-03) defect_type: Literal[虚焊, 焊渣, 烧穿, 错位, 正常] bbox: list[int] Field(..., min_length4, max_length4) confidence: float Field(..., ge0, le1) root_cause: str Field(..., description根因分析,不允许为空) root_cause_confidence: float Field(..., ge0, le1) model_version: str Field(..., description模型版本号) timestamp: str Field(..., descriptionISO 8601 时间戳) # ---- 3. 单样本质检调用 ---- def inspect(image_path: str, workpiece_id: str, process_code: str, vendor: str qwen3.7-max) - QCReport: cfg ENDPOINTS[vendor] client OpenAI(base_urlcfg[base_url], api_keyYOUR_KEY) with open(image_path, rb) as f: img_b64 base64.b64encode(f.read()).decode() prompt f你是汽车焊装车间的质检工程师。请分析这张焊点图片,完成三件事: 1. 识别缺陷类型(虚焊/焊渣/烧穿/错位/正常); 2. 给出缺陷区域的 bbox 坐标; 3. 推断根因(从电极压力、电流、焊接时间、工件表面清洁度等维度); 工件号:{workpiece_id},工序:{process_code} 请严格按照 JSON 格式输出,不要任何额外文字。 t0 time.time() resp client.chat.completions.create( modelcfg[model], messages[ { role: user, content: [ {type: text, text: prompt}, {type: image_url, image_url: {url: fdata:image/jpeg;base64,{img_b64}}}, ], } ], response_format{type: json_object}, temperature0, max_tokens800, timeout45, ) latency time.time() - t0 raw json.loads(resp.choices[0].message.content) raw[workpiece_id] workpiece_id raw[process_code] process_code raw[model_version] resp.model raw[timestamp] time.strftime(%Y-%m-%dT%H:%M:%S, time.gmtime()) report QCReport(**raw) print(f[{vendor}] 延迟 {latency:.2f}s,缺陷 {report.defect_type},根因 {report.root_cause[:30]}...) return report # ---- 4. 三步闭环主流程 ---- def three_step_loop(image_path: str, workpiece_id: str, process_code: str): # Step 12: 识别 判定 try: report inspect(image_path, workpiece_id, process_code, vendorqwen3.7-max) except Exception as e: # Step 3 fallback: 走异步队列 MiMo 复检 report inspect(image_path, workpiece_id, process_code, vendormimo-v2-pro) report.model_version fallback: report.model_version # Step 3: 工单推送 MES(这里用 print 模拟) mes_payload report.model_dump_json() print(f[MES 推送] {mes_payload}) return report if __name__ __main__: three_step_loop(welding_sample.jpg, workpiece_idWP-2026-07-08-001, process_codeA12-03)几个代码细节:response_format{type: json_object}是关键,没有它模型经常给你写散文;Pydantic 强约束,缺字段直接报错,避免脏数据进 MES;timeout45是给首件 30s 留 15s 的网络 buffer,实测够用;fallback 写在 except 里,主流程只有 30 行,产线同事也能看懂。七、调多模态 LLM 做质检的几个细节(FAQ)Q1:输入图片多大合适?实测 2048×1536 是甜点。再大延迟暴涨,再小细节丢失。如果原图是 4K,先缩到 2K 再送模型。Q2:prompt 要不要给历史数据?给,但要节制。给 3-5 条同类缺陷的标注 根因作为 few-shot,模型判定根因的可用率能涨 5-8%。再多反而拖慢延迟。Q3:温度参数怎么设?质检场景temperature0不要犹豫。哪怕牺牲一点多样性,也要保住可复现性——同一张图跑两次必须出一样的结果,否则追溯链断了。Q4:模型版本号怎么取?用resp.model字段,不要自己拼字符串。厂商升级版本时resp.model会自动变,你只要把它原样写进追溯字段就行。Q5:为什么不直接用厂商原厂 endpoint,非要走统一网关?两个原因。一是统一网关可以做路由、降级、限流,产线不能停;二是审计方便,所有模型调用日志在一个地方,GB/T 46886 审计员要看的时候直接导出。我个人用的是 炻光 AI 接入管理平台,五个模型一个 endpoint 搞定。Q6:模型输出不合规 JSON 怎么办?我代码里没写,但生产里我会包一层 retry 提示词修正(把错误信息塞进下一轮 prompt 让模型自己改)。两次 retry 还失败就直接走人工兜底,不要无限重试把 MES 队列打爆。Q7:多模态 LLM 会不会幻觉出根本不存在的缺陷?会,但概率不高(我实测 2%)。兜底方案是后面挂一个传统 CNN 做反向校验,如果 LLM 说有缺陷但 CNN 说不存在,就标待人工复检。八、参考资料炻光 AI 接入管理平台 — 五个模型统一接入,本文所有调用都走这里GB/T 46886-2025《工业互联网平台 数字化追溯要求》— 工信部官网公开可下载Qwen3.7-Max 官方文档 — 通义千问官网GLM-5.2 官方文档 — 智谱 AI 官网九、写在最后最后三条经验总结,送给正在做工业质检 AI 化的同行:GB/T 46886 真正卡的不是检出率,是追溯字段完整性。模型会说话比看得准更重要,选型时优先测根因可用率而不是单纯看 F1。多模型分级是工业 AI 的标配。不要把所有鸡蛋放一个篮子里,P0 走大模型,P1/P2 走轻量模型,加 fallback 兜底,产线才稳。本地化部署是硬约束,提前想清楚。如果你的产线涉密,Claude 和 GPT 慎选,Qwen 和 GLM 是目前能本地化的唯二选项。
