1. 从一个分拣难题说起为什么苹果品质分级需要机器视觉过去几年我自己一直在折腾机器视觉相关的项目最常见的需求不是人脸识别也不是自动驾驶而是各种“看着简单、做起来一堆坑”的传统工业分拣问题。苹果品质分级就是其中很有代表性的一个普通人觉得“不就是按大小颜色分个类吗”但真正站在分拣线旁边看一个小时就会发现人工分拣的疲劳速度远超想象。一个熟练工每分钟能分拣几十个苹果但连续工作两个小时之后误判率明显上升尤其是大小相近、颜色有细微差异的果子标准很容易漂移。果企真正想要的不是“分得比人快”而是“全天候保持同一套标准”。我之前帮某果企做了一套基于机器视觉的苹果品质分级系统整个过程走下来发现真正的技术难点其实不在算法模型的复杂度而在于怎么把“品质”这个模糊概念翻译成可计算的视觉特征以及怎么在真实产线的光照、震动、速度条件下保持稳定。这个项目我从硬件选型、图像采集到特征提取和分级决策全部独立完成走了不少弯路也沉淀了一套可以复用的方法。这篇文章就把整个设计与实现过程拆开来讲包括为什么选这套方案而不是那套方案、每一步操作背后的逻辑、以及实际跑产线时踩过的坑。这套系统能做什么先给一个明确的范围界定它面向的是静态或慢速移动状态下的单个苹果表观品质分级核心指标涵盖大小直径或投影面积、形状圆整度、底色颜色青红比例、表面缺陷碰压伤、花斑、虫眼等。不涉及内部品质如糖度、酸度的无损检测那些需要近红外光谱设备是另一个技术分支。无论你是刚开始接触机器视觉的学生、想给家里果园做小型分拣机的爱好者还是产线技术负责人想评估视觉分级方案的可行性这篇文章都可以作为一份偏向实战的参考我会把每个环节的取舍逻辑都讲清楚。2. 分级指标拆解哪些特征能真正区分苹果品质在做任何视觉项目之前第一件事不是打开相机而是和需求方把分级标准谈清楚。苹果分级其实是有行业惯用维度的但不同渠道差异很大收购商可能更看重大小和底色超市渠道对表面缺陷和果形要求更严格电商小份装又会额外关注颜色均匀度。系统设计必须把这些维度映射成视觉上可提取的特征。我把分级指标拆成了四组大小、形状、颜色、表面缺陷。大小是最容易量化的。正面拍摄苹果时可以用轮廓的外接圆直径或者等效直径来表征。但要注意苹果不是一个完美的球体不同品种的果形差异很大。如果用单个直径值来分级容易把果形偏扁的果子误判为小果。实际操作中我采用投影面积换算等效直径的办法公式是 D 2 * sqrt(A / π)A 为二值掩膜的像素面积再通过标定系数换算成物理尺寸。这样对果形不那么敏感的品种更友好。形状特征我用了两个指标圆度Roundness和轮廓凹凸度。圆度计算方式是 4πA / P²其中 P 是轮廓周长。标准富士苹果的圆度一般在 0.85 到 0.95 之间畸形的果子常常低于 0.8。单看圆度还不够有些果实在侧面视角下轮廓接近圆形但实际上某个区域有塌陷这时我会额外计算轮廓凸包面积与实际轮廓面积的比值称为“丰满度”。两项结合能筛掉绝大多数畸形果。颜色特征包含两个层面底色判定和着色面积比例。底色受品种影响很大红富士的底色偏黄绿花牛苹果底色偏红黄。因此系统先做品种注册每种品种保存一组HSV颜色分布模板。着色面积比例则是计算红色像素占整个果实像素的比例这是超市渠道很看重的指标。颜色特征必须在受控光源下提取否则色温一飘结果就全变了。表面缺陷是最难搞的部分。碰压伤在可见光图像上往往只是局部颜色变暗甚至没有明显色差虫眼和花斑又容易被误判为正常果点。我采用的策略是“多通道联合判定”使用颜色异常检测、边缘梯度分析和形态学筛选三层过滤。先找到可疑区域再用边缘强度确认缺陷边界是否清晰最后按面积和圆形度排除果点、果锈等干扰。这个拆解过程帮我把无标准的问题转化成了有标准的问题。每一组特征都有明确的输出区间后面做分级决策表时就不需要拍脑袋了。3. 图像采集与预处理消除环境噪声是精度的起点很多人一上来就调算法结果效果不稳定最后发现是图像采集环节出了问题。苹果表面的反光、环境光的闪烁、传送带背景干扰这些都会直接影响特征提取的稳定性。这个项目我在采集环节花的精力不比其他任何环节少。3.1 硬件选型思路工业相机还是普通摄像头这里先说明我用的相机是某品牌的千兆网工业相机500万像素全局快门。为什么不选 USB 摄像头两个原因一是普通摄像头的自动白平衡和自动曝光没法关闭光照一变它会自己调整参数导致同一箱苹果在不同时刻拍出来的颜色表现不一样这对颜色分级是致命的。二是全局快门对运动模糊的控制更好虽然我的实验台用的是静态拍摄但后期要接传送带提前把硬件冗余做出来能少走弯路。如果预算有限也可以选 USB 接口的工业相机只要确认支持手动关闭自动增益、自动白平衡这些功能即可。像素选 300 万到 500 万就够用了苹果的直径按 80mm 计算视场拍 200mm x 200mm 范围500 万像素下每个苹果能分到足够多的像素用于缺陷检测。镜头方面我用的是 8mm 定焦镜头光圈调到 F8 左右。小光圈带来更大的景深减少苹果高度差异导致的边缘虚化。光源是整个采集环节的灵魂。苹果表面是曲面直接打光会产生大面积镜面反射亮斑区域的颜色信息完全丢失。我最后选择了低角度环形光源加漫射板的方案相当于用散射光把苹果包围起来高光区域被显著压制。灯色温固定在 6500K让色彩还原一致性有保障白色 LED 板比较好买成本也低。3.2 背景与遮光一个经常被忽略的稳定性因素采集箱内部涂成哑光黑背景也是黑色绒布。为什么用黑色因为苹果轮廓与背景的灰度差异最大后续背景分割的阈值处理最简单、最稳定。如果用白色背景苹果的高光和白色背景混在一起分割难度直线上升。相机、光源、苹果的相对位置固定之后整套系统对外界环境光的抗性就很强了。我在采集箱外侧加了遮光帘实测下来室内灯光开关状态对最终特征数值的影响控制在很小范围内。这一点很重要因为很多实验室环境下跑得好好的代码一搬到车间就失效多数原因是没有做环境隔离。3.3 预处理流水线从原图到干净的果实掩膜预处理的作用是把苹果从背景中干净地分离出来同时去除噪声干扰。我的流程如下。第一步是色彩空间转换将原图从 BGR 转到 HSV。HSV 对光照变化的鲁棒性比 RGB 好而且后续做颜色判定时直接在 HSV 空间操作更直观。第二步是背景分割。我试过基于阈值的简单分割也试过基于深度学习的语义分割。结论是在固定黑色背景下传统图像处理的阈值方法就足够了而且速度更快、无需标注数据。具体做法是用 HSV 的 Saturation 通道做背景分离——黑色背景的饱和度极低而苹果表面的饱和度较高设一个饱和度阈值可以将两者分开。再配合亮度通道排除阴影区域最终得到一个二值掩膜。第三步是形态学操作。先用开运算去除掩膜上的零星小白点再用闭运算填补苹果表面反光导致的内部孔洞。这一步看似简单但对后续轮廓提取的效果影响很大如果掩膜边缘毛刺太多轮廓周长 P 会被高估圆度值就失真了。第四步是提取最大连通域排除误检区域。如果画面里意外出现其他物体最大连通域筛选能保证我们操作的对象始终是苹果。然后根据掩膜与原始图像做按位与得到干净的果实区域图像后续所有特征提取都在这个区域内完成。这段代码很多人写过但我建议不要直接抄而是要理解每一步是为什么。比如形态学核的大小我用的开运算核是 3x3闭运算是 15x15。核太大会把真实缺陷也抹掉核太小又填补不了反光孔洞。这个参数需要根据实际拍摄效果调整没有万能值。4. 颜色特征提取基于 HSV 空间实现底色与着色面积判定苹果的颜色分级有两个维度需要分开处理底色和着色。底色是果皮本身的基色着色是表面红色素的覆盖情况。这两个概念常被混为一谈但在分级标准里是完全不同的指标。4.1 主色判定给红富士建立颜色指纹我给每种品种建立了一张“颜色指纹表”本质是一个二维直方图横轴是 H 色调纵轴是 S 饱和度每个单元统计对应的像素数量。新品种上市前我会采集 30 到 50 个该品种的正常果样本用这批样本生成统计模板然后提取主色调范围和分布峰形。在实际代码实现中用到的不是复杂的机器学习模型而是 OpenCV 的直方图统计加阈值过滤。先把苹果区域的像素提取出来丢弃饱和度极低的像素那些是反光点然后在 H 通道上做直方图统计找到主要峰值位置和半高宽。峰值位置对应主色调半高宽反映底色分布范围。这种做法的好处是可解释性极强。如果发现某个苹果的主色调峰值偏移说明它可能是未成熟果或者光照异常调试时能直接定位问题。我见过有人一上来就上卷积神经网络做颜色分类效果可能不错但出了问题很难排查而且标注成本高很多。对颜色这种低阶特征传统方法往往是最优解。4.2 着色面积比例一个简单却关键的商业指标着色面积的计算要更精细一些。不同品种的“红色”定义区间不同比如红富士的红色在 HSV 空间里大致是 H 小于 10 或大于 170红色在 OpenCV 的 HSV 中围绕 0 度分布形成两个区间S 大于某个阈值。但花牛苹果的红色更深饱和度和亮度特征又不一样。我处理两段红区间的办法是把 H 通道做一次映射把 H 大于 180 的数值减 180让红色区间连续化方便统一阈值。然后计算符合条件的像素占总果实像素的比例。这里有一个常见的坑苹果表面的高光区域饱和度很低会被排除在红色判定之外但这些区域实际上可能是红色果皮。如果不做处理着色比例会被低估红色越深的苹果反光越强误差就越大。我的处理办法是先用闭运算把高光区域“修复”在高光掩膜的基础上做膨胀然后从邻近像素的颜色做插值填充。简单说就是用周围区域的色调信息替代高光区域的丢失信息保证着色面积统计的完整性。这个方法对普通红色苹果精度足够能达到产线需求。4.3 颜色均匀度与色差分布除了着色面积部分高端渠道还看颜色均匀度。我计算的是苹果表面像素与主色调的平均色差用 CIELAB 空间中的 ΔE 来表示。具体做法是先把图像从 BGR 转到 LAB计算所有像素点与主色参考的色差再做标准差统计。标准差小说明颜色均匀标准差大说明表面有杂色斑块。这个指标不参与基础分级而是作为附加评分用于优质果的“挑尖货”。某渠道曾要求底部着色的苹果优先因为底部着色的果子通常日照充分、糖度更高这个要求通过分析着色区域在掩膜中的位置分布就能实现并不需要额外增加硬件。5. 大小与形状分级轮廓测量而不是像素长宽大小测量听起来最简单但实际做的时候需要处理不少细节。第一个问题是像素尺寸到物理尺寸的标定。方法非常简单在一张白纸上画一个已知直径的黑色圆片放在与苹果相同高度的平面上拍照检测其轮廓直径的像素长度然后用物理直径除以像素直径得到标定系数。这个步骤不能只做一次就完事相机或镜头稍微松动标定系数就失效了建议每次产线调试前做一次验证。我用的标定架是一个 3D 打印的小平台固定高度和位置放上标准圆片就能快速完成标定整个过程不到一分钟。等效直径的计算公式前面提过使用的是投影面积反推。这里要注意一点苹果在传送带上可能是侧放或立放投影形状不同。侧放得到的投影面积与果实的最大横径相关最接近商用的“直径”概念。所以如果要在传送带上做动态检测尽量让苹果以固定姿态通过相机视野。我在实验台上设计了 V 型托槽保证苹果的主轴方向一致朝上这样做出来的测量结果重复性很高。形状判定中圆度和丰满度是两个组合指标。计算公式前面说过了但实际判定时建议不要用单一阈值做硬切分而是采用区间评分。比如圆度 0.9 以上为果形优0.85 到 0.9 为良0.8 到 0.85 为合格低于 0.8 为畸形。连续评分比一刀切更符合实际需求也方便与颜色、大小等其他维度的分数做加权汇总。具体代码实现是这样的找到最大轮廓后用 contourArea 计算面积用 arcLength 计算周长然后按公式计算圆度。丰满度则通过计算轮廓的凸包面积与轮廓面积的比值得到。苹果表面如果有凹陷轮廓的凸包面积会明显大于实际轮廓面积比值越接近 1 说明表面越饱满。还有一个小细节图像边缘的苹果轮廓会被截断。如果要准确测量必须保证苹果完整在视野内或者对边缘截断情况进行标记并排除。我的系统会在拍摄后自动判断苹果掩膜是否触及图像边界如果触及就发出提示建议调整输送位置。这个问题在动态产线上尤其常见因为苹果落在传送带上的位置不一定在正中央。6. 表面缺陷检测边缘比对与色差合并的实用思路表面缺陷检测是我整个项目里调试时间最长、走弯路最多的部分。苹果缺陷种类多形态差异大单一算法很难通吃。我最终的方案是三层筛选加一道人工校验的流程。6.1 颜色异常检测找到与底色偏离的区域第一层是颜色异常检测。在 LAB 色彩空间中正常果皮的颜色分布相对集中缺陷区域碰压伤、腐烂、花斑通常与周围正常果皮存在色差。我计算每个像素与局部背景均值的色差超出阈值则标记为候选缺陷区域。为了避免把苹果自身的颜色渐变误判为缺陷这里使用自适应阈值以像素周围一定半径内的邻域均值为基准做比较而不是与全局均值比较。这样能容忍自然渐变同时捕捉局部突变。这一步能检出大部分明显的花斑、腐烂区域但对颜色差异极小的碰压伤无能为力。碰压伤区域的色差可能只有几个 Lab 单位的差异肉眼都很难看出来更别提阈值分割了。6.2 边缘梯度分析碰压伤的边界线索第二层从边缘入手。碰压伤区域虽然颜色变化小但果皮表面会有微小的凹陷在特定角度光照下会产生边缘阴影或高光变化。我在灰度图上计算梯度幅值寻找局部区域中梯度分布异常的块。具体操作是把灰度图分成网格统计每个网格的梯度均值与整体均值的偏离程度。碰压伤位置因为表面曲率突变梯度分布会出现局部簇状异常。这个方法在侧向光源条件下效果最好。正打光下凹陷区域的反差太小几乎看不到改用人射角度较大的侧光之后缺陷区域在图像上会呈现局部暗带或亮带梯度特征明显增强。所以我的采集方案在环形主光源之外额外加了一路可切换角度的侧向辅助光专门用于缺陷检测模式。这个设计思路是在调试了各种光源方案之后总结出来的。6.3 形态学筛选排除果点与果锈等干扰第三层是形态学筛选。颜色异常和边缘分析都会产生大量小面积的误检区域主要是果点果皮上的小斑点和果锈。果点的特点是面积小、形状近似圆形且分布分散真正的缺陷往往面积更大、形状更不规则。我按照候选区域的面积、圆形度、长宽比设定过滤条件面积过小的直接丢弃圆形度接近 1 的也倾向于判为果点。但有一个例外如果某个区域面积不大但颜色偏离程度非常严重比如深褐色或黑色仍然要判为缺陷因为这很可能是虫眼。三层筛选的输出是一份“缺陷候选地图”。实际测试中这套方案对腐烂斑、花斑、严重碰压伤的检出率很高对轻微碰压伤的检出率略低但实用性已经可以接受。毕竟人工分级对轻微碰压伤同样容易漏检系统的稳定性反而更好。最后加一道校验逻辑多个缺陷区域位置相邻时合并为一个缺陷并计算总面积。分级决策中缺陷面积占果实投影面积的比例是一个连续值按比例赋予不同档位。7. 综合分级决策让分级标准可配置而不是写死在代码里特征都提取完了最后要回答的问题是一个苹果大小第几等、颜色第几等、缺陷是否超标最终应该归入哪个总等级这里需要一套清晰的分级决策表。7.1 分级决策表与可配置权重我设计的决策逻辑不是简单的加权求和而是先按缺陷做硬性否决再按大小和颜色做组合定级。原因很现实有腐烂斑的苹果无论如何不能进一级果哪怕它又大又红。硬性否决项有三个缺陷面积占比超过阈值比如一级果不超过 2%、存在虫眼类深色斑点、果形严重畸形。任何一项触发就直接降级或淘汰。通过硬性否决后剩余指标按得分累加。大小得分、颜色得分、形状得分分别映射到 0 到 100 分区间然后加权汇总。权重是可配置的存放在一个 JSON 文件里果企可以根据不同渠道的要求调整。比如某大型商超渠道更看重颜色权重设为 0.5大小 0.3形状 0.2电商小规格装渠道更看重大小均匀性就把大小的权重提高。这种做法在工程上非常实用。因为需求方常常会提“能不能把颜色要求再严格一点”这种新需求如果权重写在代码里每次都要改程序重新部署。做成配置文件后现场调整只需要改几个数字大大减少了沟通成本。7.2 分级输出的可视化与追溯除了给出最终等级系统还会输出一张标注图像把检测到的轮廓、缺陷区域、尺寸信息、颜色信息直接画在图上。这张图有两个用途一是给现场操作人员做人工复检参考二是给果企留档追溯。万一后续果品出现客诉可以回头查这套系统当时拍下的图像记录判断是不是分级环节出了问题。我建议所有图像数据按批次存储文件名包含时间戳和传送带序号。存储目录按日期组织定期清理超过保留期的数据。虽然增加了一些硬盘开销但换来的可追溯性在商业项目中非常值得。7.3 系统集成与通信方式系统软硬件之间的通信我用的是简单的 TCP 协议。检测程序在收到某个硬件触发信号光电传感器后开始采集和分析分析完成后把结果通过 TCP 发送给下位机由下位机驱动执行机构把苹果分配到对应等级的通道。这部分在实验阶段可以用串口助手模拟验证逻辑非常简单。但这里有一个容易被忽略的时序问题分析耗时必须小于苹果在输送带上通过工位的时间。苹果在传送带上移动距离为 D速度为 V可用分析时间就是 D/V。我的单帧处理时间大概在 150 到 200 毫秒包括采集和所有特征提取所以对应的产线速度其实有限。提高产线速度就要考虑更高效的实现方式比如并行流水线、使用多线程或者把部分计算放到 GPU 上。如果明确要求每秒处理十个以上苹果纯图像处理方案的硬件成本会明显上升需要用更高性能的相机和算子优化。这个现实约束在项目初期就要和客户确认清楚。8. 参数调试与现场工程化的几个教训系统跑通和跑稳之间隔着一大段距离。我在这个项目里收获最多的不是哪段代码写得多巧妙而是那些只有在现场才会暴露出来的问题。8.1 光照衰减与光源老化的隐患LED 光源用久了会有亮度衰减尤其在车间粉尘环境下衰减更快。我的系统在连续运行两周后发现同一箱苹果的着色比例出现了系统性偏差排查了很久才锁定是光源亮度下降导致的。解决办法是在系统中加入一个标准色卡的定期校验流程每天开机后拍一张标准色卡对比关键通道的均值。如果偏离基线超过一定百分比就提示需要进行光源校准或更换。这个小工具非常简单但能避免系统在不知不觉中偏离精度。8.2 苹果表面水分与灰尘干扰从冷库出来的苹果表面常常有冷凝水珠。水珠会形成局部高光干扰颜色和缺陷判断。如果是露天存储的苹果表面还可能附着泥点泥点会被误判为缺陷区域。针对这个问题我在预处理阶段增加了一层高光和水珠掩膜检测。根据高光区域的形状和亮度特征将其从缺陷候选中排除。泥点的问题处理起来更棘手因为它确实会遮挡果皮信息。我目前的策略是如果泥点面积超过一定比例将样本标记为“待人工复核”而不是直接判级。人工复检的成本虽然存在但比误判带来的客诉成本低得多。8.3 不同批次苹果的标准漂移不同批次的苹果即使同一个品种颜色分布也会有差异。早期系统用固定的 HSV 阈值做颜色判定发现某年新上市的苹果着色普遍偏浅被误判为未成熟。后来我把颜色特征判定改成了动态基准模式每批次开始前先用抽检的 10 个样本建立该批次的基准颜色分布然后用偏离基准的程度做分级而不是用绝对阈值。这个方法在实际生产中大幅降低了批间误判率。当然前提是同一批次内苹果本身的品质差异不能太大否则基准本身就不可靠。8.4 建议每一个做实机项目的朋友尽量不要在仿真环境里调参数。有些问题只有把设备摆在真实场地里才会出现比如车间振动、传送带晃动、隔壁设备产生的电磁干扰。我的习惯是先跑通功能再花 30% 的时间做鲁棒性测试然后至少用一周时间做长期稳定性观察。宁可自己在现场多盯几天也不要等客户打电话来说设备出问题。这套系统做下来我自己的感受是机器视觉分级系统的核心竞争力和算法先进程度关系没那么大更多是在工程细节里抠出来的稳定性。把采集环境控制好、把特征定义清楚、把决策逻辑做可配置、再把现场可能出现的干扰逐一消化掉这套框架可以复用到很多农产品分选场景。苹果只是第一站。
1. 从一个分拣难题说起为什么苹果品质分级需要机器视觉过去几年我自己一直在折腾机器视觉相关的项目最常见的需求不是人脸识别也不是自动驾驶而是各种“看着简单、做起来一堆坑”的传统工业分拣问题。苹果品质分级就是其中很有代表性的一个普通人觉得“不就是按大小颜色分个类吗”但真正站在分拣线旁边看一个小时就会发现人工分拣的疲劳速度远超想象。一个熟练工每分钟能分拣几十个苹果但连续工作两个小时之后误判率明显上升尤其是大小相近、颜色有细微差异的果子标准很容易漂移。果企真正想要的不是“分得比人快”而是“全天候保持同一套标准”。我之前帮某果企做了一套基于机器视觉的苹果品质分级系统整个过程走下来发现真正的技术难点其实不在算法模型的复杂度而在于怎么把“品质”这个模糊概念翻译成可计算的视觉特征以及怎么在真实产线的光照、震动、速度条件下保持稳定。这个项目我从硬件选型、图像采集到特征提取和分级决策全部独立完成走了不少弯路也沉淀了一套可以复用的方法。这篇文章就把整个设计与实现过程拆开来讲包括为什么选这套方案而不是那套方案、每一步操作背后的逻辑、以及实际跑产线时踩过的坑。这套系统能做什么先给一个明确的范围界定它面向的是静态或慢速移动状态下的单个苹果表观品质分级核心指标涵盖大小直径或投影面积、形状圆整度、底色颜色青红比例、表面缺陷碰压伤、花斑、虫眼等。不涉及内部品质如糖度、酸度的无损检测那些需要近红外光谱设备是另一个技术分支。无论你是刚开始接触机器视觉的学生、想给家里果园做小型分拣机的爱好者还是产线技术负责人想评估视觉分级方案的可行性这篇文章都可以作为一份偏向实战的参考我会把每个环节的取舍逻辑都讲清楚。2. 分级指标拆解哪些特征能真正区分苹果品质在做任何视觉项目之前第一件事不是打开相机而是和需求方把分级标准谈清楚。苹果分级其实是有行业惯用维度的但不同渠道差异很大收购商可能更看重大小和底色超市渠道对表面缺陷和果形要求更严格电商小份装又会额外关注颜色均匀度。系统设计必须把这些维度映射成视觉上可提取的特征。我把分级指标拆成了四组大小、形状、颜色、表面缺陷。大小是最容易量化的。正面拍摄苹果时可以用轮廓的外接圆直径或者等效直径来表征。但要注意苹果不是一个完美的球体不同品种的果形差异很大。如果用单个直径值来分级容易把果形偏扁的果子误判为小果。实际操作中我采用投影面积换算等效直径的办法公式是 D 2 * sqrt(A / π)A 为二值掩膜的像素面积再通过标定系数换算成物理尺寸。这样对果形不那么敏感的品种更友好。形状特征我用了两个指标圆度Roundness和轮廓凹凸度。圆度计算方式是 4πA / P²其中 P 是轮廓周长。标准富士苹果的圆度一般在 0.85 到 0.95 之间畸形的果子常常低于 0.8。单看圆度还不够有些果实在侧面视角下轮廓接近圆形但实际上某个区域有塌陷这时我会额外计算轮廓凸包面积与实际轮廓面积的比值称为“丰满度”。两项结合能筛掉绝大多数畸形果。颜色特征包含两个层面底色判定和着色面积比例。底色受品种影响很大红富士的底色偏黄绿花牛苹果底色偏红黄。因此系统先做品种注册每种品种保存一组HSV颜色分布模板。着色面积比例则是计算红色像素占整个果实像素的比例这是超市渠道很看重的指标。颜色特征必须在受控光源下提取否则色温一飘结果就全变了。表面缺陷是最难搞的部分。碰压伤在可见光图像上往往只是局部颜色变暗甚至没有明显色差虫眼和花斑又容易被误判为正常果点。我采用的策略是“多通道联合判定”使用颜色异常检测、边缘梯度分析和形态学筛选三层过滤。先找到可疑区域再用边缘强度确认缺陷边界是否清晰最后按面积和圆形度排除果点、果锈等干扰。这个拆解过程帮我把无标准的问题转化成了有标准的问题。每一组特征都有明确的输出区间后面做分级决策表时就不需要拍脑袋了。3. 图像采集与预处理消除环境噪声是精度的起点很多人一上来就调算法结果效果不稳定最后发现是图像采集环节出了问题。苹果表面的反光、环境光的闪烁、传送带背景干扰这些都会直接影响特征提取的稳定性。这个项目我在采集环节花的精力不比其他任何环节少。3.1 硬件选型思路工业相机还是普通摄像头这里先说明我用的相机是某品牌的千兆网工业相机500万像素全局快门。为什么不选 USB 摄像头两个原因一是普通摄像头的自动白平衡和自动曝光没法关闭光照一变它会自己调整参数导致同一箱苹果在不同时刻拍出来的颜色表现不一样这对颜色分级是致命的。二是全局快门对运动模糊的控制更好虽然我的实验台用的是静态拍摄但后期要接传送带提前把硬件冗余做出来能少走弯路。如果预算有限也可以选 USB 接口的工业相机只要确认支持手动关闭自动增益、自动白平衡这些功能即可。像素选 300 万到 500 万就够用了苹果的直径按 80mm 计算视场拍 200mm x 200mm 范围500 万像素下每个苹果能分到足够多的像素用于缺陷检测。镜头方面我用的是 8mm 定焦镜头光圈调到 F8 左右。小光圈带来更大的景深减少苹果高度差异导致的边缘虚化。光源是整个采集环节的灵魂。苹果表面是曲面直接打光会产生大面积镜面反射亮斑区域的颜色信息完全丢失。我最后选择了低角度环形光源加漫射板的方案相当于用散射光把苹果包围起来高光区域被显著压制。灯色温固定在 6500K让色彩还原一致性有保障白色 LED 板比较好买成本也低。3.2 背景与遮光一个经常被忽略的稳定性因素采集箱内部涂成哑光黑背景也是黑色绒布。为什么用黑色因为苹果轮廓与背景的灰度差异最大后续背景分割的阈值处理最简单、最稳定。如果用白色背景苹果的高光和白色背景混在一起分割难度直线上升。相机、光源、苹果的相对位置固定之后整套系统对外界环境光的抗性就很强了。我在采集箱外侧加了遮光帘实测下来室内灯光开关状态对最终特征数值的影响控制在很小范围内。这一点很重要因为很多实验室环境下跑得好好的代码一搬到车间就失效多数原因是没有做环境隔离。3.3 预处理流水线从原图到干净的果实掩膜预处理的作用是把苹果从背景中干净地分离出来同时去除噪声干扰。我的流程如下。第一步是色彩空间转换将原图从 BGR 转到 HSV。HSV 对光照变化的鲁棒性比 RGB 好而且后续做颜色判定时直接在 HSV 空间操作更直观。第二步是背景分割。我试过基于阈值的简单分割也试过基于深度学习的语义分割。结论是在固定黑色背景下传统图像处理的阈值方法就足够了而且速度更快、无需标注数据。具体做法是用 HSV 的 Saturation 通道做背景分离——黑色背景的饱和度极低而苹果表面的饱和度较高设一个饱和度阈值可以将两者分开。再配合亮度通道排除阴影区域最终得到一个二值掩膜。第三步是形态学操作。先用开运算去除掩膜上的零星小白点再用闭运算填补苹果表面反光导致的内部孔洞。这一步看似简单但对后续轮廓提取的效果影响很大如果掩膜边缘毛刺太多轮廓周长 P 会被高估圆度值就失真了。第四步是提取最大连通域排除误检区域。如果画面里意外出现其他物体最大连通域筛选能保证我们操作的对象始终是苹果。然后根据掩膜与原始图像做按位与得到干净的果实区域图像后续所有特征提取都在这个区域内完成。这段代码很多人写过但我建议不要直接抄而是要理解每一步是为什么。比如形态学核的大小我用的开运算核是 3x3闭运算是 15x15。核太大会把真实缺陷也抹掉核太小又填补不了反光孔洞。这个参数需要根据实际拍摄效果调整没有万能值。4. 颜色特征提取基于 HSV 空间实现底色与着色面积判定苹果的颜色分级有两个维度需要分开处理底色和着色。底色是果皮本身的基色着色是表面红色素的覆盖情况。这两个概念常被混为一谈但在分级标准里是完全不同的指标。4.1 主色判定给红富士建立颜色指纹我给每种品种建立了一张“颜色指纹表”本质是一个二维直方图横轴是 H 色调纵轴是 S 饱和度每个单元统计对应的像素数量。新品种上市前我会采集 30 到 50 个该品种的正常果样本用这批样本生成统计模板然后提取主色调范围和分布峰形。在实际代码实现中用到的不是复杂的机器学习模型而是 OpenCV 的直方图统计加阈值过滤。先把苹果区域的像素提取出来丢弃饱和度极低的像素那些是反光点然后在 H 通道上做直方图统计找到主要峰值位置和半高宽。峰值位置对应主色调半高宽反映底色分布范围。这种做法的好处是可解释性极强。如果发现某个苹果的主色调峰值偏移说明它可能是未成熟果或者光照异常调试时能直接定位问题。我见过有人一上来就上卷积神经网络做颜色分类效果可能不错但出了问题很难排查而且标注成本高很多。对颜色这种低阶特征传统方法往往是最优解。4.2 着色面积比例一个简单却关键的商业指标着色面积的计算要更精细一些。不同品种的“红色”定义区间不同比如红富士的红色在 HSV 空间里大致是 H 小于 10 或大于 170红色在 OpenCV 的 HSV 中围绕 0 度分布形成两个区间S 大于某个阈值。但花牛苹果的红色更深饱和度和亮度特征又不一样。我处理两段红区间的办法是把 H 通道做一次映射把 H 大于 180 的数值减 180让红色区间连续化方便统一阈值。然后计算符合条件的像素占总果实像素的比例。这里有一个常见的坑苹果表面的高光区域饱和度很低会被排除在红色判定之外但这些区域实际上可能是红色果皮。如果不做处理着色比例会被低估红色越深的苹果反光越强误差就越大。我的处理办法是先用闭运算把高光区域“修复”在高光掩膜的基础上做膨胀然后从邻近像素的颜色做插值填充。简单说就是用周围区域的色调信息替代高光区域的丢失信息保证着色面积统计的完整性。这个方法对普通红色苹果精度足够能达到产线需求。4.3 颜色均匀度与色差分布除了着色面积部分高端渠道还看颜色均匀度。我计算的是苹果表面像素与主色调的平均色差用 CIELAB 空间中的 ΔE 来表示。具体做法是先把图像从 BGR 转到 LAB计算所有像素点与主色参考的色差再做标准差统计。标准差小说明颜色均匀标准差大说明表面有杂色斑块。这个指标不参与基础分级而是作为附加评分用于优质果的“挑尖货”。某渠道曾要求底部着色的苹果优先因为底部着色的果子通常日照充分、糖度更高这个要求通过分析着色区域在掩膜中的位置分布就能实现并不需要额外增加硬件。5. 大小与形状分级轮廓测量而不是像素长宽大小测量听起来最简单但实际做的时候需要处理不少细节。第一个问题是像素尺寸到物理尺寸的标定。方法非常简单在一张白纸上画一个已知直径的黑色圆片放在与苹果相同高度的平面上拍照检测其轮廓直径的像素长度然后用物理直径除以像素直径得到标定系数。这个步骤不能只做一次就完事相机或镜头稍微松动标定系数就失效了建议每次产线调试前做一次验证。我用的标定架是一个 3D 打印的小平台固定高度和位置放上标准圆片就能快速完成标定整个过程不到一分钟。等效直径的计算公式前面提过使用的是投影面积反推。这里要注意一点苹果在传送带上可能是侧放或立放投影形状不同。侧放得到的投影面积与果实的最大横径相关最接近商用的“直径”概念。所以如果要在传送带上做动态检测尽量让苹果以固定姿态通过相机视野。我在实验台上设计了 V 型托槽保证苹果的主轴方向一致朝上这样做出来的测量结果重复性很高。形状判定中圆度和丰满度是两个组合指标。计算公式前面说过了但实际判定时建议不要用单一阈值做硬切分而是采用区间评分。比如圆度 0.9 以上为果形优0.85 到 0.9 为良0.8 到 0.85 为合格低于 0.8 为畸形。连续评分比一刀切更符合实际需求也方便与颜色、大小等其他维度的分数做加权汇总。具体代码实现是这样的找到最大轮廓后用 contourArea 计算面积用 arcLength 计算周长然后按公式计算圆度。丰满度则通过计算轮廓的凸包面积与轮廓面积的比值得到。苹果表面如果有凹陷轮廓的凸包面积会明显大于实际轮廓面积比值越接近 1 说明表面越饱满。还有一个小细节图像边缘的苹果轮廓会被截断。如果要准确测量必须保证苹果完整在视野内或者对边缘截断情况进行标记并排除。我的系统会在拍摄后自动判断苹果掩膜是否触及图像边界如果触及就发出提示建议调整输送位置。这个问题在动态产线上尤其常见因为苹果落在传送带上的位置不一定在正中央。6. 表面缺陷检测边缘比对与色差合并的实用思路表面缺陷检测是我整个项目里调试时间最长、走弯路最多的部分。苹果缺陷种类多形态差异大单一算法很难通吃。我最终的方案是三层筛选加一道人工校验的流程。6.1 颜色异常检测找到与底色偏离的区域第一层是颜色异常检测。在 LAB 色彩空间中正常果皮的颜色分布相对集中缺陷区域碰压伤、腐烂、花斑通常与周围正常果皮存在色差。我计算每个像素与局部背景均值的色差超出阈值则标记为候选缺陷区域。为了避免把苹果自身的颜色渐变误判为缺陷这里使用自适应阈值以像素周围一定半径内的邻域均值为基准做比较而不是与全局均值比较。这样能容忍自然渐变同时捕捉局部突变。这一步能检出大部分明显的花斑、腐烂区域但对颜色差异极小的碰压伤无能为力。碰压伤区域的色差可能只有几个 Lab 单位的差异肉眼都很难看出来更别提阈值分割了。6.2 边缘梯度分析碰压伤的边界线索第二层从边缘入手。碰压伤区域虽然颜色变化小但果皮表面会有微小的凹陷在特定角度光照下会产生边缘阴影或高光变化。我在灰度图上计算梯度幅值寻找局部区域中梯度分布异常的块。具体操作是把灰度图分成网格统计每个网格的梯度均值与整体均值的偏离程度。碰压伤位置因为表面曲率突变梯度分布会出现局部簇状异常。这个方法在侧向光源条件下效果最好。正打光下凹陷区域的反差太小几乎看不到改用人射角度较大的侧光之后缺陷区域在图像上会呈现局部暗带或亮带梯度特征明显增强。所以我的采集方案在环形主光源之外额外加了一路可切换角度的侧向辅助光专门用于缺陷检测模式。这个设计思路是在调试了各种光源方案之后总结出来的。6.3 形态学筛选排除果点与果锈等干扰第三层是形态学筛选。颜色异常和边缘分析都会产生大量小面积的误检区域主要是果点果皮上的小斑点和果锈。果点的特点是面积小、形状近似圆形且分布分散真正的缺陷往往面积更大、形状更不规则。我按照候选区域的面积、圆形度、长宽比设定过滤条件面积过小的直接丢弃圆形度接近 1 的也倾向于判为果点。但有一个例外如果某个区域面积不大但颜色偏离程度非常严重比如深褐色或黑色仍然要判为缺陷因为这很可能是虫眼。三层筛选的输出是一份“缺陷候选地图”。实际测试中这套方案对腐烂斑、花斑、严重碰压伤的检出率很高对轻微碰压伤的检出率略低但实用性已经可以接受。毕竟人工分级对轻微碰压伤同样容易漏检系统的稳定性反而更好。最后加一道校验逻辑多个缺陷区域位置相邻时合并为一个缺陷并计算总面积。分级决策中缺陷面积占果实投影面积的比例是一个连续值按比例赋予不同档位。7. 综合分级决策让分级标准可配置而不是写死在代码里特征都提取完了最后要回答的问题是一个苹果大小第几等、颜色第几等、缺陷是否超标最终应该归入哪个总等级这里需要一套清晰的分级决策表。7.1 分级决策表与可配置权重我设计的决策逻辑不是简单的加权求和而是先按缺陷做硬性否决再按大小和颜色做组合定级。原因很现实有腐烂斑的苹果无论如何不能进一级果哪怕它又大又红。硬性否决项有三个缺陷面积占比超过阈值比如一级果不超过 2%、存在虫眼类深色斑点、果形严重畸形。任何一项触发就直接降级或淘汰。通过硬性否决后剩余指标按得分累加。大小得分、颜色得分、形状得分分别映射到 0 到 100 分区间然后加权汇总。权重是可配置的存放在一个 JSON 文件里果企可以根据不同渠道的要求调整。比如某大型商超渠道更看重颜色权重设为 0.5大小 0.3形状 0.2电商小规格装渠道更看重大小均匀性就把大小的权重提高。这种做法在工程上非常实用。因为需求方常常会提“能不能把颜色要求再严格一点”这种新需求如果权重写在代码里每次都要改程序重新部署。做成配置文件后现场调整只需要改几个数字大大减少了沟通成本。7.2 分级输出的可视化与追溯除了给出最终等级系统还会输出一张标注图像把检测到的轮廓、缺陷区域、尺寸信息、颜色信息直接画在图上。这张图有两个用途一是给现场操作人员做人工复检参考二是给果企留档追溯。万一后续果品出现客诉可以回头查这套系统当时拍下的图像记录判断是不是分级环节出了问题。我建议所有图像数据按批次存储文件名包含时间戳和传送带序号。存储目录按日期组织定期清理超过保留期的数据。虽然增加了一些硬盘开销但换来的可追溯性在商业项目中非常值得。7.3 系统集成与通信方式系统软硬件之间的通信我用的是简单的 TCP 协议。检测程序在收到某个硬件触发信号光电传感器后开始采集和分析分析完成后把结果通过 TCP 发送给下位机由下位机驱动执行机构把苹果分配到对应等级的通道。这部分在实验阶段可以用串口助手模拟验证逻辑非常简单。但这里有一个容易被忽略的时序问题分析耗时必须小于苹果在输送带上通过工位的时间。苹果在传送带上移动距离为 D速度为 V可用分析时间就是 D/V。我的单帧处理时间大概在 150 到 200 毫秒包括采集和所有特征提取所以对应的产线速度其实有限。提高产线速度就要考虑更高效的实现方式比如并行流水线、使用多线程或者把部分计算放到 GPU 上。如果明确要求每秒处理十个以上苹果纯图像处理方案的硬件成本会明显上升需要用更高性能的相机和算子优化。这个现实约束在项目初期就要和客户确认清楚。8. 参数调试与现场工程化的几个教训系统跑通和跑稳之间隔着一大段距离。我在这个项目里收获最多的不是哪段代码写得多巧妙而是那些只有在现场才会暴露出来的问题。8.1 光照衰减与光源老化的隐患LED 光源用久了会有亮度衰减尤其在车间粉尘环境下衰减更快。我的系统在连续运行两周后发现同一箱苹果的着色比例出现了系统性偏差排查了很久才锁定是光源亮度下降导致的。解决办法是在系统中加入一个标准色卡的定期校验流程每天开机后拍一张标准色卡对比关键通道的均值。如果偏离基线超过一定百分比就提示需要进行光源校准或更换。这个小工具非常简单但能避免系统在不知不觉中偏离精度。8.2 苹果表面水分与灰尘干扰从冷库出来的苹果表面常常有冷凝水珠。水珠会形成局部高光干扰颜色和缺陷判断。如果是露天存储的苹果表面还可能附着泥点泥点会被误判为缺陷区域。针对这个问题我在预处理阶段增加了一层高光和水珠掩膜检测。根据高光区域的形状和亮度特征将其从缺陷候选中排除。泥点的问题处理起来更棘手因为它确实会遮挡果皮信息。我目前的策略是如果泥点面积超过一定比例将样本标记为“待人工复核”而不是直接判级。人工复检的成本虽然存在但比误判带来的客诉成本低得多。8.3 不同批次苹果的标准漂移不同批次的苹果即使同一个品种颜色分布也会有差异。早期系统用固定的 HSV 阈值做颜色判定发现某年新上市的苹果着色普遍偏浅被误判为未成熟。后来我把颜色特征判定改成了动态基准模式每批次开始前先用抽检的 10 个样本建立该批次的基准颜色分布然后用偏离基准的程度做分级而不是用绝对阈值。这个方法在实际生产中大幅降低了批间误判率。当然前提是同一批次内苹果本身的品质差异不能太大否则基准本身就不可靠。8.4 建议每一个做实机项目的朋友尽量不要在仿真环境里调参数。有些问题只有把设备摆在真实场地里才会出现比如车间振动、传送带晃动、隔壁设备产生的电磁干扰。我的习惯是先跑通功能再花 30% 的时间做鲁棒性测试然后至少用一周时间做长期稳定性观察。宁可自己在现场多盯几天也不要等客户打电话来说设备出问题。这套系统做下来我自己的感受是机器视觉分级系统的核心竞争力和算法先进程度关系没那么大更多是在工程细节里抠出来的稳定性。把采集环境控制好、把特征定义清楚、把决策逻辑做可配置、再把现场可能出现的干扰逐一消化掉这套框架可以复用到很多农产品分选场景。苹果只是第一站。
)
![[Bug已解决] 从旧会话 fork 进 worktree 前卡在创建子线程：TaoToken 统一 Key 通道下的 fork 与线程安全方案](http://pic.xiahunao.cn/yaotu/[Bug已解决] 从旧会话 fork 进 worktree 前卡在创建子线程：TaoToken 统一 Key 通道下的 fork 与线程安全方案)
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
