做果蔬加工的朋友应该都有体会分选线上的“挑坏果”这道工序看着简单其实是最难自动化的一环。不同品类的缺陷形态差异极大——有的是磕碰造成的褐变有的是霉变白斑有的是果皮疤痕——而且同一种缺陷在不同品种、不同成熟度上的表现可能完全不一样。传统机器视觉靠固定阈值去分换个光照、换个批次就失灵。这几年我陆陆续续做了几个用机器学习做缺陷水果分选的项目其中一个典型做法就是在Matlab里快速完成算法验证再迁移到产线设备。这篇文章就把这套流程拆开讲清楚从数据准备、特征与模型选型到Matlab代码主干、评估调优再到真正上线会遇到的工程问题一次说透。想做缺陷水果分选、或者刚接触农产品视觉检测开发的人都可以拿这套思路作为起点。1. 缺陷分选的任务本质先定义问题再谈算法很多人在做这类项目时容易一上来就抱着深度学习模型不放结果数据集只有几百张图模型训出来连自己都不信。我的经验是先把“筛什么、分几类、目标是什么”这三件事彻底理清楚再谈具体用哪种算法。1.1 缺陷的类型与分级标准决定了算法的输出设计水果缺陷在视觉上并不是同一个概念至少可以分成这样几类缺陷类型典型表现视觉特征磕碰伤撞击后局部褐变区域边缘模糊颜色由黄褐色向深褐色过渡腐烂/霉变表面软烂、菌丝或霉斑颜色突变明显常伴随凹陷或绒毛感疤痕/果锈生长期表皮损伤颜色与正常果皮差异小纹理粗糙虫眼/孔洞虫蛀造成的凹陷或开口局部暗色边缘锐利畸形形状偏离正常果形轮廓不规则与其他缺陷不同属于形状问题这五类缺陷对应的视觉特征差异很大意味着同一个模型的输入设计也可能不同。磕碰伤和腐烂适合用颜色与纹理特征捕捉畸形更适合分析轮廓形状而疤痕如果颜色接近正常果皮可能要靠局部纹理细节才能抓住。更重要的是分拣目标通常不止“好果/坏果”二分类。产线上常见的需求是三级分选无缺陷、轻微缺陷可打折销售、严重缺陷直接剔除。这个输出设计直接决定了最后的分类层是二分类还是三分类也决定了评估指标怎么定。1.2 为什么固定阈值和人工规则在坏果面前会被打穿早期做机器视觉分选最常见的方案是用颜色空间加阈值把RGB转到HSV或者Lab然后对某个通道设一个范围超出范围就判为缺陷。这个思路在玩具数据上看着没问题一上产线就崩原因是这样几个一是光照不均。同一个苹果表面高光区域和阴影区域的像素值差异可能比好果和坏果的差异还大。阈值一旦固定高光处的好果会被误杀。二是缺陷颜色与正常果皮颜色接近。比如苹果的果锈和正常红晕之间、梨的碰伤和自然黄褐色之间在颜色上几乎没有清晰的界线。三是缺陷可能是局部的。一个果子95%是好的只有一小块烂点。如果只统计全局平均色这个小面积缺陷很容易被淹没如果做像素级阈值又会被果柄、花萼这些本身颜色比较深的部分干扰。所以纯规则的方案只能在品种单一、光照控制极好、缺陷形态非常标准的条件下工作。一旦换成自然种植的水果规则就开始失效。这个场景下机器学习能自动从样本中学习“缺陷到底长什么样”尤其是小的局部异常比人工写规则靠谱得多。1.3 机器学习介入的三个切入点根据项目需求和数据集条件大概有三条路线可以选整图分类输入一张果图输出是“好果/轻微缺陷/严重缺陷”。适合传送带上单果逐个拍照的场景实现最简单。区域检测/分割在图上定位缺陷区域输出缺陷位置的边界框或像素掩膜。适合需要知道“坏在哪、有多大”的场景比如自动化削皮或精准切割。质量评分回归输出一个连续的质量分数。适合做出口分级比如按0到100分打分再映射到不同等级。这三个切入点不是互斥的。我接触过的一个分选项目是先做整图分类三分类把严重缺陷的果直接淘汰剩下“轻微缺陷”的果再用区域检测找到缺陷位置好让后端工人快速确认能不能降价售卖。这样既控制了初期实现难度又满足业务需要。2. 样本与标注缺陷数据比模型更值得投入说句实在话这类项目能不能成七成取决于数据三成才取决于模型。但现实中大家最不重视的就是数据采集。很多项目组拿了一个公开果蔬数据集就开始跑代码模型在公开数据上准确率很高到了自己产线上连一半都不到。原因很简单产线上的光照、相机角度、品种和公开数据集完全不一样。2.1 采集环境的几个关键设置采集图像的目标不是“拍得好看”而是“拍得稳定”。同一个类别里光照引起的差异越少模型越好学。我常用的设置是这样的背景选择深色哑光板纯黑或深蓝。这样后续做背景分割时HSV的饱和度通道能非常干净地把水果和背景分开。光源用漫射光LED面板最好加遮光罩避免水果表面出现镜面反射。高光的区域在图像上是白色一片如果出现在训练集太多模型容易把这部分误学成特征。相机高度和角度固定水果从传送带上滚过时尽量让果萼/果柄朝向侧面。角度一多变同一个果子的外观差异会非常大增加了不必要的分类难度。分辨率不用太高500万像素其实已经够用。更关键的是每颗果在画面里的占比要基本一致不要让小果和大果的成像尺寸差很多。采集数量上我建议至少覆盖三个维度品种、成熟度、产地批次。每个维度下的缺陷形态都会有差异如果只采一批果模型上线遇到新批次大概率翻车。2.2 标注粒度整图、框选还是像素级这一步决定了标注成本也决定了后面能做什么。标注方式成本能支持的算法适用场景整图级低图像分类大样本快速摸底矩形框中目标检测需要定位缺陷位置像素级掩膜高分割模型需要精确计算缺陷面积如果项目目标是先做分类分选我强烈建议初期先不要做像素级标注。用文件夹结构组织数据一个类别一个文件夹Matlab的imageDatastore直接读取半天就能建好一个可训练的数据集。后期如果需要上线区域检测再挑一批样本做框选或掩膜标注。要特别提醒的是标注标准的统一。比如“轻微碰伤”和“严重碰伤”谁说了算如果三个标注员标准不一样模型学到的东西就会混乱。我一般会先写一版标注规范配几组典型的参考图然后让标注人员先标50张我来检查一遍把分歧点全部统一后再扩大标注规模。2.3 增强与类别平衡把少量缺陷样本用出十倍效果缺陷水果的数据集天然不平衡好果数量远多于烂果。这很正常因为真实产线上合格率可能就是90%以上。问题是如果直接用原始比例训练分类器模型会把所有样本都判成好果整体准确率依然很高但烂果一个都没拦住。处理思路有两个方向。第一个是过采样对缺陷类做图像增强让模型看到更多变换。第二个是代价敏感在训练时给缺陷类的误判更高的惩罚权重。Matlab里做增强非常方便augmentedImageDatastore集成了旋转、平移、缩放、反射这些操作。我自己会额外加这三样亮度扰动±20%模拟不同曝光条件。高斯噪声模拟传感器噪声。随机局部遮挡模拟果梗、叶片遮挡的情况。有一点要注意不要过度增强。有一个常见的失败案例把图像旋转90度后苹果看起来还是苹果但把长条形的香蕉旋转成竖直外观形态就失真了反而引入了错误样本。增强操作必须符合这个水果品类在真实分选线上可能出现的姿态。3. 模型选型小样本SVM与大样本CNN的边界模型选型没有绝对的最佳只有合不合适。对于这种单品种水果的缺陷分类任务我通常按数据集规模画一条线初始样本总数在几千张以内走特征工程加SVM的路线数据量达到数万张或者缺陷形态特别复杂再用卷积神经网络。3.1 特征工程加SVM千级样本下的稳妥路线传统机器学习的核心是把图像变成一组有判别力的数值特征。对水果缺陷分类我常用下面这组特征组合颜色特征在HSV空间分别计算均值、标准差必要时加入颜色直方图。HSV比RGB更适合描述光照差异能把“同一颗果在不同亮度下”的差异尽量缩小。纹理特征用灰度共生矩阵GLCM提取对比度、能量、同质性。磕碰伤和腐烂区域在纹理上往往是粗糙的和光滑果皮差异明显。形状特征面积、周长、圆形度、主轴长度比。对畸形果的识别特别有效。这组特征计算量不大维度也不高十几维到几十维完全不需要GPU。配合RBF核的SVM在几百到几千样本量下泛化能力强于很多复杂模型而且训练只需几秒钟。为什么这个组合在中小样本下比CNN靠谱是因为手动特征已经先把人类经验注入进去了。比如我们明确知道颜色和纹理对缺陷判别很重要就主动提取了这两类信息。而CNN要从零开始学这两个概念需要大量样本才能学到数据一少就过拟合。3.2 迁移学习与CNN什么时候值得切换当条件变成这样几个我建议切换到CNN缺陷类型多且外观变化大手动特征开始不够用。样本量已经过万或者能拿到一个同品类相近的预训练模型做迁移学习。产线光照环境无法完全控制要求模型对光照变化有更强的鲁棒性。CNN方案在Matlab里通常不是从零开始训练而是用预训练网络做迁移学习。把网络的最后几层换掉用果蔬数据微调前面的特征提取层。这样做的好处是前面卷积层学到的边缘、纹理、颜色渐变等基础视觉特征可以复用大大降低了对数据量的要求。这里有一种常见的误解以为迁移学习就不用准备太多数据了。实际上迁移学习解决的是“特征提取能力”的起点问题但“缺陷长什么样”这件事依然要靠你的数据教给它。如果自己的缺陷样本太少迁移学习也一样过拟合。3.3 为什么用Matlab做这个项目最顺手我在这类项目里用过Python也用过Matlab现在可以坦然地说Matlab不是万能的但在算法验证阶段确实是最顺手的。第一图像处理工具箱的函数覆盖非常完整从读取图像、色彩空间转换到形态学处理、GLCM特征提取全部是现成函数不需要东拼西凑装包。第二从传统机器学习到深度学习两个工具箱能无缝衔接。你可以在同一个脚本里先用SVM做基线再用trainNetwork训练CNN评估部分的代码几乎不用改。第三调试体验好。矩阵和图像的变量可以在工作区直接可视化缩放查看缺陷区域非常直观。Python在这一点上差不少往往要写额外代码把中间结果保存成图片才能看到。第四部署路径比较清晰。模型训练完之后可以用GPU Coder生成C/CUDA代码也可以直接调用导出的模型在嵌入式设备上跑推理。虽然Python生态的部署工具多但Matlab这条链路在工业场景里其实很成熟。4. 核心代码实现从预处理到分类的主干拆解下面这段我尽量说细一点把每一步的核心逻辑和为什么这么写讲清楚。完整的工程代码会多一些但核心骨架就是这几段。4.1 图像读取与背景分割第一步是把图像里的水果和背景干净地分开。用深色背景的话HSV空间里背景的饱和度通常很低直接用饱和度阈值就能抠出前景。% 读取图像 I imread(apple_sample.jpg); % 转换到HSV空间 hsv rgb2hsv(I); % 提取饱和度通道低饱和度的背景置为0 mask hsv(:,:,2) 0.15; % 形态学闭运算填充小空洞 mask imclose(mask, strel(disk, 12)); % 填充内部孔洞 mask imfill(mask, holes); % 利用掩膜抠出前景 J bsxfun(times, uint8(I), uint8(mask));这里有几个容易踩的坑。饱和度阈值不能拍脑袋定要拿产线上实际拍的照片统计一下背景和果皮的饱和度分布再定。有的水果表面本身饱和度就不高比如部分黄桃品种阈值设高了会把果皮部分也当背景抠掉。闭运算的结构元素大小也要根据图像分辨率调整图像大就适当加大半径否则填补不了缺陷区域造成的空洞。4.2 特征提取函数设计特征提取的核心是把一张图像压缩成一串有判别力的数字。下面这个函数我经常用包含了颜色矩和GLCM纹理特征。function feat extractFruitFeatures(I) I im2double(I); hsv rgb2hsv(I); % 颜色矩每个通道的均值和标准差 feat []; for ch 1:3 C hsv(:,:,ch); feat [feat, mean(C(:)), std(C(:))]; end % 灰度共生矩阵纹理特征 gray rgb2gray(I); glcm graycomatrix(gray, ... Offset, [0 1; -1 1; -1 0; -1 -1], ... Sym, true, ... NumLevels, 64); stats graycoprops(glcm, {Contrast, Energy, Homogeneity}); feat [feat, mean(stats.Contrast), mean(stats.Energy), mean(stats.Homogeneity)]; end这段代码的逻辑是先用HSV空间提取颜色信息因为HSV比RGB在光照变化下更稳定再对灰度图计算四个方向上的GLCM把对比度、能量、同质性取平均消除方向敏感性。如果后面发现特征不够用可以继续加入颜色直方图、形状因子等特征维度的扩展不影响整体流程。4.3 SVM训练与评估有了特征提取函数接下来就是把整个数据集的特征矩阵算出来然后训练SVM。% 使用imageDatastore管理数据 imds imageDatastore(dataset/, ... IncludeSubfolders, true, ... LabelSource, foldernames); % 划分训练集和测试集stratify保证类别比例一致 [imdsTrain, imdsTest] splitEachLabel(imds, 0.7, randomized); % 提取训练集特征 numTrain numel(imdsTrain.Files); trainFeatures zeros(numTrain, 9); for i 1:numTrain I readimage(imdsTrain, i); trainFeatures(i, :) extractFruitFeatures(I); end trainLabels imdsTrain.Labels; % 训练多分类SVMRBF核特征标准化 model fitcecoc(trainFeatures, trainLabels, ... Learners, templateSVM(KernelFunction, rbf, KernelScale, auto), ... Standardize, true); % 提取测试集特征并预测 numTest numel(imdsTest.Files); testFeatures zeros(numTest, 9); for i 1:numTest I readimage(imdsTest, i); testFeatures(i, :) extractFruitFeatures(I); end predictions predict(model, testFeatures); % 混淆矩阵 cm confusionchart(imdsTest.Labels, predictions);这段代码里有三个细节值得展开。一是splitEachLabel默认支持按类别比例分层划分这比随机切分更靠谱防止某一类全被分到测试集里。二是fitcecoc默认采用一对一多类策略对三分类来说内部会有三组二分类器效果稳定。三是特征标准化一定要打开因为颜色矩的量级和GLCM的量级差别很大不标准化的话SVM会过分依赖数值大的特征。4.4 CNN快速实现的一个最小方案如果你的数据量上来了想切换到CNNMatlab里的代码也很直白。% 定义网络结构 layers [ imageInputLayer([100 100 3]) convolution2dLayer(3, 16, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) convolution2dLayer(3, 32, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) fullyConnectedLayer(3) softmaxLayer classificationLayer]; % 数据增强 imageAugmenter imageDataAugmenter(... RandRotation, [-15 15], ... RandXTranslation, [-10 10], ... RandYTranslation, [-10 10], ... RandXScale, [0.9 1.1], ... RandYScale, [0.9 1.1], ... RandBrightness, [-0.15 0.15]); augmentedImds augmentedImageDatastore([100 100], imdsTrain, ... DataAugmentation, imageAugmenter); % 训练参数与训练 options trainingOptions(adam, ... InitialLearnRate, 1e-3, ... MaxEpochs, 30, ... MiniBatchSize, 32, ... Plots, training-progress); net trainNetwork(augmentedImds, layers, options);这里网络的卷积层参数我故意设得很小是因为缺陷分类任务不需要像ImageNet那样上千类的大网络小网络在数据有限时反而泛化更好、训练更快。输入图像统一缩放到100x100足以看清局部缺陷。注意这里我用的augmentedImageDatastore只对训练集做增强测试集不要增强否则评估结果会失真。4.5 跑通流程后的三条经验第一先跑传统特征加SVM做基线。哪怕你笃定最后用CNN也务必先训练一个SVM基线。它能帮你快速判断数据集是否靠谱如果SVM的准确率都达到90%以上说明问题本身不难CNN没必要上如果SVM只有70%可能数据量或特征有问题先解决这些问题再上CNN才有效。第二随时可视化中间结果。我习惯在每个处理函数里保留几张中间图像的输出用于确认背景分割有没有把果肉切掉、特征提取是否合理。这种“看一眼中间结果”的习惯能省下大量后期调参的时间。第三把特征提取函数设计成独立模块。后续无论是换网络还是加特征都不用改主循环代码。我见过很多项目把所有逻辑写在一个脚本里改一个参数要跑半天这是工程习惯问题。5. 评估指标与阈值调整别只看准确率很多初学者拿到测试集准确率90%就欢天喜地这个心态在分选项目里是要吃亏的。真实产线上准确率是最容易欺骗人的指标。5.1 混淆矩阵在不同代价下的读法先看一个典型的混淆矩阵场景。假设总共1000颗果900颗好果、100颗严重缺陷。分类器把所有果全部判为好果准确率90%。但这个分类器在产线上毫无价值因为100颗烂果全部流入市场。更合理的评估是分别看这三组数字指标计算方式反映的问题精确率查准率判为缺陷的果中有多少真的是缺陷误检率高低影响好果浪费比例召回率查全率真实缺陷中有多少被拦住漏检率高低影响坏果流出比例F1分数两者的调和平均综合平衡在分选场景里漏检和误检的成本是不对称的。漏检意味着坏果流向市场可能引发投诉、品牌受损单次成本可能很高。误检意味着好果被丢弃单次成本是这颗果的售价看起来低但量大了累计成本也可观。所以实际项目里我会先和业务方确认他们更在意哪一类错误。如果更在意烂果不能流出那就优先拉高召回率哪怕牺牲一些精确率。这在算法上的实现方法就是调整分类阈值。5.2 分类阈值调优的实际操作SVM或者CNN输出的是每个类别的分类得分或概率。默认情况下模型会把样本判给得分最高的那个类。我们可以不这么做。具体操作是用fitcecoc的predict输出里包含得分矩阵或者训练完CNN后用predict输出各分类的概率。然后我们不再取最大值的索引而是自己设定一个阈值只有当“严重缺陷”的概率超过某个值时才判为严重缺陷否则宁可判成好果让人工复检。% 获取分类得分而不是硬标签 [~, scores] predict(model, testFeatures); % 假设类别顺序是好果1轻微缺陷2严重缺陷3 % 自定义阈值严重缺陷概率大于0.4才判为严重 severeIdx scores(:, 3) 0.4; finalLabels repmat(好果, size(severeIdx)); finalLabels(scores(:, 2) scores(:, 1) scores(:, 2) scores(:, 3)) 轻微缺陷; finalLabels(severeIdx) 严重缺陷;这个阈值怎么选定把测试集上所有样本的分数画成直方图或者画出ROC曲线找到召回率与精确率的平衡点。通常我会画出阈值从0.1到0.9变化时漏检率和误检率的变化曲线让业务方看着曲线来选阈值。因为阈值本质上是商业决策不应该由算法工程师一个人拍板。5.3 验证集划分避免同批次数据泄露这是最容易踩的一个坑比模型本身更值得警惕。如果训练集和测试集里的图像是从同一批水果、同一光照条件下连续拍的它们之间高度相似测试集准确率会虚高。一旦换到新批次的水果准确率会断崖式下跌。正确的做法是按“批次”或“采集时间”来划分数据。比如上个月采的果图全部用于训练这个月新采的果图全部用于测试。这样测试结果才更接近线上真实表现。也可以用cvpartition做分层交叉验证但每一折内部的样本仍然可能来自同一批次所以最稳妥的还是时间维度上的前后切分。我在一个项目里就吃过这个亏。训练和测试来自同一批橘子准确率96%自我感觉很好。结果换了一批不同产地的橘子准确率直接掉到82%。后来把所有数据按采集日期重新划分训练集与测试集准确率就稳定在90%左右。这个90%虽然比96%低但它才是真实水平。6. 从实验室到分选线让人头疼的是工程问题模型在电脑上跑通只是第一步真正上线之后你才会发现算法本身的难度可能只占30%剩下70%都是工程问题。这里挑三个最典型的展开说。6.1 推理速度与硬件部署先算一笔时间账。假设分选线传送带速度是1米/秒相机视野覆盖20厘米那么一颗果子从进入视野到离开视野只有0.2秒。如果你的系统还要在判定后控制机械机构把缺陷果推出去留给算法的时间还要再砍一半大概100毫秒。而且这100毫秒里包含图像采集、传输、推理、输出控制信号的整个链路。SVM方案在这种场景下优势明显单张图像特征提取加预测能在CPU上跑到几十毫秒以内。CNN方案就看硬件了在嵌入式设备上跑小型网络也要几十毫秒再加预处理时间就逼近极限。所以如果产线速度很快优先选轻量网络比如只保留两三个卷积层的极小网络或者用深度可分离卷积结构推理速度能大幅提升。Matlab的部署链路是把训练好的模型导出然后用GPU Coder生成C代码再交叉编译到工控机或嵌入式板卡。我建议在项目一开始就确认目标硬件不要让算法在开发机上跑得飞快到了产线硬件上才发现推理时间严重超标。6.2 光源、背景、遮挡产线环境的隐形变量同一套训练集里的图片如果是在实验室环境拍的到了工厂环境很容易出现三个问题。一是环境光干扰。工厂车间的顶灯、窗户自然光都会影响成像要装遮光罩把相机和检测区域围起来保证检测区域的光照只来自可控光源。二是果体表面反光。表面光亮的苹果和打过蜡的水果会反射光源形成高光区块被模型误认成白色霉斑。解决方法是改用漫射光源或者在预处理里把高光区域的像素做校正处理。三是果与果之间的遮挡。如果相机视野里同时出现两颗果边缘交错背景分割就很容易出错。这种情况要么调整物理结构让果子单颗通过要么改用检测模型而不是分类模型。这些事不少是到了现场才发现的。有一次项目调试时传送带表面有一层淡淡的水渍导致背景分割时饱和度阈值把部分背景误当成前景间接影响了特征提取的质量。调整后加了除水装置才恢复正常。小结一下任何“环境变化”都可能影响视觉系统的表现在现场跑之前留出充足的联调时间。6.3 模型上线后的维护闭环模型上线不是结束而是新一轮数据积累的开始。真实产线上被误判的样本是宝贵的训练资源。我建议在分选线后端加一个复核环节定期把误检和漏检的图像回收回来由质检人员打标签累积一段时间后补充进训练集做增量训练或迁移学习。具体做法是每两周或者每月导出一批误判样本人工复核后并入原数据集重新训练模型并对比新旧模型在验证集上的表现。如果新模型没有提升就检查是不是标注出了分歧如果提升了再部署到产线。这个节奏不需要太频繁但是必须坚持因为新季节、新品种的水果外观变化非常快一个模型在另一个产季往往就不适用了。还有一个容易忽略的细节是做好版本管理。模型文件、训练代码、数据集的版本要记录清楚否则几个月后回来看自己当初的模型完全不知道当时用的什么参数、什么数据训出来的。我在项目里会为每个版本建一个文件夹包含训练脚本、网络结构定义、训练时的关键指标截图以及模型文件的哈希值。做这类项目我最大的体会是算法本身不是瓶颈数据质量、评估方式和工程细节才是。你在Matlab里花一晚上写出来的分类器可能比很多团队花一个月搭出来的深度学习框架更实用。先把数据准备扎实把评估指标和业务目标对应起来再用最小的模型跑通整个流程最后再考虑上复杂方案这条路是最稳的。
做果蔬加工的朋友应该都有体会分选线上的“挑坏果”这道工序看着简单其实是最难自动化的一环。不同品类的缺陷形态差异极大——有的是磕碰造成的褐变有的是霉变白斑有的是果皮疤痕——而且同一种缺陷在不同品种、不同成熟度上的表现可能完全不一样。传统机器视觉靠固定阈值去分换个光照、换个批次就失灵。这几年我陆陆续续做了几个用机器学习做缺陷水果分选的项目其中一个典型做法就是在Matlab里快速完成算法验证再迁移到产线设备。这篇文章就把这套流程拆开讲清楚从数据准备、特征与模型选型到Matlab代码主干、评估调优再到真正上线会遇到的工程问题一次说透。想做缺陷水果分选、或者刚接触农产品视觉检测开发的人都可以拿这套思路作为起点。1. 缺陷分选的任务本质先定义问题再谈算法很多人在做这类项目时容易一上来就抱着深度学习模型不放结果数据集只有几百张图模型训出来连自己都不信。我的经验是先把“筛什么、分几类、目标是什么”这三件事彻底理清楚再谈具体用哪种算法。1.1 缺陷的类型与分级标准决定了算法的输出设计水果缺陷在视觉上并不是同一个概念至少可以分成这样几类缺陷类型典型表现视觉特征磕碰伤撞击后局部褐变区域边缘模糊颜色由黄褐色向深褐色过渡腐烂/霉变表面软烂、菌丝或霉斑颜色突变明显常伴随凹陷或绒毛感疤痕/果锈生长期表皮损伤颜色与正常果皮差异小纹理粗糙虫眼/孔洞虫蛀造成的凹陷或开口局部暗色边缘锐利畸形形状偏离正常果形轮廓不规则与其他缺陷不同属于形状问题这五类缺陷对应的视觉特征差异很大意味着同一个模型的输入设计也可能不同。磕碰伤和腐烂适合用颜色与纹理特征捕捉畸形更适合分析轮廓形状而疤痕如果颜色接近正常果皮可能要靠局部纹理细节才能抓住。更重要的是分拣目标通常不止“好果/坏果”二分类。产线上常见的需求是三级分选无缺陷、轻微缺陷可打折销售、严重缺陷直接剔除。这个输出设计直接决定了最后的分类层是二分类还是三分类也决定了评估指标怎么定。1.2 为什么固定阈值和人工规则在坏果面前会被打穿早期做机器视觉分选最常见的方案是用颜色空间加阈值把RGB转到HSV或者Lab然后对某个通道设一个范围超出范围就判为缺陷。这个思路在玩具数据上看着没问题一上产线就崩原因是这样几个一是光照不均。同一个苹果表面高光区域和阴影区域的像素值差异可能比好果和坏果的差异还大。阈值一旦固定高光处的好果会被误杀。二是缺陷颜色与正常果皮颜色接近。比如苹果的果锈和正常红晕之间、梨的碰伤和自然黄褐色之间在颜色上几乎没有清晰的界线。三是缺陷可能是局部的。一个果子95%是好的只有一小块烂点。如果只统计全局平均色这个小面积缺陷很容易被淹没如果做像素级阈值又会被果柄、花萼这些本身颜色比较深的部分干扰。所以纯规则的方案只能在品种单一、光照控制极好、缺陷形态非常标准的条件下工作。一旦换成自然种植的水果规则就开始失效。这个场景下机器学习能自动从样本中学习“缺陷到底长什么样”尤其是小的局部异常比人工写规则靠谱得多。1.3 机器学习介入的三个切入点根据项目需求和数据集条件大概有三条路线可以选整图分类输入一张果图输出是“好果/轻微缺陷/严重缺陷”。适合传送带上单果逐个拍照的场景实现最简单。区域检测/分割在图上定位缺陷区域输出缺陷位置的边界框或像素掩膜。适合需要知道“坏在哪、有多大”的场景比如自动化削皮或精准切割。质量评分回归输出一个连续的质量分数。适合做出口分级比如按0到100分打分再映射到不同等级。这三个切入点不是互斥的。我接触过的一个分选项目是先做整图分类三分类把严重缺陷的果直接淘汰剩下“轻微缺陷”的果再用区域检测找到缺陷位置好让后端工人快速确认能不能降价售卖。这样既控制了初期实现难度又满足业务需要。2. 样本与标注缺陷数据比模型更值得投入说句实在话这类项目能不能成七成取决于数据三成才取决于模型。但现实中大家最不重视的就是数据采集。很多项目组拿了一个公开果蔬数据集就开始跑代码模型在公开数据上准确率很高到了自己产线上连一半都不到。原因很简单产线上的光照、相机角度、品种和公开数据集完全不一样。2.1 采集环境的几个关键设置采集图像的目标不是“拍得好看”而是“拍得稳定”。同一个类别里光照引起的差异越少模型越好学。我常用的设置是这样的背景选择深色哑光板纯黑或深蓝。这样后续做背景分割时HSV的饱和度通道能非常干净地把水果和背景分开。光源用漫射光LED面板最好加遮光罩避免水果表面出现镜面反射。高光的区域在图像上是白色一片如果出现在训练集太多模型容易把这部分误学成特征。相机高度和角度固定水果从传送带上滚过时尽量让果萼/果柄朝向侧面。角度一多变同一个果子的外观差异会非常大增加了不必要的分类难度。分辨率不用太高500万像素其实已经够用。更关键的是每颗果在画面里的占比要基本一致不要让小果和大果的成像尺寸差很多。采集数量上我建议至少覆盖三个维度品种、成熟度、产地批次。每个维度下的缺陷形态都会有差异如果只采一批果模型上线遇到新批次大概率翻车。2.2 标注粒度整图、框选还是像素级这一步决定了标注成本也决定了后面能做什么。标注方式成本能支持的算法适用场景整图级低图像分类大样本快速摸底矩形框中目标检测需要定位缺陷位置像素级掩膜高分割模型需要精确计算缺陷面积如果项目目标是先做分类分选我强烈建议初期先不要做像素级标注。用文件夹结构组织数据一个类别一个文件夹Matlab的imageDatastore直接读取半天就能建好一个可训练的数据集。后期如果需要上线区域检测再挑一批样本做框选或掩膜标注。要特别提醒的是标注标准的统一。比如“轻微碰伤”和“严重碰伤”谁说了算如果三个标注员标准不一样模型学到的东西就会混乱。我一般会先写一版标注规范配几组典型的参考图然后让标注人员先标50张我来检查一遍把分歧点全部统一后再扩大标注规模。2.3 增强与类别平衡把少量缺陷样本用出十倍效果缺陷水果的数据集天然不平衡好果数量远多于烂果。这很正常因为真实产线上合格率可能就是90%以上。问题是如果直接用原始比例训练分类器模型会把所有样本都判成好果整体准确率依然很高但烂果一个都没拦住。处理思路有两个方向。第一个是过采样对缺陷类做图像增强让模型看到更多变换。第二个是代价敏感在训练时给缺陷类的误判更高的惩罚权重。Matlab里做增强非常方便augmentedImageDatastore集成了旋转、平移、缩放、反射这些操作。我自己会额外加这三样亮度扰动±20%模拟不同曝光条件。高斯噪声模拟传感器噪声。随机局部遮挡模拟果梗、叶片遮挡的情况。有一点要注意不要过度增强。有一个常见的失败案例把图像旋转90度后苹果看起来还是苹果但把长条形的香蕉旋转成竖直外观形态就失真了反而引入了错误样本。增强操作必须符合这个水果品类在真实分选线上可能出现的姿态。3. 模型选型小样本SVM与大样本CNN的边界模型选型没有绝对的最佳只有合不合适。对于这种单品种水果的缺陷分类任务我通常按数据集规模画一条线初始样本总数在几千张以内走特征工程加SVM的路线数据量达到数万张或者缺陷形态特别复杂再用卷积神经网络。3.1 特征工程加SVM千级样本下的稳妥路线传统机器学习的核心是把图像变成一组有判别力的数值特征。对水果缺陷分类我常用下面这组特征组合颜色特征在HSV空间分别计算均值、标准差必要时加入颜色直方图。HSV比RGB更适合描述光照差异能把“同一颗果在不同亮度下”的差异尽量缩小。纹理特征用灰度共生矩阵GLCM提取对比度、能量、同质性。磕碰伤和腐烂区域在纹理上往往是粗糙的和光滑果皮差异明显。形状特征面积、周长、圆形度、主轴长度比。对畸形果的识别特别有效。这组特征计算量不大维度也不高十几维到几十维完全不需要GPU。配合RBF核的SVM在几百到几千样本量下泛化能力强于很多复杂模型而且训练只需几秒钟。为什么这个组合在中小样本下比CNN靠谱是因为手动特征已经先把人类经验注入进去了。比如我们明确知道颜色和纹理对缺陷判别很重要就主动提取了这两类信息。而CNN要从零开始学这两个概念需要大量样本才能学到数据一少就过拟合。3.2 迁移学习与CNN什么时候值得切换当条件变成这样几个我建议切换到CNN缺陷类型多且外观变化大手动特征开始不够用。样本量已经过万或者能拿到一个同品类相近的预训练模型做迁移学习。产线光照环境无法完全控制要求模型对光照变化有更强的鲁棒性。CNN方案在Matlab里通常不是从零开始训练而是用预训练网络做迁移学习。把网络的最后几层换掉用果蔬数据微调前面的特征提取层。这样做的好处是前面卷积层学到的边缘、纹理、颜色渐变等基础视觉特征可以复用大大降低了对数据量的要求。这里有一种常见的误解以为迁移学习就不用准备太多数据了。实际上迁移学习解决的是“特征提取能力”的起点问题但“缺陷长什么样”这件事依然要靠你的数据教给它。如果自己的缺陷样本太少迁移学习也一样过拟合。3.3 为什么用Matlab做这个项目最顺手我在这类项目里用过Python也用过Matlab现在可以坦然地说Matlab不是万能的但在算法验证阶段确实是最顺手的。第一图像处理工具箱的函数覆盖非常完整从读取图像、色彩空间转换到形态学处理、GLCM特征提取全部是现成函数不需要东拼西凑装包。第二从传统机器学习到深度学习两个工具箱能无缝衔接。你可以在同一个脚本里先用SVM做基线再用trainNetwork训练CNN评估部分的代码几乎不用改。第三调试体验好。矩阵和图像的变量可以在工作区直接可视化缩放查看缺陷区域非常直观。Python在这一点上差不少往往要写额外代码把中间结果保存成图片才能看到。第四部署路径比较清晰。模型训练完之后可以用GPU Coder生成C/CUDA代码也可以直接调用导出的模型在嵌入式设备上跑推理。虽然Python生态的部署工具多但Matlab这条链路在工业场景里其实很成熟。4. 核心代码实现从预处理到分类的主干拆解下面这段我尽量说细一点把每一步的核心逻辑和为什么这么写讲清楚。完整的工程代码会多一些但核心骨架就是这几段。4.1 图像读取与背景分割第一步是把图像里的水果和背景干净地分开。用深色背景的话HSV空间里背景的饱和度通常很低直接用饱和度阈值就能抠出前景。% 读取图像 I imread(apple_sample.jpg); % 转换到HSV空间 hsv rgb2hsv(I); % 提取饱和度通道低饱和度的背景置为0 mask hsv(:,:,2) 0.15; % 形态学闭运算填充小空洞 mask imclose(mask, strel(disk, 12)); % 填充内部孔洞 mask imfill(mask, holes); % 利用掩膜抠出前景 J bsxfun(times, uint8(I), uint8(mask));这里有几个容易踩的坑。饱和度阈值不能拍脑袋定要拿产线上实际拍的照片统计一下背景和果皮的饱和度分布再定。有的水果表面本身饱和度就不高比如部分黄桃品种阈值设高了会把果皮部分也当背景抠掉。闭运算的结构元素大小也要根据图像分辨率调整图像大就适当加大半径否则填补不了缺陷区域造成的空洞。4.2 特征提取函数设计特征提取的核心是把一张图像压缩成一串有判别力的数字。下面这个函数我经常用包含了颜色矩和GLCM纹理特征。function feat extractFruitFeatures(I) I im2double(I); hsv rgb2hsv(I); % 颜色矩每个通道的均值和标准差 feat []; for ch 1:3 C hsv(:,:,ch); feat [feat, mean(C(:)), std(C(:))]; end % 灰度共生矩阵纹理特征 gray rgb2gray(I); glcm graycomatrix(gray, ... Offset, [0 1; -1 1; -1 0; -1 -1], ... Sym, true, ... NumLevels, 64); stats graycoprops(glcm, {Contrast, Energy, Homogeneity}); feat [feat, mean(stats.Contrast), mean(stats.Energy), mean(stats.Homogeneity)]; end这段代码的逻辑是先用HSV空间提取颜色信息因为HSV比RGB在光照变化下更稳定再对灰度图计算四个方向上的GLCM把对比度、能量、同质性取平均消除方向敏感性。如果后面发现特征不够用可以继续加入颜色直方图、形状因子等特征维度的扩展不影响整体流程。4.3 SVM训练与评估有了特征提取函数接下来就是把整个数据集的特征矩阵算出来然后训练SVM。% 使用imageDatastore管理数据 imds imageDatastore(dataset/, ... IncludeSubfolders, true, ... LabelSource, foldernames); % 划分训练集和测试集stratify保证类别比例一致 [imdsTrain, imdsTest] splitEachLabel(imds, 0.7, randomized); % 提取训练集特征 numTrain numel(imdsTrain.Files); trainFeatures zeros(numTrain, 9); for i 1:numTrain I readimage(imdsTrain, i); trainFeatures(i, :) extractFruitFeatures(I); end trainLabels imdsTrain.Labels; % 训练多分类SVMRBF核特征标准化 model fitcecoc(trainFeatures, trainLabels, ... Learners, templateSVM(KernelFunction, rbf, KernelScale, auto), ... Standardize, true); % 提取测试集特征并预测 numTest numel(imdsTest.Files); testFeatures zeros(numTest, 9); for i 1:numTest I readimage(imdsTest, i); testFeatures(i, :) extractFruitFeatures(I); end predictions predict(model, testFeatures); % 混淆矩阵 cm confusionchart(imdsTest.Labels, predictions);这段代码里有三个细节值得展开。一是splitEachLabel默认支持按类别比例分层划分这比随机切分更靠谱防止某一类全被分到测试集里。二是fitcecoc默认采用一对一多类策略对三分类来说内部会有三组二分类器效果稳定。三是特征标准化一定要打开因为颜色矩的量级和GLCM的量级差别很大不标准化的话SVM会过分依赖数值大的特征。4.4 CNN快速实现的一个最小方案如果你的数据量上来了想切换到CNNMatlab里的代码也很直白。% 定义网络结构 layers [ imageInputLayer([100 100 3]) convolution2dLayer(3, 16, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) convolution2dLayer(3, 32, Padding, same) batchNormalizationLayer reluLayer maxPooling2dLayer(2, Stride, 2) fullyConnectedLayer(3) softmaxLayer classificationLayer]; % 数据增强 imageAugmenter imageDataAugmenter(... RandRotation, [-15 15], ... RandXTranslation, [-10 10], ... RandYTranslation, [-10 10], ... RandXScale, [0.9 1.1], ... RandYScale, [0.9 1.1], ... RandBrightness, [-0.15 0.15]); augmentedImds augmentedImageDatastore([100 100], imdsTrain, ... DataAugmentation, imageAugmenter); % 训练参数与训练 options trainingOptions(adam, ... InitialLearnRate, 1e-3, ... MaxEpochs, 30, ... MiniBatchSize, 32, ... Plots, training-progress); net trainNetwork(augmentedImds, layers, options);这里网络的卷积层参数我故意设得很小是因为缺陷分类任务不需要像ImageNet那样上千类的大网络小网络在数据有限时反而泛化更好、训练更快。输入图像统一缩放到100x100足以看清局部缺陷。注意这里我用的augmentedImageDatastore只对训练集做增强测试集不要增强否则评估结果会失真。4.5 跑通流程后的三条经验第一先跑传统特征加SVM做基线。哪怕你笃定最后用CNN也务必先训练一个SVM基线。它能帮你快速判断数据集是否靠谱如果SVM的准确率都达到90%以上说明问题本身不难CNN没必要上如果SVM只有70%可能数据量或特征有问题先解决这些问题再上CNN才有效。第二随时可视化中间结果。我习惯在每个处理函数里保留几张中间图像的输出用于确认背景分割有没有把果肉切掉、特征提取是否合理。这种“看一眼中间结果”的习惯能省下大量后期调参的时间。第三把特征提取函数设计成独立模块。后续无论是换网络还是加特征都不用改主循环代码。我见过很多项目把所有逻辑写在一个脚本里改一个参数要跑半天这是工程习惯问题。5. 评估指标与阈值调整别只看准确率很多初学者拿到测试集准确率90%就欢天喜地这个心态在分选项目里是要吃亏的。真实产线上准确率是最容易欺骗人的指标。5.1 混淆矩阵在不同代价下的读法先看一个典型的混淆矩阵场景。假设总共1000颗果900颗好果、100颗严重缺陷。分类器把所有果全部判为好果准确率90%。但这个分类器在产线上毫无价值因为100颗烂果全部流入市场。更合理的评估是分别看这三组数字指标计算方式反映的问题精确率查准率判为缺陷的果中有多少真的是缺陷误检率高低影响好果浪费比例召回率查全率真实缺陷中有多少被拦住漏检率高低影响坏果流出比例F1分数两者的调和平均综合平衡在分选场景里漏检和误检的成本是不对称的。漏检意味着坏果流向市场可能引发投诉、品牌受损单次成本可能很高。误检意味着好果被丢弃单次成本是这颗果的售价看起来低但量大了累计成本也可观。所以实际项目里我会先和业务方确认他们更在意哪一类错误。如果更在意烂果不能流出那就优先拉高召回率哪怕牺牲一些精确率。这在算法上的实现方法就是调整分类阈值。5.2 分类阈值调优的实际操作SVM或者CNN输出的是每个类别的分类得分或概率。默认情况下模型会把样本判给得分最高的那个类。我们可以不这么做。具体操作是用fitcecoc的predict输出里包含得分矩阵或者训练完CNN后用predict输出各分类的概率。然后我们不再取最大值的索引而是自己设定一个阈值只有当“严重缺陷”的概率超过某个值时才判为严重缺陷否则宁可判成好果让人工复检。% 获取分类得分而不是硬标签 [~, scores] predict(model, testFeatures); % 假设类别顺序是好果1轻微缺陷2严重缺陷3 % 自定义阈值严重缺陷概率大于0.4才判为严重 severeIdx scores(:, 3) 0.4; finalLabels repmat(好果, size(severeIdx)); finalLabels(scores(:, 2) scores(:, 1) scores(:, 2) scores(:, 3)) 轻微缺陷; finalLabels(severeIdx) 严重缺陷;这个阈值怎么选定把测试集上所有样本的分数画成直方图或者画出ROC曲线找到召回率与精确率的平衡点。通常我会画出阈值从0.1到0.9变化时漏检率和误检率的变化曲线让业务方看着曲线来选阈值。因为阈值本质上是商业决策不应该由算法工程师一个人拍板。5.3 验证集划分避免同批次数据泄露这是最容易踩的一个坑比模型本身更值得警惕。如果训练集和测试集里的图像是从同一批水果、同一光照条件下连续拍的它们之间高度相似测试集准确率会虚高。一旦换到新批次的水果准确率会断崖式下跌。正确的做法是按“批次”或“采集时间”来划分数据。比如上个月采的果图全部用于训练这个月新采的果图全部用于测试。这样测试结果才更接近线上真实表现。也可以用cvpartition做分层交叉验证但每一折内部的样本仍然可能来自同一批次所以最稳妥的还是时间维度上的前后切分。我在一个项目里就吃过这个亏。训练和测试来自同一批橘子准确率96%自我感觉很好。结果换了一批不同产地的橘子准确率直接掉到82%。后来把所有数据按采集日期重新划分训练集与测试集准确率就稳定在90%左右。这个90%虽然比96%低但它才是真实水平。6. 从实验室到分选线让人头疼的是工程问题模型在电脑上跑通只是第一步真正上线之后你才会发现算法本身的难度可能只占30%剩下70%都是工程问题。这里挑三个最典型的展开说。6.1 推理速度与硬件部署先算一笔时间账。假设分选线传送带速度是1米/秒相机视野覆盖20厘米那么一颗果子从进入视野到离开视野只有0.2秒。如果你的系统还要在判定后控制机械机构把缺陷果推出去留给算法的时间还要再砍一半大概100毫秒。而且这100毫秒里包含图像采集、传输、推理、输出控制信号的整个链路。SVM方案在这种场景下优势明显单张图像特征提取加预测能在CPU上跑到几十毫秒以内。CNN方案就看硬件了在嵌入式设备上跑小型网络也要几十毫秒再加预处理时间就逼近极限。所以如果产线速度很快优先选轻量网络比如只保留两三个卷积层的极小网络或者用深度可分离卷积结构推理速度能大幅提升。Matlab的部署链路是把训练好的模型导出然后用GPU Coder生成C代码再交叉编译到工控机或嵌入式板卡。我建议在项目一开始就确认目标硬件不要让算法在开发机上跑得飞快到了产线硬件上才发现推理时间严重超标。6.2 光源、背景、遮挡产线环境的隐形变量同一套训练集里的图片如果是在实验室环境拍的到了工厂环境很容易出现三个问题。一是环境光干扰。工厂车间的顶灯、窗户自然光都会影响成像要装遮光罩把相机和检测区域围起来保证检测区域的光照只来自可控光源。二是果体表面反光。表面光亮的苹果和打过蜡的水果会反射光源形成高光区块被模型误认成白色霉斑。解决方法是改用漫射光源或者在预处理里把高光区域的像素做校正处理。三是果与果之间的遮挡。如果相机视野里同时出现两颗果边缘交错背景分割就很容易出错。这种情况要么调整物理结构让果子单颗通过要么改用检测模型而不是分类模型。这些事不少是到了现场才发现的。有一次项目调试时传送带表面有一层淡淡的水渍导致背景分割时饱和度阈值把部分背景误当成前景间接影响了特征提取的质量。调整后加了除水装置才恢复正常。小结一下任何“环境变化”都可能影响视觉系统的表现在现场跑之前留出充足的联调时间。6.3 模型上线后的维护闭环模型上线不是结束而是新一轮数据积累的开始。真实产线上被误判的样本是宝贵的训练资源。我建议在分选线后端加一个复核环节定期把误检和漏检的图像回收回来由质检人员打标签累积一段时间后补充进训练集做增量训练或迁移学习。具体做法是每两周或者每月导出一批误判样本人工复核后并入原数据集重新训练模型并对比新旧模型在验证集上的表现。如果新模型没有提升就检查是不是标注出了分歧如果提升了再部署到产线。这个节奏不需要太频繁但是必须坚持因为新季节、新品种的水果外观变化非常快一个模型在另一个产季往往就不适用了。还有一个容易忽略的细节是做好版本管理。模型文件、训练代码、数据集的版本要记录清楚否则几个月后回来看自己当初的模型完全不知道当时用的什么参数、什么数据训出来的。我在项目里会为每个版本建一个文件夹包含训练脚本、网络结构定义、训练时的关键指标截图以及模型文件的哈希值。做这类项目我最大的体会是算法本身不是瓶颈数据质量、评估方式和工程细节才是。你在Matlab里花一晚上写出来的分类器可能比很多团队花一个月搭出来的深度学习框架更实用。先把数据准备扎实把评估指标和业务目标对应起来再用最小的模型跑通整个流程最后再考虑上复杂方案这条路是最稳的。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
