计算机视觉入门到实战系列写到第十五篇前面十几篇讲了不少基础算法和工具到了图像分割这一块很多新手朋友容易卡住。先说结论如果只选一个算法来入门图像分割我大概率会推荐K-Means聚类。原因很简单它不需要标注数据、逻辑直观、十几行代码就能跑出明显效果。这篇文章就围绕基于K-Means的图像分割展开把原理、实现、调参、避坑一次性讲清楚适合刚接触图像分割的读者也适合看了很多理论但不知道代码怎么写的人。1. 既然要做图像分割为什么非选K-Means1.1 图像分割的本质是把像素“分组”图像分割这个任务说穿了就是把一张图里的像素按照某种规则分到不同集合里。同一集合内的像素在颜色、纹理、位置等方面相似度较高不同集合之间差异明显。传统的阈值分割只盯着灰度直方图找几个分界点碰到背景复杂、光照不均、目标颜色跨度大的图阈值一设不是把背景割进来就是把目标切掉一块。边缘检测虽然能画出轮廓但边缘断裂之后要补成闭合区域也很麻烦。区域生长要选种子点还要设计相似性判据。K-Means走的是另一条路它不看像素之间的邻接关系不找梯度突变而是把每个像素当成特征空间里的一个点然后做聚类。只要颜色特征设计合理K-Means就能把“颜色相近的像素”自动归为一堆哪怕这些像素在空间上并不连续也能在后续处理里区分开。举个例子一张风景图里有蓝天、绿树、灰白色建筑肉眼一看就知道大概几块区域但每个区域内部的亮度变化都不小。阈值分割把灰度值拉到同一个维度上很难同时照顾三类区域。换成RGB三维颜色空间蓝天在蓝色通道上的取值明显偏高绿树在绿色通道偏高建筑三个通道的分布相对均匀聚类算法天然能把这些分布模式分开。1.2 K-Means对这个场景的三点优势第一个优势是无需标注。做监督式分割要人工标注像素类别成本很高而K-Means只要指定一个聚类数量K剩下的交给迭代。第二个优势是数学简单、代码量少。K-Means的迭代过程本质是“分配中心、更新中心”两个动作的循环OpenCV里一行kmeans()就能完成自己用Numpy手写也就几十行。第三个优势是分割结果是图像级的“软标注”。聚类得到的标签可以直接给每个像素一个分类ID这个标签图不仅能用来可视化还能作为后续目标检测、特征提取的中间输入。很多工业项目里做零件分拣第一步就用K-Means把不同颜色的零件粗分割效果稳定且省人力。2. K-Means聚类的原理以及它如何作用在图像上2.1 四步迭代从随机中心到稳定分区K-Means的机制可以这样理解有N个像素点散落在三维颜色空间里K-Means要在里面找出K个代表点让每个像素归属于离它最近的代表点同时让这些代表点尽量贴近各自族群的中心。算法跑起来只有四步。第一步在特征空间里随机选K个初始中心。第二步计算每个像素到K个中心的欧氏距离把像素分配给最近的那个中心。第三步对每个聚类内的所有像素求平均坐标把中心更新到这个平均值位置。第四步重复第二步和第三步直到中心位置的变化小于设定阈值或者迭代次数用尽。这个过程中有个容易被忽略的点更新中心之后之前分配好的像素可能又离别的中心更近了所以需要重新分配。想象一下K个中心就像K个磁铁像素是撒在空间里的铁粉磁铁不断移动位置铁粉不断重新吸附最后大家相对不动了分割就完成了。2.2 为什么像素特征要设计成多维向量做图像分割时每个像素最简单的特征就是RGB三个通道的数值。把一张宽度W高度H的图展开就得到一个形状为(W×H, 3)的矩阵每一行代表一个像素。K-Means直接在这个矩阵上跑聚类中心就是一个长度3的向量代表某一类颜色的平均RGB值。但是直接用RGB有个问题RGB空间里两个颜色的欧氏距离和人类视觉感知不是线性对应的。比如深蓝色和浅蓝色在RGB坐标里的距离可能很大但人眼看起来还是“蓝色系”而绿色和黄色之间距离不大人眼却很容易区分。所以实际项目中我通常会把图像从RGB转换到LAB颜色空间再聚类。LAB空间的L轴管理亮度A轴和B轴管理色彩对立关系人眼感知的差异在LAB空间里和欧氏距离更吻合聚类效果往往更干净。如果希望分割结果更注重空间连贯性还可以把像素坐标也拼进特征向量变成五维向量L、A、B、x、y。这样颜色相近但距离很远的像素就不容易归到一类适合分割同一颜色但在画面多处出现的目标。代价是坐标尺度与颜色尺度差别太大必须做好归一化否则坐标分量会喧宾夺主。2.3 K-Means与传统分割方法的本质差异阈值分割回答的问题是“像素的灰度值落在哪个区间”边缘检测回答的是“像素周围有没有剧烈变化”区域生长回答的是“从某个种子出发能走到哪些相似像素”。K-Means回答的则是“这个像素的颜色更接近哪个典型的颜色代表”。这意味着K-Means天然对全局光照不均更鲁棒因为每个聚类的中心会自适应偏移也意味着它不擅长处理纹理差异因为纹理特征没有被直接加入向量。所以在正式项目里K-Means适合做前端的分割预处理后续再结合形态学操作、连通域分析甚至深度学习模型做精细处理。抱着“一个算法解决全部分割问题”的心态来用它大概率会失望把它当成一个快速、稳定的分块工具才能发挥最大价值。3. 动手实现OpenCV环境下K-Means图像分割完整流程3.1 前置知识与环境准备这一步需要的基础包括会读入图片、认识Numpy数组形状、知道图像像素值是0到255的整数。环境只需要Python 3、OpenCV-Python和Numpy不需要GPU。安装命令很简单pip install opencv-python numpy如果本地图片路径还没准备好可以用OpenCV自带的示例图片也可以用摄像头拍一张简单场景的照片最好是背景和主体颜色差异明显的图第一版跑出来的效果会更有成就感。3.2 第一版代码标准K-Means分割下面这段代码是标准的K-Means图像分割实现核心步骤是读图、转换颜色空间、reshape像素矩阵、执行kmeans、用聚类中心重构图像。import cv2 import numpy as np def kmeans_segmentation(image_path, k4, use_labTrue): # 读图 img_bgr cv2.imread(image_path) if img_bgr is None: raise ValueError(图片读取失败检查路径是否正确) img_rgb cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) h, w, c img_rgb.shape # 转LAB空间更接近人类视觉感知 if use_lab: img_feature cv2.cvtColor(img_rgb, cv2.COLOR_RGB2LAB) else: img_feature img_rgb.copy() # 变成像素向量集合每一行是一个像素 pixels img_feature.reshape((-1, 3)) pixels np.float32(pixels) # 聚类参数 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 20, 1.0) # 执行K-Means _, labels, centers cv2.kmeans( pixels, k, None, criteria, 3, cv2.KMEANS_PP_CENTERS ) # 用每个像素所属聚类中心的颜色值替换原像素 centers_u8 np.uint8(centers) if use_lab: centers_u8 cv2.cvtColor(centers_u8.reshape(1, -1, 3), cv2.COLOR_LAB2RGB).reshape(-1, 3) segmented centers_u8[labels.flatten()] segmented_img segmented.reshape((h, w, 3)) # 展示原图与分割结果 display np.hstack([img_rgb, segmented_img]) cv2.imshow(Original | K-Means Segmentation, display) cv2.waitKey(0) cv2.destroyAllWindows() return labels, centers if __name__ __main__: labels, centers kmeans_segmentation(test.jpg, k4, use_labTrue) print(聚类中心数量:, len(centers)) print(聚类中心值:\n, centers)3.3 运行结果解读与可视化技巧跑完这段代码屏幕上会并排显示原图和分割结果图。分割结果图看起来像“色块化”版本的原始图片原本连续渐变的天蓝色天空被压成了一两种蓝色块树叶被压成深绿色块建筑被压成浅灰块。这里有个关键操作分割重构时不是直接用labels做灰度图显示而是用聚类中心的颜色值去替换每个像素。labels是一个一维数组长度等于像素总数里面存的是0到K-1的整数值表示每个像素属于哪个类。centers是K行3列的矩阵每一行是某个聚类在特征空间里的平均色。如果只想看像素分类的标签图可以直接把labels reshape成原始图像尺寸label_map labels.reshape(h, w).astype(np.uint8) cv2.imshow(Label Map, label_map * (255 // k))因为labels里是整数索引直接显示会变成几乎全黑的图乘上一个系数可以拉开不同类别的灰度差。这个方法在做调试时非常有用能一眼看出哪些区域被分为同类。3.4 K-Means核心参数逐个拆解cv2.kmeans()里几个参数值得逐个说清楚。第一个是K即聚类数量。它直接决定分割结果分几块选大了会把同一物体切成碎片选小了会把不同物体粘连在一起。没有先验信息时可以先跑几个不同K值观察效果也可以用肘部法则辅助判断后面调参章节会展开。第二个是criteria即迭代终止条件。这里写了cv2.TERM_CRITERIA_EPS加cv2.TERM_CRITERIA_MAX_ITER意思是在达到最大迭代次数20次或者聚类中心移动量小于1.0时停止。注意像素值范围是0到255epsilon取1.0是一个比较合理的精度取太小会增加不必要的迭代取太大可能提前停止导致分割粗糙。第三个是attempts即尝试次数。K-Means对初始中心敏感单次运行可能陷入局部最优。设成3表示从3组不同初始中心出发各跑一轮完整迭代最后保留误差最小的结果。这是用时间换稳定性实际项目中设5到10次效果更稳。第四个是flags即初始化方式。这里有三种选择我习惯用KMEANS_PP_CENTERS也就是K-Means算法来选择初始中心它能让初始中心彼此拉开距离比纯随机初始化收敛更快、结果更稳定。另一个常用值是KMEANS_RANDOM_CENTERS代码简单但偶尔出现坏结果。注意cv2.kmeans()要求输入矩阵是float32类型原始图像是uint8直接传进去会报错。写成pixels np.float32(pixels)是很多新手容易漏掉的一步。4. 调参实战真正影响分割效果的五个关键因素4.1 K值怎么定先粗后细K值的选择没有银弹但有个实用套路先用小K值跑比如K2或者K3看前景背景能不能分开。如果能分开再逐步增加K值观察物体的细节有没有被慢慢还原。K值每一次加1分割图的“拼图块”数量就增加一块一般到4到6就能应付大多数简单场景。如果连K值范围都没概念可以用肘部法则。做法是分别计算K1到10的聚类误差平方和每个像素到所属中心距离的平方总和然后画出曲线。曲线拐点附近的K就是聚类性价比最高的点。OpenCV没有直接返回SSE可以从返回值distortion获取每个像素到中心的距离再自己求和。_, labels, centers cv2.kmeans(pixels, k, None, criteria, 5, cv2.KMEANS_PP_CENTERS) distances np.sqrt(np.sum((pixels - centers[labels.flatten()]) ** 2, axis1)) sse np.sum(distances ** 2)不过说实话图像分割场景里肘部法则只能当参考。图像内容本身没有绝对正确的类数最终K值还是要结合“分割结果是否符合业务需要”来定。我做商品拍摄背景替换时K值基本固定为4因为背景1类、主体1到2类、过渡1类这个配置在大多数照片上表现都不错。4.2 初始化方式K-Means值是稳定的入场券同一个K值下分段结果每次跑会不会不一样会。因为K-Means是随机初始化不同初始中心可能收敛到不同局部最优。想减少这种不确定性flags参数优先选cv2.KMEANS_PP_CENTERS。K-Means的思路很直观初始中心不要扎堆第一个中心随机选之后每个新中心都尽量选那些离已有中心较远的像素这样一开始就有一个比较合理的全局布局。实测下来KMEANS_PP_CENTERS在大多数图像上只需尝试2到3次就稳定而RANDOM_CENTERS可能要尝试10次以上才能避免陷入坏结果。有人为了完全确定性会固定随机种子或者把attempts调高到20但耗时也会线性增加。4.3 最大迭代次数与epsilon的平衡这两个参数一个控制最多跑多少轮一个控制中心变化多小才算收敛。如果图像尺寸不大比如几十万像素20次迭代通常足够如果图像有几百万像素建议最大迭代次数给到50。epsilon不是越小越好因为聚类中心在第10轮以后经常只发生小数点级别的移动对最后分割结果肉眼几乎无影响却会让算法多跑很多轮。我常用的组合是criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 1.0)速度和效果都比较平衡。4.4 颜色空间的选择RGB、LAB、还是带坐标RGB空间聚类在简单图上没问题但复杂光照下会输给LAB很多。我处理过一张食品包装照片包装上有红色和橙色两种相近颜色RGB聚类下两种颜色总是黏在一起换成LAB空间后A通道把红橙差异放大了分割立刻清晰。原因就是LAB空间在设计时就考虑了人眼对颜色差异的感知色差小的两种颜色在LAB空间里距离更近色差大的距离更远这和K-Means的距离度量天然契合。如果要把坐标加入特征向量例如自适应地保留空间近邻性我会先对L、A、B、x、y各列做标准化把量纲差异消除。坐标分量过大时聚类结果会变成“按区域分块”颜色差异反而不重要了标准化之后颜色和空间两个维度的贡献才能平衡。4.5 输入数据精度与图像预处理还有一个容易被忽略的点直接拿原始尺寸的高清图跑K-Means像素量可能是上千万每次迭代都要计算每个像素到每个中心的距离速度肉眼可见地慢。我通常先对输入图做一次resize缩到长边约480像素聚类完成后再把标签映射回原尺寸。这个操作对分割质量影响很小却能省下大量时间。另外在聚类前对图像做一次高斯模糊或中值滤波能有效减少传感器噪声导致的细小碎块。这一步不是必须的但对分割结果做展示或后续处理时碎块数量会明显减少。5. 常见问题与排查实录5.1 典型问题速查表下面这张表格整理了我在实际项目里遇到频率最高的问题以及对应的解决思路现象可能原因解决思路同一物体被切成大量碎片K值过大降低K值或加入坐标维度让空间相近的像素优先聚到一起背景和前景黏在一起分不开K值过小或颜色过于接近增加K值尝试LAB颜色空间拉大感知差异相邻两次运行结果差异大随机初始化不稳定改用KMEANS_PP_CENTERS提高attempts聚类结果有一堆孤立噪点原图存在大量噪声先做中值滤波或高斯模糊分割后再做一次形态学开运算运行时间过长像素量太大resize缩小图像或者用超像素做预处理聚类中心颜色反推后偏色LAB转RGB过程出错检查是否用uint8转换注意reshape的形状图像里有透明通道时结果怪异忘了处理Alpha通道先用cv2.split分离BGRA取BGR三个通道再聚类5.2 三个现场排查案例案例一分割结果里天空出现大量蓝色碎块但肉眼看起来天空明明是一整片。排查发现K值设成8把原本连续的渐变天空切成了好几个相似但不同的中心。改成K4之后天空合并成一个完整区域问题解决。这说明K值并非越大越精细超出图像天然的类数后多出来的类只是在拆分同色系。案例二同一张图每隔一次运行背景类和主体类的编号顺序会互换。比如第一次主体是类0、背景是类1第二次主体变成类1、背景是类0。这不是算法出bug而是聚类中心的初始位置随机类编号天然没有语义。处理方式是聚类结束后根据聚类中心的颜色或者空间位置做一个固定的类别映射再输出。案例三一张室内照片地板是浅木色墙壁是浅黄色肉眼能分清K-Means却把两者分不开。换成LAB空间后还是不行。最后检查发现是图像被resize过小长边只有120像素颜色信息被严重压缩。恢复分辨率后效果正常。这也提醒我不是所有问题都出在算法上预处理环节要步步检查。5.3 比调参更高效的定位思路遇到效果不好的分割结果时我建议先不要急着调参数而是先把labels可视化出来看分错的像素在空间上有没有规律。如果错误像素集中在物体边缘说明是过渡颜色造成的可以加个边缘后处理如果错误像素随机分布在全图大概率是噪声或特征设计有问题如果一整片区域被归成另一类那就考虑是不是颜色空间选择的锅。这个顺序能帮你快速缩小问题范围而不是盲目堆参数。6. 扩展思路从K-Means到更实用的分割方案6.1 超像素预处理把百万像素变成几百个块K-Means最明显的短板是计算量随着像素数线性增长。工程上常用的优化方案是先用SLIC超像素算法把图像划分成几百个互不重叠的小块每个小块内部的颜色和纹理高度一致再用这些超像素块的平均颜色作为特征去跑K-Means。这样算下来原始图500万像素被压缩成一两千个超像素聚类速度几乎可以实时完成。分割结果出来后把每个超像素的类别标签摊回原始像素依然能得到完整的像素级分割图。这个方法在遥感图像和医学图像上用得很多因为那些图动辄上亿像素直接聚类不可行。6.2 与均值漂移、分水岭的对比选择如果K-Means分割结果不够精细就该考虑其他方法了。均值漂移不需要预先指定类别数算法自己会在特征空间里寻找密度中心适合颜色分布呈明显山峰状的图但速度比K-Means慢不少。分水岭算法利用梯度图做拓扑淹水对物体边界很敏感适合分割有重叠的颗粒状物体却容易过分割。我的选择经验是时间紧、要求粗分、要稳定用K-Means目标物体数量未知、颜色密度分界明显用均值漂移需要连接边缘线并生成闭合区域用分水岭。三者不冲突也可以先K-Means粗分割再在每一类里用分水岭精细切分。6.3 K-Means分割结果能喂给谁K-Means分割结束后得到的labels图可以直接作为数据集扩充工具。比如要做语义分割模型但是人工标注成本太高可以对一批图片统一跑K-Means生成的伪标签作为预标注再让标注人员修正能节省不少时间。也可以用分割结果提取每个连通区域的外接矩形作为目标检测的候选框。在传统图像处理流程里K-Means分割后接一个连通域分析是常见组合先分出类再按类内连通区域计算面积、周长、孔洞数等特征用于后续的物体筛选。这种组合虽然简单但稳定性很好许多工业质检项目到现在还在沿用。7. 最后再分享一点个人体会图像分割看起来是个很“入门”的话题但真要在实际项目里用起来坑并不比深度学习少。我自己走过弯路之后最大的体会是别急着把K值调到很大去追求“精细”先想清楚分割结果给谁用。给展示用K可以稍微大一点视觉上更丰富给后续检测、测量用K宁小勿大避免把目标物体切碎。另外颜色空间这一步真的值得多试RGB不行就换LAB经常会带来意想不到的改善。K-Means的定位从来不是一个“完成态”的终点算法而是一个可靠的起点把前面的分块工作做扎实后面的精细分割路会顺很多。
计算机视觉入门到实战系列写到第十五篇前面十几篇讲了不少基础算法和工具到了图像分割这一块很多新手朋友容易卡住。先说结论如果只选一个算法来入门图像分割我大概率会推荐K-Means聚类。原因很简单它不需要标注数据、逻辑直观、十几行代码就能跑出明显效果。这篇文章就围绕基于K-Means的图像分割展开把原理、实现、调参、避坑一次性讲清楚适合刚接触图像分割的读者也适合看了很多理论但不知道代码怎么写的人。1. 既然要做图像分割为什么非选K-Means1.1 图像分割的本质是把像素“分组”图像分割这个任务说穿了就是把一张图里的像素按照某种规则分到不同集合里。同一集合内的像素在颜色、纹理、位置等方面相似度较高不同集合之间差异明显。传统的阈值分割只盯着灰度直方图找几个分界点碰到背景复杂、光照不均、目标颜色跨度大的图阈值一设不是把背景割进来就是把目标切掉一块。边缘检测虽然能画出轮廓但边缘断裂之后要补成闭合区域也很麻烦。区域生长要选种子点还要设计相似性判据。K-Means走的是另一条路它不看像素之间的邻接关系不找梯度突变而是把每个像素当成特征空间里的一个点然后做聚类。只要颜色特征设计合理K-Means就能把“颜色相近的像素”自动归为一堆哪怕这些像素在空间上并不连续也能在后续处理里区分开。举个例子一张风景图里有蓝天、绿树、灰白色建筑肉眼一看就知道大概几块区域但每个区域内部的亮度变化都不小。阈值分割把灰度值拉到同一个维度上很难同时照顾三类区域。换成RGB三维颜色空间蓝天在蓝色通道上的取值明显偏高绿树在绿色通道偏高建筑三个通道的分布相对均匀聚类算法天然能把这些分布模式分开。1.2 K-Means对这个场景的三点优势第一个优势是无需标注。做监督式分割要人工标注像素类别成本很高而K-Means只要指定一个聚类数量K剩下的交给迭代。第二个优势是数学简单、代码量少。K-Means的迭代过程本质是“分配中心、更新中心”两个动作的循环OpenCV里一行kmeans()就能完成自己用Numpy手写也就几十行。第三个优势是分割结果是图像级的“软标注”。聚类得到的标签可以直接给每个像素一个分类ID这个标签图不仅能用来可视化还能作为后续目标检测、特征提取的中间输入。很多工业项目里做零件分拣第一步就用K-Means把不同颜色的零件粗分割效果稳定且省人力。2. K-Means聚类的原理以及它如何作用在图像上2.1 四步迭代从随机中心到稳定分区K-Means的机制可以这样理解有N个像素点散落在三维颜色空间里K-Means要在里面找出K个代表点让每个像素归属于离它最近的代表点同时让这些代表点尽量贴近各自族群的中心。算法跑起来只有四步。第一步在特征空间里随机选K个初始中心。第二步计算每个像素到K个中心的欧氏距离把像素分配给最近的那个中心。第三步对每个聚类内的所有像素求平均坐标把中心更新到这个平均值位置。第四步重复第二步和第三步直到中心位置的变化小于设定阈值或者迭代次数用尽。这个过程中有个容易被忽略的点更新中心之后之前分配好的像素可能又离别的中心更近了所以需要重新分配。想象一下K个中心就像K个磁铁像素是撒在空间里的铁粉磁铁不断移动位置铁粉不断重新吸附最后大家相对不动了分割就完成了。2.2 为什么像素特征要设计成多维向量做图像分割时每个像素最简单的特征就是RGB三个通道的数值。把一张宽度W高度H的图展开就得到一个形状为(W×H, 3)的矩阵每一行代表一个像素。K-Means直接在这个矩阵上跑聚类中心就是一个长度3的向量代表某一类颜色的平均RGB值。但是直接用RGB有个问题RGB空间里两个颜色的欧氏距离和人类视觉感知不是线性对应的。比如深蓝色和浅蓝色在RGB坐标里的距离可能很大但人眼看起来还是“蓝色系”而绿色和黄色之间距离不大人眼却很容易区分。所以实际项目中我通常会把图像从RGB转换到LAB颜色空间再聚类。LAB空间的L轴管理亮度A轴和B轴管理色彩对立关系人眼感知的差异在LAB空间里和欧氏距离更吻合聚类效果往往更干净。如果希望分割结果更注重空间连贯性还可以把像素坐标也拼进特征向量变成五维向量L、A、B、x、y。这样颜色相近但距离很远的像素就不容易归到一类适合分割同一颜色但在画面多处出现的目标。代价是坐标尺度与颜色尺度差别太大必须做好归一化否则坐标分量会喧宾夺主。2.3 K-Means与传统分割方法的本质差异阈值分割回答的问题是“像素的灰度值落在哪个区间”边缘检测回答的是“像素周围有没有剧烈变化”区域生长回答的是“从某个种子出发能走到哪些相似像素”。K-Means回答的则是“这个像素的颜色更接近哪个典型的颜色代表”。这意味着K-Means天然对全局光照不均更鲁棒因为每个聚类的中心会自适应偏移也意味着它不擅长处理纹理差异因为纹理特征没有被直接加入向量。所以在正式项目里K-Means适合做前端的分割预处理后续再结合形态学操作、连通域分析甚至深度学习模型做精细处理。抱着“一个算法解决全部分割问题”的心态来用它大概率会失望把它当成一个快速、稳定的分块工具才能发挥最大价值。3. 动手实现OpenCV环境下K-Means图像分割完整流程3.1 前置知识与环境准备这一步需要的基础包括会读入图片、认识Numpy数组形状、知道图像像素值是0到255的整数。环境只需要Python 3、OpenCV-Python和Numpy不需要GPU。安装命令很简单pip install opencv-python numpy如果本地图片路径还没准备好可以用OpenCV自带的示例图片也可以用摄像头拍一张简单场景的照片最好是背景和主体颜色差异明显的图第一版跑出来的效果会更有成就感。3.2 第一版代码标准K-Means分割下面这段代码是标准的K-Means图像分割实现核心步骤是读图、转换颜色空间、reshape像素矩阵、执行kmeans、用聚类中心重构图像。import cv2 import numpy as np def kmeans_segmentation(image_path, k4, use_labTrue): # 读图 img_bgr cv2.imread(image_path) if img_bgr is None: raise ValueError(图片读取失败检查路径是否正确) img_rgb cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB) h, w, c img_rgb.shape # 转LAB空间更接近人类视觉感知 if use_lab: img_feature cv2.cvtColor(img_rgb, cv2.COLOR_RGB2LAB) else: img_feature img_rgb.copy() # 变成像素向量集合每一行是一个像素 pixels img_feature.reshape((-1, 3)) pixels np.float32(pixels) # 聚类参数 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 20, 1.0) # 执行K-Means _, labels, centers cv2.kmeans( pixels, k, None, criteria, 3, cv2.KMEANS_PP_CENTERS ) # 用每个像素所属聚类中心的颜色值替换原像素 centers_u8 np.uint8(centers) if use_lab: centers_u8 cv2.cvtColor(centers_u8.reshape(1, -1, 3), cv2.COLOR_LAB2RGB).reshape(-1, 3) segmented centers_u8[labels.flatten()] segmented_img segmented.reshape((h, w, 3)) # 展示原图与分割结果 display np.hstack([img_rgb, segmented_img]) cv2.imshow(Original | K-Means Segmentation, display) cv2.waitKey(0) cv2.destroyAllWindows() return labels, centers if __name__ __main__: labels, centers kmeans_segmentation(test.jpg, k4, use_labTrue) print(聚类中心数量:, len(centers)) print(聚类中心值:\n, centers)3.3 运行结果解读与可视化技巧跑完这段代码屏幕上会并排显示原图和分割结果图。分割结果图看起来像“色块化”版本的原始图片原本连续渐变的天蓝色天空被压成了一两种蓝色块树叶被压成深绿色块建筑被压成浅灰块。这里有个关键操作分割重构时不是直接用labels做灰度图显示而是用聚类中心的颜色值去替换每个像素。labels是一个一维数组长度等于像素总数里面存的是0到K-1的整数值表示每个像素属于哪个类。centers是K行3列的矩阵每一行是某个聚类在特征空间里的平均色。如果只想看像素分类的标签图可以直接把labels reshape成原始图像尺寸label_map labels.reshape(h, w).astype(np.uint8) cv2.imshow(Label Map, label_map * (255 // k))因为labels里是整数索引直接显示会变成几乎全黑的图乘上一个系数可以拉开不同类别的灰度差。这个方法在做调试时非常有用能一眼看出哪些区域被分为同类。3.4 K-Means核心参数逐个拆解cv2.kmeans()里几个参数值得逐个说清楚。第一个是K即聚类数量。它直接决定分割结果分几块选大了会把同一物体切成碎片选小了会把不同物体粘连在一起。没有先验信息时可以先跑几个不同K值观察效果也可以用肘部法则辅助判断后面调参章节会展开。第二个是criteria即迭代终止条件。这里写了cv2.TERM_CRITERIA_EPS加cv2.TERM_CRITERIA_MAX_ITER意思是在达到最大迭代次数20次或者聚类中心移动量小于1.0时停止。注意像素值范围是0到255epsilon取1.0是一个比较合理的精度取太小会增加不必要的迭代取太大可能提前停止导致分割粗糙。第三个是attempts即尝试次数。K-Means对初始中心敏感单次运行可能陷入局部最优。设成3表示从3组不同初始中心出发各跑一轮完整迭代最后保留误差最小的结果。这是用时间换稳定性实际项目中设5到10次效果更稳。第四个是flags即初始化方式。这里有三种选择我习惯用KMEANS_PP_CENTERS也就是K-Means算法来选择初始中心它能让初始中心彼此拉开距离比纯随机初始化收敛更快、结果更稳定。另一个常用值是KMEANS_RANDOM_CENTERS代码简单但偶尔出现坏结果。注意cv2.kmeans()要求输入矩阵是float32类型原始图像是uint8直接传进去会报错。写成pixels np.float32(pixels)是很多新手容易漏掉的一步。4. 调参实战真正影响分割效果的五个关键因素4.1 K值怎么定先粗后细K值的选择没有银弹但有个实用套路先用小K值跑比如K2或者K3看前景背景能不能分开。如果能分开再逐步增加K值观察物体的细节有没有被慢慢还原。K值每一次加1分割图的“拼图块”数量就增加一块一般到4到6就能应付大多数简单场景。如果连K值范围都没概念可以用肘部法则。做法是分别计算K1到10的聚类误差平方和每个像素到所属中心距离的平方总和然后画出曲线。曲线拐点附近的K就是聚类性价比最高的点。OpenCV没有直接返回SSE可以从返回值distortion获取每个像素到中心的距离再自己求和。_, labels, centers cv2.kmeans(pixels, k, None, criteria, 5, cv2.KMEANS_PP_CENTERS) distances np.sqrt(np.sum((pixels - centers[labels.flatten()]) ** 2, axis1)) sse np.sum(distances ** 2)不过说实话图像分割场景里肘部法则只能当参考。图像内容本身没有绝对正确的类数最终K值还是要结合“分割结果是否符合业务需要”来定。我做商品拍摄背景替换时K值基本固定为4因为背景1类、主体1到2类、过渡1类这个配置在大多数照片上表现都不错。4.2 初始化方式K-Means值是稳定的入场券同一个K值下分段结果每次跑会不会不一样会。因为K-Means是随机初始化不同初始中心可能收敛到不同局部最优。想减少这种不确定性flags参数优先选cv2.KMEANS_PP_CENTERS。K-Means的思路很直观初始中心不要扎堆第一个中心随机选之后每个新中心都尽量选那些离已有中心较远的像素这样一开始就有一个比较合理的全局布局。实测下来KMEANS_PP_CENTERS在大多数图像上只需尝试2到3次就稳定而RANDOM_CENTERS可能要尝试10次以上才能避免陷入坏结果。有人为了完全确定性会固定随机种子或者把attempts调高到20但耗时也会线性增加。4.3 最大迭代次数与epsilon的平衡这两个参数一个控制最多跑多少轮一个控制中心变化多小才算收敛。如果图像尺寸不大比如几十万像素20次迭代通常足够如果图像有几百万像素建议最大迭代次数给到50。epsilon不是越小越好因为聚类中心在第10轮以后经常只发生小数点级别的移动对最后分割结果肉眼几乎无影响却会让算法多跑很多轮。我常用的组合是criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 1.0)速度和效果都比较平衡。4.4 颜色空间的选择RGB、LAB、还是带坐标RGB空间聚类在简单图上没问题但复杂光照下会输给LAB很多。我处理过一张食品包装照片包装上有红色和橙色两种相近颜色RGB聚类下两种颜色总是黏在一起换成LAB空间后A通道把红橙差异放大了分割立刻清晰。原因就是LAB空间在设计时就考虑了人眼对颜色差异的感知色差小的两种颜色在LAB空间里距离更近色差大的距离更远这和K-Means的距离度量天然契合。如果要把坐标加入特征向量例如自适应地保留空间近邻性我会先对L、A、B、x、y各列做标准化把量纲差异消除。坐标分量过大时聚类结果会变成“按区域分块”颜色差异反而不重要了标准化之后颜色和空间两个维度的贡献才能平衡。4.5 输入数据精度与图像预处理还有一个容易被忽略的点直接拿原始尺寸的高清图跑K-Means像素量可能是上千万每次迭代都要计算每个像素到每个中心的距离速度肉眼可见地慢。我通常先对输入图做一次resize缩到长边约480像素聚类完成后再把标签映射回原尺寸。这个操作对分割质量影响很小却能省下大量时间。另外在聚类前对图像做一次高斯模糊或中值滤波能有效减少传感器噪声导致的细小碎块。这一步不是必须的但对分割结果做展示或后续处理时碎块数量会明显减少。5. 常见问题与排查实录5.1 典型问题速查表下面这张表格整理了我在实际项目里遇到频率最高的问题以及对应的解决思路现象可能原因解决思路同一物体被切成大量碎片K值过大降低K值或加入坐标维度让空间相近的像素优先聚到一起背景和前景黏在一起分不开K值过小或颜色过于接近增加K值尝试LAB颜色空间拉大感知差异相邻两次运行结果差异大随机初始化不稳定改用KMEANS_PP_CENTERS提高attempts聚类结果有一堆孤立噪点原图存在大量噪声先做中值滤波或高斯模糊分割后再做一次形态学开运算运行时间过长像素量太大resize缩小图像或者用超像素做预处理聚类中心颜色反推后偏色LAB转RGB过程出错检查是否用uint8转换注意reshape的形状图像里有透明通道时结果怪异忘了处理Alpha通道先用cv2.split分离BGRA取BGR三个通道再聚类5.2 三个现场排查案例案例一分割结果里天空出现大量蓝色碎块但肉眼看起来天空明明是一整片。排查发现K值设成8把原本连续的渐变天空切成了好几个相似但不同的中心。改成K4之后天空合并成一个完整区域问题解决。这说明K值并非越大越精细超出图像天然的类数后多出来的类只是在拆分同色系。案例二同一张图每隔一次运行背景类和主体类的编号顺序会互换。比如第一次主体是类0、背景是类1第二次主体变成类1、背景是类0。这不是算法出bug而是聚类中心的初始位置随机类编号天然没有语义。处理方式是聚类结束后根据聚类中心的颜色或者空间位置做一个固定的类别映射再输出。案例三一张室内照片地板是浅木色墙壁是浅黄色肉眼能分清K-Means却把两者分不开。换成LAB空间后还是不行。最后检查发现是图像被resize过小长边只有120像素颜色信息被严重压缩。恢复分辨率后效果正常。这也提醒我不是所有问题都出在算法上预处理环节要步步检查。5.3 比调参更高效的定位思路遇到效果不好的分割结果时我建议先不要急着调参数而是先把labels可视化出来看分错的像素在空间上有没有规律。如果错误像素集中在物体边缘说明是过渡颜色造成的可以加个边缘后处理如果错误像素随机分布在全图大概率是噪声或特征设计有问题如果一整片区域被归成另一类那就考虑是不是颜色空间选择的锅。这个顺序能帮你快速缩小问题范围而不是盲目堆参数。6. 扩展思路从K-Means到更实用的分割方案6.1 超像素预处理把百万像素变成几百个块K-Means最明显的短板是计算量随着像素数线性增长。工程上常用的优化方案是先用SLIC超像素算法把图像划分成几百个互不重叠的小块每个小块内部的颜色和纹理高度一致再用这些超像素块的平均颜色作为特征去跑K-Means。这样算下来原始图500万像素被压缩成一两千个超像素聚类速度几乎可以实时完成。分割结果出来后把每个超像素的类别标签摊回原始像素依然能得到完整的像素级分割图。这个方法在遥感图像和医学图像上用得很多因为那些图动辄上亿像素直接聚类不可行。6.2 与均值漂移、分水岭的对比选择如果K-Means分割结果不够精细就该考虑其他方法了。均值漂移不需要预先指定类别数算法自己会在特征空间里寻找密度中心适合颜色分布呈明显山峰状的图但速度比K-Means慢不少。分水岭算法利用梯度图做拓扑淹水对物体边界很敏感适合分割有重叠的颗粒状物体却容易过分割。我的选择经验是时间紧、要求粗分、要稳定用K-Means目标物体数量未知、颜色密度分界明显用均值漂移需要连接边缘线并生成闭合区域用分水岭。三者不冲突也可以先K-Means粗分割再在每一类里用分水岭精细切分。6.3 K-Means分割结果能喂给谁K-Means分割结束后得到的labels图可以直接作为数据集扩充工具。比如要做语义分割模型但是人工标注成本太高可以对一批图片统一跑K-Means生成的伪标签作为预标注再让标注人员修正能节省不少时间。也可以用分割结果提取每个连通区域的外接矩形作为目标检测的候选框。在传统图像处理流程里K-Means分割后接一个连通域分析是常见组合先分出类再按类内连通区域计算面积、周长、孔洞数等特征用于后续的物体筛选。这种组合虽然简单但稳定性很好许多工业质检项目到现在还在沿用。7. 最后再分享一点个人体会图像分割看起来是个很“入门”的话题但真要在实际项目里用起来坑并不比深度学习少。我自己走过弯路之后最大的体会是别急着把K值调到很大去追求“精细”先想清楚分割结果给谁用。给展示用K可以稍微大一点视觉上更丰富给后续检测、测量用K宁小勿大避免把目标物体切碎。另外颜色空间这一步真的值得多试RGB不行就换LAB经常会带来意想不到的改善。K-Means的定位从来不是一个“完成态”的终点算法而是一个可靠的起点把前面的分块工作做扎实后面的精细分割路会顺很多。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
