图像预处理这件事我在工程里天天用但真要让我把“预处理”三个字讲清楚反而容易卡壳。这次重读《图像处理、分析与机器视觉第四版》的预处理章节把笔记重新整理了一遍发现很多平时凭手感调的参数其实书里早就给了判断标准。这篇笔记适合刚接触视觉算法的同学也适合做了几年项目但想回头补理论体系的工程师。我不照搬书里的定义而是结合自己实际项目中踩过的坑把灰度变换、空间滤波、锐化、几何校正、频域处理这几块串起来讲每个结论都能直接拿去对照自己的图像试。1. 图像预处理在整条视觉链路中的位置1.1 所谓“预”处理预的是什么预处理不是为了让图像“好看”而是为了让后续的分析、检测、识别更稳定。这个概念如果没掰扯清楚后面所有参数调整都会跑偏。书里把图像预处理定义为在图像分析之前的处理步骤目的是抑制无用信息、增强有用信息。注意“无用”和“有用”都是相对于后续任务而言的。同一个中值滤波在去除椒盐噪声时是预处理在保留纹理细节的场合就是破坏性操作。我见过不少同学上来就把所有图像做一遍直方图均衡化理由是“能提高对比度”结果后续边缘检测反而把背景纹理也当成目标提取出来了。这就是把预处理当成了“美化工具”而不是“任务适配工具”。还有一点容易被忽视预处理阶段尽量不要引入“面向高层的语义”。比如你想增强某个目标的边缘但前期并不知道目标在哪所以预处理必须保持通用性。它解决的是成像质量层面的问题不是识别层面的问题。如果一张图已经能被人眼清楚看到目标但算法还是识别不出来问题往往出在后端模型或特征设计上这时候再加强预处理反而会掩盖真实问题。1.2 先分清楚三类操作点操作、邻域操作、全局操作书里把预处理方法按作用范围分成三类这个分类我建议每一个做视觉的人都刻在脑子里像素级点操作对每个像素独立处理不依赖邻域。灰度变换、直方图均衡化、伽马校正都属于这类。特点是计算便宜适合快速调整对比度和亮度。邻域级处理结果依赖像素周围一定范围内的值。平滑、锐化、中值滤波属于这类。特点是能利用局部结构信息但会改变图像的分辨率感知。全局级需要整幅图像的信息或者处理结果和图像的全局属性相关。频域滤波、几何校正中的重采样可以归入这一类。特点是表达能力强但容易引入振铃、相位变化等副作用。做工程的时候这个分类的价值在于排错。比如图像亮暗不均你大概率先用点操作图像有噪声你才考虑邻域操作图像有周期性干扰你才需要上频域。我习惯在拿到新项目时先问自己一句这个图像质量问题的根源在像素级、邻域级还是全局级方向定错了后面调参全是白费。1.3 重读时才真正想明白的两个关键点这本书我第一遍读是在学校当时只记住了算法公式工作几年后再读才意识到两个隐含逻辑。第一个是“预处理的可解释性”。预处理阶段所有的操作都必须能回答“为什么这么做”。比如你用了高斯滤波那就要能说出来核大小为什么取5而不是15。书上的公式不会替你决定参数但它告诉你参数和图像尺度、噪声尺度之间的关系这就是判断依据。第二个是“预处理的可复现性”。同一个项目换了成像设备预处理参数基本要重新调。与其每次靠感觉不如把一组常用的预处理组合记成调参卡记录图像分辨率、光照条件、噪声水平、参数取值和效果截图。我自己维护过一张类似的表每次新项目来了先跑一遍全流程再按成像差异微调效率和稳定性都提升不少。2. 灰度变换与对比度增强2.1 线性变换和对比度拉伸的具体做法图像过暗或过亮本质是灰度分布集中在一个窄区间。最简单的做法是线性拉伸g(x,y) a * f(x,y) b其中a控制对比度b控制亮度。比如一张8位图像素集中在[80,160]如果把a取2、b取-40等于把灰度范围映射到[120,280]超过255的部分全部截断结果高光区域变死白。书里给的对比度拉伸思路是先对灰度做归一化再按图像中的最小值和最大值拉伸到[0,255]同时把两端1%的像素截断避免个别极端像素点影响整体分布。这个截断比例我项目里一般取0.5%到2%具体看直方图形状。如果直方图尾部拖得很长截断比例可以大一些如果分布本身就集中截断比例要小。线性变换的最大优点是简单、可逆、计算开销几乎为零在嵌入式设备上非常友好。但它有个硬伤当低对比度区域和暗部噪声同时存在时线性拉伸会把噪声一起放大。这时候就要考虑非线性变换。2.2 伽马校正为什么不能乱调非线性变换中的伽马校正是显示领域的常用手段公式是输出 输入^γ。γ小于1时暗部被拉伸亮部被压缩γ大于1则反过来。它模拟的是人眼对亮度的非线性感知。实际项目里γ取值不是随手拍的。我举个例子某次夜间监控图像直方图集中在暗部取γ0.4左右能明显把暗部细节拉开但γ太小时整张图看起来偏灰、发雾像蒙了一层纱。我的做法是先看直方图的累计分布找到90%像素所在的灰度区间再试γ0.5、0.7、1.0三档选主观效果和信噪比折中的那一档。对数变换也有类似作用但更常用于压缩动态范围。比如把高动态范围图像压缩到8位显示时对数变换在小数值区域近似线性在大数值区域压缩幅度大理解这一点就知道它为什么适合处理过曝场景。不过要注意对数变换对负值没有定义做之前需要先做偏移或归一化。2.3 直方图均衡化与规定化的区别直方图均衡化是预处理章节里最“出圈”的方法。原理是构造一个灰度映射使得输出图像的灰度直方图尽量平坦。做法很简单计算直方图归一化到[0,1]求累计分布函数也就是CDF然后乘255再取整。我这里通常用开源视觉库的equalizeHist接口一行就能跑通。但书里特别强调均衡化提高的是可视对比度不保证信息量增加。我实测过一张带暗部噪声的图均衡化后噪声细节被放大得非常难看。均衡化对“灰度分布整体偏斜”的图像效果好但如果原图本身有大量背景区域均衡化会把背景灰度拉开成多个条纹形成伪轮廓。如果对输出灰度分布有明确要求用直方图规定化也叫直方图匹配更可控做法是分别求输入图和目标图的直方图和CDF然后通过CDF反查建立灰度映射。工程里我用得最多的目标分布是期望的对比度分布而不是标准正态分布。2.4 CLAHE 与 clip limit 的实操经验书里可能不会直接讲CLAHE但它和直方图均衡化是同一脉络下的改进。自适应直方图均衡化把图像分成小块每块单独做均衡化避免整体均衡化造成的局部过曝限制对比度clip limit则把直方图过高的峰剪掉并重新分布从而控制放大倍数。我用某个开源视觉库的createCLAHE接口处理过夜间车牌图像clipLimit取2.0、tileGridSize取(8,8)效果比全局均衡化自然很多。经验是clipLimit越大对比度增强越强但噪声风险越高tile太小会导致块效应tile太大又回到全局均衡化的老路。具体取值要结合图像分辨率和目标大小一般从8x8或16x16开始试。还有一个细节CLAHE是在亮度通道上做的做之前先把图像转到合适的色彩空间只增强亮度分量否则颜色会失真。3. 空间域平滑与去噪3.1 均值滤波和高斯滤波的差别在哪里空间域的滤波就是一个核在图像上滑动做加权求和。均值滤波的核所有元素都相等计算最简单但它把所有像素“一视同仁”去噪的同时把边缘也抹平了而且对不同性质的噪声没有区分能力。高斯滤波的核权重按照高斯函数分布中心权重最大越往外越小。和均值滤波相比它的平滑更“温柔”保留边缘的能力稍好一些。这里有个关键概念核尺寸要能覆盖高斯函数的主要范围。理论上高斯核无限大但权重按指数衰减一般截断到3σ范围就够了。比如σ1.0时核半径取3核大小就是7x7当σ小于0.5时3x3的核就够用σ在1到2之间用5x5或7x7。工程上的经验是核越大计算越贵视频流实时处理时高斯滤波容易被拖后腿。一个常用技巧是用两次小核高斯滤波近似一次大核比如两次3x3的高斯滤波在效果上接近一次5x5或7x7计算量却低很多。3.2 中值滤波和双边滤波各自擅长什么中值滤波是把核内像素排序取中间值它对椒盐噪声特别有效因为极值点会被排序后挤到两端不会参与中间值的计算。中值滤波属于非线性滤波没有线性系统意义上的频率响应不能简单套用低通的概念。所以在写论文或做分析时别把中值滤波的“去噪能力”和高斯滤波放在同一个频率框架里去比较。双边滤波是空间域滤波里的“进阶款”在高斯滤波基础上加了灰度差权重邻域里灰度差异大的像素对当前点贡献小于是能保边缘去噪。代价是计算量大而且灰度差阈值σ_r选不好要么起不到去噪作用要么把边缘也磨平了。实际项目里双边滤波更适合做磨皮类视觉增强而真正要保留边缘做检测的场景我更推荐保边加后续形态学处理而不是过度依赖双边滤波。3.3 核大小、σ和边缘处理方式怎么定卷积核大小和σ之间存在解析关系前面提过5x5核大概对应σ0.8到1.07x7对应σ1.2到1.5。这里要注意不同开源库对σ的默认计算方式不一样有的库直接按核大小反推σ有的库要求手动指定混用会导致效果对不上。边缘处理方式padding也是影响结果的关键。最常见的三种补零会让边缘产生暗边复制边缘像素在多数图像里视觉最自然镜像方式适合纹理图像。书里通常不会把padding讲得特别细但工程上这一项直接影响边缘区域的滤波结果。我的习惯是在处理前把边缘区域单独标记出来滤波后在统计指标里排除边缘像素避免padding方式干扰评价。3.4 去噪之前先判断噪声模型这里有一张我整理过的滤波器选型表噪声类型常见来源推荐滤波主要陷阱高斯噪声传感器热噪声、暗光环境高斯滤波、均值滤波核太大导致细节丢失椒盐噪声传输干扰、坏像素中值滤波对高斯噪声几乎无效周期噪声电网干扰、机械振动频域陷波空间域很难处理干净量化噪声A/D转换精度不足轻微平滑容易和真实细节混淆我踩过的一个坑某项目的工业相机图像有周期性横纹我一开始在空间域用中值滤波反复尝试效果很差后来在频域定位到几条亮线用带阻滤波才解决。这说明空间域和频域不是二选一而是互补的两套工具箱。如果噪声看起来“有规律”直接用频域如果噪声是随机散布的脉冲用空间域的非线性滤波更合适。4. 图像锐化与边缘增强4.1 一阶梯度算子和二阶拉普拉斯的关系锐化的本质是增强图像的灰度变化。为了检测变化一阶梯度算子给出变化的方向和幅度二阶导数给出变化的“转折”信息。Sobel、Prewitt、Scharr都属于一阶梯度算子它们用两个方向的卷积核分别计算x和y方向的梯度再合成梯度幅值。书里特别提醒梯度幅值强调边缘的强度但对边缘的具体位置不够精确因为边缘区域通常会形成一条宽带。这一步我在工程里的体会是如果你要做尺寸测量边缘定位精度要求高需要额外的亚像素处理如果只是做目标检测的候选区域梯度幅值够用。拉普拉斯算子是二阶微分算子具有各向同性不依赖方向。离散实现常用3x3核比如中心为8周围为-1的核或者中心为4周围为-1的核。它的问题是对噪声非常敏感因为噪声点往往是高频尖峰二阶微分会把尖峰放大。所以用拉普拉斯之前通常要配合轻微平滑。4.2 拉普拉斯增强和反锐化掩膜怎么选常见的拉普拉斯锐化公式是g f λ * ∇²f其中λ控制增强强度。把原始图像加上拉普拉斯结果相当于叠加了高频分量。我用这个公式时λ通常取0.5到1.5之间超过2.0时边缘容易出现“过冲”白边。反锐化掩膜unsharp masking的思路更容易理解先用低通滤波得到模糊图像然后用原图减模糊图得到“细节层”再把细节层按一定比例加回原图。高通滤波等于原图减低通图所以反锐化掩膜本质上是可控的锐化。工程里锐化强度参数一般和图像分辨率挂钩高分辨率图像需要的增强强度较小否则会出现像素级边缘发白发黑的问题。这里有个小技巧如果只需要增强边缘但不希望背景纹理也被锐化可以先做一个梯度幅值图用它作为空间加权让锐化只在边缘区域生效。这种做法比单纯调λ要精细得多。4.3 锐化最常见的两个问题噪声放大和光晕锐化操作本质上是增强高频而噪声也属于高频所以锐化之后暗部噪声通常会变得更显眼。解决思路是先平滑再锐化顺序不能反。先锐化再平滑会把噪声和边缘一起平滑掉达不到增强效果。光晕是过度锐化的标志在强边缘两侧出现过亮或过暗的条纹。书里讲锐化时没有专门提光晕但做图像增强的都知道边缘过渡带被过度拉伸就会出白边或者黑边。我的做法是先对图像做轻微去噪再用反锐化掩膜锐化强度宁可保守一点然后用局部对比度增强来补充视觉效果而不是一味调高锐化参数。4.4 Sobel 算子实操和核归一化问题用一个实例说明参数选择。调用开源视觉库的Sobel接口ksize取3、dx1、dy0得到x方向梯度再通过convertScaleAbs转换到可视化范围。这里有个细节梯度结果可能包含负值直接取绝对值会丢掉方向信息但做边缘检测时通常只看幅度问题不大。如果要做边缘方向统计就要保留符号信息。核归一化问题也常被忽略。做锐化时如果增强核的系数之和不是1图像整体亮度会漂移。比如拉普拉斯核中心8周围-1系数和是0卷积结果只包含高频用来做g f λ∇²f时系数和在255范围内影响不大但如果你自己设计了一个混合核系数和大于1输出就会过曝。我自己写锐化函数时会把输出像素值先clip再显示避免灰度越界造成伪轮廓。5. 几何校正与图像配准5.1 仿射变换和透视变换的矩阵逻辑预处理章节里的几何变换考虑的是图像像素坐标的映射关系。平移、旋转、缩放、错切可以用仿射变换表达仿射变换矩阵是2x3对应6个自由度透视变换矩阵是3x3对应8个自由度可以表达更一般的投影关系。书里有个说法很关键几何变换分两步第一步是坐标映射前向或反向第二步是灰度插值。坐标映射决定了像素从哪里来插值决定了取哪些灰度值来算。实际开发中几乎总是使用反向映射加插值遍历输出图像的每个像素反查源图像的坐标再做插值这样能避免输出图像出现空洞。如果使用前向映射有些输出像素的坐标可能没有对应的源像素就需要额外处理空洞。5.2 畸变校正和标定思路镜头畸变是几何校正的主要场景。径向畸变会让直线变弯桶形畸变在图像边缘尤其明显。校正的思路通常是标定用标定板拍多张图像提取角点估计相机内参和畸变系数再用畸变模型反向校正像素坐标。书里预处理章节可能只是浅谈几何变换但工程上一定会遇到畸变问题。我的经验是如果只是做显示和人工查看直接用标定得到的矩阵重新映射即可如果要和后续特征匹配、双目立体匹配联动畸变校正必须在特征提取之前完成并且校正参数要一直复用不能每张图都重新标定。还有一点要注意畸变校正之后图像的边缘区域通常会因为拉伸而变模糊这是正常的。如果边缘区域的清晰度对后续任务很重要可以考虑在采集时用更高分辨率或者减小校正的拉伸范围。5.3 三种插值方法怎么选几何校正后的插值同样是预处理的一部分。最近邻插值计算最快但会产生锯齿和块状伪影适合像素级标注或二值掩膜双线性插值最常用平滑效果好计算量适中双三次插值质量更好但速度最慢适合离线的精细校正。预处理阶段我一般选双线性。理由很实际校正完的图像还要做滤波和边缘检测双线性引入的轻微模糊比双三次的振铃伪影更容易被后续模块消化。如果对图像缩放没有特殊要求双线性是最稳妥的默认选择。如果做的是医学影像或者卫星影像这类对分辨率要求极高的场景才考虑双三次或者更高级的插值方法。6. 频域视角下的预处理6.1 为什么要把频率谱调到一个方向看图像空间域的卷积对应频域的点乘这是卷积定理。于是一个线性滤波器可以在频域直接构造傅里叶变换、乘滤波函数、逆变换。频域的好处是把“核大小”问题变成了“截止频率”问题直观得多。实际操作时要注意频谱中心化否则低频分量分布在四个角上处理起来相当别扭。还要注意频谱幅度范围很大一般用对数变换显示才能看到结构。我见过有人用频域滤波时忘了做中心化把低通滤波当高通用结果图像反而更模糊排查了半天才发现是频谱位置理解错了。6.2 低通、高通、带阻滤波器和振铃效应理想低通滤波器的频率响应是矩形窗在频域里非常锐利但截断带来的Gibbs现象会在空间域产生振铃。书里会强调这个点频域滤波越“理想”空间域伪影越明显。巴特沃斯滤波器给了平滑过渡振铃少一些高斯低通滤波器基本没有振铃但边缘保留较差。实际做周期噪声去除时我常用带阻或陷波滤波器。先在频谱里找到亮点也就是噪声频谱峰然后在对应半径处做陷波效果立竿见影。注意做陷波时要保留直流分量和低频信息否则图像平均亮度会变化。陷波半径尽量取窄宁可多取几个窄陷波也不要用一个大半径陷波把附近有用频率也干掉。6.3 空间域和频域怎么选不是一个选择题判断标准很简单如果噪声或信号的特征在空间域里清晰可辨比如椒盐噪声、划痕用空间域如果现象呈现周期性或者明显的频率特征比如横纹、摩尔纹用频域。两者可以配合使用先频域去除周期噪声再空间域平滑残留随机噪声。还有种通用做法用小尺寸卷积核的多次迭代可以近似大尺寸高斯滤波的效果在空间域能减少计算量。书里把频域讲得很深但工程上我很少对每个项目都走一遍傅里叶变换优先用轻量空间域方案遇到解决不了的问题再上频域。性能敏感的项目里空间域卷积可以用分离卷积、快速傅里叶变换加速等方式优化但不要一开始就把链路做复杂。7. 常见问题与排查技巧实录7.1 直方图均衡化后噪声明显加重现象原本还挺干净的图像均衡化后暗部噪点全部浮现。原因暗部灰度的细小扰动被拉伸成了大幅差异等同于放大了噪声。排查看均衡化前后的直方图如果低频峰被拉开后出现很多小尖刺大概率是噪声放大。解法是改用CLAHE并适当降低clipLimit或者先对暗部做轻微平滑再均衡化。7.2 中值滤波去不掉高斯噪声现象图像看起来还有一层雾噪声没有被有效压制。原因高斯噪声不是脉冲极值中值滤波排序后取中值对这类噪声的响应有限。排查换成高斯滤波或均值滤波。有一个技巧先用中值滤波去掉椒盐噪声再用高斯滤波处理残余高斯噪声顺序不能反。反过来的话中值滤波会把高斯滤波后的像素值重新排序破坏连续性。7.3 锐化后出现明显的光晕和白边现象亮物体边缘周围出现一圈白色光晕暗物体边缘出现黑色描边。原因锐化强度过高或者在没有去噪的情况下直接锐化导致边缘过渡带的过冲。排查降低λ值改用反锐化掩膜并控制细节层增益或在锐化前先做轻微高斯滤波。7.4 几何校正后图像边缘模糊现象校正完的图片中心清晰边缘区域发虚甚至错位。原因可能是插值方法选错或者标定参数不准导致边缘区域的映射误差被放大。排查先验证标定参数在图像四个角放置已知坐标的点做重投影误差检查如果没有问题再考虑提高插值精度或改用更高分辨率的校正流程。7.5 频域滤波后图像出现明暗交替条纹现象滤波结果有周期性波纹看起来像水面涟漪。原因频域滤波时在截止频率处过渡太陡产生振铃效应或者陷波半径选择不当把附近有用频率也干掉了。排查换用高斯低通或巴特沃斯滤波器平滑过渡带陷波半径尽量取窄宁可多取几个窄陷波也不要用一个大半径陷波。整理这本书的预处理章节我最大的体会是预处理没有标准答案只有任务相关的平衡。书上给出的每一个公式最终都要落到实际图像的灰度分布、噪声模型和后续任务里去验证。我的习惯是把常用的预处理组合参数记成一张调参卡每次拿到新项目先跑一遍全流程再根据成像场景微调这样既快又不容易漏掉关键环节。如果这篇笔记能帮你少走几步弯路那就足够了。
图像预处理这件事我在工程里天天用但真要让我把“预处理”三个字讲清楚反而容易卡壳。这次重读《图像处理、分析与机器视觉第四版》的预处理章节把笔记重新整理了一遍发现很多平时凭手感调的参数其实书里早就给了判断标准。这篇笔记适合刚接触视觉算法的同学也适合做了几年项目但想回头补理论体系的工程师。我不照搬书里的定义而是结合自己实际项目中踩过的坑把灰度变换、空间滤波、锐化、几何校正、频域处理这几块串起来讲每个结论都能直接拿去对照自己的图像试。1. 图像预处理在整条视觉链路中的位置1.1 所谓“预”处理预的是什么预处理不是为了让图像“好看”而是为了让后续的分析、检测、识别更稳定。这个概念如果没掰扯清楚后面所有参数调整都会跑偏。书里把图像预处理定义为在图像分析之前的处理步骤目的是抑制无用信息、增强有用信息。注意“无用”和“有用”都是相对于后续任务而言的。同一个中值滤波在去除椒盐噪声时是预处理在保留纹理细节的场合就是破坏性操作。我见过不少同学上来就把所有图像做一遍直方图均衡化理由是“能提高对比度”结果后续边缘检测反而把背景纹理也当成目标提取出来了。这就是把预处理当成了“美化工具”而不是“任务适配工具”。还有一点容易被忽视预处理阶段尽量不要引入“面向高层的语义”。比如你想增强某个目标的边缘但前期并不知道目标在哪所以预处理必须保持通用性。它解决的是成像质量层面的问题不是识别层面的问题。如果一张图已经能被人眼清楚看到目标但算法还是识别不出来问题往往出在后端模型或特征设计上这时候再加强预处理反而会掩盖真实问题。1.2 先分清楚三类操作点操作、邻域操作、全局操作书里把预处理方法按作用范围分成三类这个分类我建议每一个做视觉的人都刻在脑子里像素级点操作对每个像素独立处理不依赖邻域。灰度变换、直方图均衡化、伽马校正都属于这类。特点是计算便宜适合快速调整对比度和亮度。邻域级处理结果依赖像素周围一定范围内的值。平滑、锐化、中值滤波属于这类。特点是能利用局部结构信息但会改变图像的分辨率感知。全局级需要整幅图像的信息或者处理结果和图像的全局属性相关。频域滤波、几何校正中的重采样可以归入这一类。特点是表达能力强但容易引入振铃、相位变化等副作用。做工程的时候这个分类的价值在于排错。比如图像亮暗不均你大概率先用点操作图像有噪声你才考虑邻域操作图像有周期性干扰你才需要上频域。我习惯在拿到新项目时先问自己一句这个图像质量问题的根源在像素级、邻域级还是全局级方向定错了后面调参全是白费。1.3 重读时才真正想明白的两个关键点这本书我第一遍读是在学校当时只记住了算法公式工作几年后再读才意识到两个隐含逻辑。第一个是“预处理的可解释性”。预处理阶段所有的操作都必须能回答“为什么这么做”。比如你用了高斯滤波那就要能说出来核大小为什么取5而不是15。书上的公式不会替你决定参数但它告诉你参数和图像尺度、噪声尺度之间的关系这就是判断依据。第二个是“预处理的可复现性”。同一个项目换了成像设备预处理参数基本要重新调。与其每次靠感觉不如把一组常用的预处理组合记成调参卡记录图像分辨率、光照条件、噪声水平、参数取值和效果截图。我自己维护过一张类似的表每次新项目来了先跑一遍全流程再按成像差异微调效率和稳定性都提升不少。2. 灰度变换与对比度增强2.1 线性变换和对比度拉伸的具体做法图像过暗或过亮本质是灰度分布集中在一个窄区间。最简单的做法是线性拉伸g(x,y) a * f(x,y) b其中a控制对比度b控制亮度。比如一张8位图像素集中在[80,160]如果把a取2、b取-40等于把灰度范围映射到[120,280]超过255的部分全部截断结果高光区域变死白。书里给的对比度拉伸思路是先对灰度做归一化再按图像中的最小值和最大值拉伸到[0,255]同时把两端1%的像素截断避免个别极端像素点影响整体分布。这个截断比例我项目里一般取0.5%到2%具体看直方图形状。如果直方图尾部拖得很长截断比例可以大一些如果分布本身就集中截断比例要小。线性变换的最大优点是简单、可逆、计算开销几乎为零在嵌入式设备上非常友好。但它有个硬伤当低对比度区域和暗部噪声同时存在时线性拉伸会把噪声一起放大。这时候就要考虑非线性变换。2.2 伽马校正为什么不能乱调非线性变换中的伽马校正是显示领域的常用手段公式是输出 输入^γ。γ小于1时暗部被拉伸亮部被压缩γ大于1则反过来。它模拟的是人眼对亮度的非线性感知。实际项目里γ取值不是随手拍的。我举个例子某次夜间监控图像直方图集中在暗部取γ0.4左右能明显把暗部细节拉开但γ太小时整张图看起来偏灰、发雾像蒙了一层纱。我的做法是先看直方图的累计分布找到90%像素所在的灰度区间再试γ0.5、0.7、1.0三档选主观效果和信噪比折中的那一档。对数变换也有类似作用但更常用于压缩动态范围。比如把高动态范围图像压缩到8位显示时对数变换在小数值区域近似线性在大数值区域压缩幅度大理解这一点就知道它为什么适合处理过曝场景。不过要注意对数变换对负值没有定义做之前需要先做偏移或归一化。2.3 直方图均衡化与规定化的区别直方图均衡化是预处理章节里最“出圈”的方法。原理是构造一个灰度映射使得输出图像的灰度直方图尽量平坦。做法很简单计算直方图归一化到[0,1]求累计分布函数也就是CDF然后乘255再取整。我这里通常用开源视觉库的equalizeHist接口一行就能跑通。但书里特别强调均衡化提高的是可视对比度不保证信息量增加。我实测过一张带暗部噪声的图均衡化后噪声细节被放大得非常难看。均衡化对“灰度分布整体偏斜”的图像效果好但如果原图本身有大量背景区域均衡化会把背景灰度拉开成多个条纹形成伪轮廓。如果对输出灰度分布有明确要求用直方图规定化也叫直方图匹配更可控做法是分别求输入图和目标图的直方图和CDF然后通过CDF反查建立灰度映射。工程里我用得最多的目标分布是期望的对比度分布而不是标准正态分布。2.4 CLAHE 与 clip limit 的实操经验书里可能不会直接讲CLAHE但它和直方图均衡化是同一脉络下的改进。自适应直方图均衡化把图像分成小块每块单独做均衡化避免整体均衡化造成的局部过曝限制对比度clip limit则把直方图过高的峰剪掉并重新分布从而控制放大倍数。我用某个开源视觉库的createCLAHE接口处理过夜间车牌图像clipLimit取2.0、tileGridSize取(8,8)效果比全局均衡化自然很多。经验是clipLimit越大对比度增强越强但噪声风险越高tile太小会导致块效应tile太大又回到全局均衡化的老路。具体取值要结合图像分辨率和目标大小一般从8x8或16x16开始试。还有一个细节CLAHE是在亮度通道上做的做之前先把图像转到合适的色彩空间只增强亮度分量否则颜色会失真。3. 空间域平滑与去噪3.1 均值滤波和高斯滤波的差别在哪里空间域的滤波就是一个核在图像上滑动做加权求和。均值滤波的核所有元素都相等计算最简单但它把所有像素“一视同仁”去噪的同时把边缘也抹平了而且对不同性质的噪声没有区分能力。高斯滤波的核权重按照高斯函数分布中心权重最大越往外越小。和均值滤波相比它的平滑更“温柔”保留边缘的能力稍好一些。这里有个关键概念核尺寸要能覆盖高斯函数的主要范围。理论上高斯核无限大但权重按指数衰减一般截断到3σ范围就够了。比如σ1.0时核半径取3核大小就是7x7当σ小于0.5时3x3的核就够用σ在1到2之间用5x5或7x7。工程上的经验是核越大计算越贵视频流实时处理时高斯滤波容易被拖后腿。一个常用技巧是用两次小核高斯滤波近似一次大核比如两次3x3的高斯滤波在效果上接近一次5x5或7x7计算量却低很多。3.2 中值滤波和双边滤波各自擅长什么中值滤波是把核内像素排序取中间值它对椒盐噪声特别有效因为极值点会被排序后挤到两端不会参与中间值的计算。中值滤波属于非线性滤波没有线性系统意义上的频率响应不能简单套用低通的概念。所以在写论文或做分析时别把中值滤波的“去噪能力”和高斯滤波放在同一个频率框架里去比较。双边滤波是空间域滤波里的“进阶款”在高斯滤波基础上加了灰度差权重邻域里灰度差异大的像素对当前点贡献小于是能保边缘去噪。代价是计算量大而且灰度差阈值σ_r选不好要么起不到去噪作用要么把边缘也磨平了。实际项目里双边滤波更适合做磨皮类视觉增强而真正要保留边缘做检测的场景我更推荐保边加后续形态学处理而不是过度依赖双边滤波。3.3 核大小、σ和边缘处理方式怎么定卷积核大小和σ之间存在解析关系前面提过5x5核大概对应σ0.8到1.07x7对应σ1.2到1.5。这里要注意不同开源库对σ的默认计算方式不一样有的库直接按核大小反推σ有的库要求手动指定混用会导致效果对不上。边缘处理方式padding也是影响结果的关键。最常见的三种补零会让边缘产生暗边复制边缘像素在多数图像里视觉最自然镜像方式适合纹理图像。书里通常不会把padding讲得特别细但工程上这一项直接影响边缘区域的滤波结果。我的习惯是在处理前把边缘区域单独标记出来滤波后在统计指标里排除边缘像素避免padding方式干扰评价。3.4 去噪之前先判断噪声模型这里有一张我整理过的滤波器选型表噪声类型常见来源推荐滤波主要陷阱高斯噪声传感器热噪声、暗光环境高斯滤波、均值滤波核太大导致细节丢失椒盐噪声传输干扰、坏像素中值滤波对高斯噪声几乎无效周期噪声电网干扰、机械振动频域陷波空间域很难处理干净量化噪声A/D转换精度不足轻微平滑容易和真实细节混淆我踩过的一个坑某项目的工业相机图像有周期性横纹我一开始在空间域用中值滤波反复尝试效果很差后来在频域定位到几条亮线用带阻滤波才解决。这说明空间域和频域不是二选一而是互补的两套工具箱。如果噪声看起来“有规律”直接用频域如果噪声是随机散布的脉冲用空间域的非线性滤波更合适。4. 图像锐化与边缘增强4.1 一阶梯度算子和二阶拉普拉斯的关系锐化的本质是增强图像的灰度变化。为了检测变化一阶梯度算子给出变化的方向和幅度二阶导数给出变化的“转折”信息。Sobel、Prewitt、Scharr都属于一阶梯度算子它们用两个方向的卷积核分别计算x和y方向的梯度再合成梯度幅值。书里特别提醒梯度幅值强调边缘的强度但对边缘的具体位置不够精确因为边缘区域通常会形成一条宽带。这一步我在工程里的体会是如果你要做尺寸测量边缘定位精度要求高需要额外的亚像素处理如果只是做目标检测的候选区域梯度幅值够用。拉普拉斯算子是二阶微分算子具有各向同性不依赖方向。离散实现常用3x3核比如中心为8周围为-1的核或者中心为4周围为-1的核。它的问题是对噪声非常敏感因为噪声点往往是高频尖峰二阶微分会把尖峰放大。所以用拉普拉斯之前通常要配合轻微平滑。4.2 拉普拉斯增强和反锐化掩膜怎么选常见的拉普拉斯锐化公式是g f λ * ∇²f其中λ控制增强强度。把原始图像加上拉普拉斯结果相当于叠加了高频分量。我用这个公式时λ通常取0.5到1.5之间超过2.0时边缘容易出现“过冲”白边。反锐化掩膜unsharp masking的思路更容易理解先用低通滤波得到模糊图像然后用原图减模糊图得到“细节层”再把细节层按一定比例加回原图。高通滤波等于原图减低通图所以反锐化掩膜本质上是可控的锐化。工程里锐化强度参数一般和图像分辨率挂钩高分辨率图像需要的增强强度较小否则会出现像素级边缘发白发黑的问题。这里有个小技巧如果只需要增强边缘但不希望背景纹理也被锐化可以先做一个梯度幅值图用它作为空间加权让锐化只在边缘区域生效。这种做法比单纯调λ要精细得多。4.3 锐化最常见的两个问题噪声放大和光晕锐化操作本质上是增强高频而噪声也属于高频所以锐化之后暗部噪声通常会变得更显眼。解决思路是先平滑再锐化顺序不能反。先锐化再平滑会把噪声和边缘一起平滑掉达不到增强效果。光晕是过度锐化的标志在强边缘两侧出现过亮或过暗的条纹。书里讲锐化时没有专门提光晕但做图像增强的都知道边缘过渡带被过度拉伸就会出白边或者黑边。我的做法是先对图像做轻微去噪再用反锐化掩膜锐化强度宁可保守一点然后用局部对比度增强来补充视觉效果而不是一味调高锐化参数。4.4 Sobel 算子实操和核归一化问题用一个实例说明参数选择。调用开源视觉库的Sobel接口ksize取3、dx1、dy0得到x方向梯度再通过convertScaleAbs转换到可视化范围。这里有个细节梯度结果可能包含负值直接取绝对值会丢掉方向信息但做边缘检测时通常只看幅度问题不大。如果要做边缘方向统计就要保留符号信息。核归一化问题也常被忽略。做锐化时如果增强核的系数之和不是1图像整体亮度会漂移。比如拉普拉斯核中心8周围-1系数和是0卷积结果只包含高频用来做g f λ∇²f时系数和在255范围内影响不大但如果你自己设计了一个混合核系数和大于1输出就会过曝。我自己写锐化函数时会把输出像素值先clip再显示避免灰度越界造成伪轮廓。5. 几何校正与图像配准5.1 仿射变换和透视变换的矩阵逻辑预处理章节里的几何变换考虑的是图像像素坐标的映射关系。平移、旋转、缩放、错切可以用仿射变换表达仿射变换矩阵是2x3对应6个自由度透视变换矩阵是3x3对应8个自由度可以表达更一般的投影关系。书里有个说法很关键几何变换分两步第一步是坐标映射前向或反向第二步是灰度插值。坐标映射决定了像素从哪里来插值决定了取哪些灰度值来算。实际开发中几乎总是使用反向映射加插值遍历输出图像的每个像素反查源图像的坐标再做插值这样能避免输出图像出现空洞。如果使用前向映射有些输出像素的坐标可能没有对应的源像素就需要额外处理空洞。5.2 畸变校正和标定思路镜头畸变是几何校正的主要场景。径向畸变会让直线变弯桶形畸变在图像边缘尤其明显。校正的思路通常是标定用标定板拍多张图像提取角点估计相机内参和畸变系数再用畸变模型反向校正像素坐标。书里预处理章节可能只是浅谈几何变换但工程上一定会遇到畸变问题。我的经验是如果只是做显示和人工查看直接用标定得到的矩阵重新映射即可如果要和后续特征匹配、双目立体匹配联动畸变校正必须在特征提取之前完成并且校正参数要一直复用不能每张图都重新标定。还有一点要注意畸变校正之后图像的边缘区域通常会因为拉伸而变模糊这是正常的。如果边缘区域的清晰度对后续任务很重要可以考虑在采集时用更高分辨率或者减小校正的拉伸范围。5.3 三种插值方法怎么选几何校正后的插值同样是预处理的一部分。最近邻插值计算最快但会产生锯齿和块状伪影适合像素级标注或二值掩膜双线性插值最常用平滑效果好计算量适中双三次插值质量更好但速度最慢适合离线的精细校正。预处理阶段我一般选双线性。理由很实际校正完的图像还要做滤波和边缘检测双线性引入的轻微模糊比双三次的振铃伪影更容易被后续模块消化。如果对图像缩放没有特殊要求双线性是最稳妥的默认选择。如果做的是医学影像或者卫星影像这类对分辨率要求极高的场景才考虑双三次或者更高级的插值方法。6. 频域视角下的预处理6.1 为什么要把频率谱调到一个方向看图像空间域的卷积对应频域的点乘这是卷积定理。于是一个线性滤波器可以在频域直接构造傅里叶变换、乘滤波函数、逆变换。频域的好处是把“核大小”问题变成了“截止频率”问题直观得多。实际操作时要注意频谱中心化否则低频分量分布在四个角上处理起来相当别扭。还要注意频谱幅度范围很大一般用对数变换显示才能看到结构。我见过有人用频域滤波时忘了做中心化把低通滤波当高通用结果图像反而更模糊排查了半天才发现是频谱位置理解错了。6.2 低通、高通、带阻滤波器和振铃效应理想低通滤波器的频率响应是矩形窗在频域里非常锐利但截断带来的Gibbs现象会在空间域产生振铃。书里会强调这个点频域滤波越“理想”空间域伪影越明显。巴特沃斯滤波器给了平滑过渡振铃少一些高斯低通滤波器基本没有振铃但边缘保留较差。实际做周期噪声去除时我常用带阻或陷波滤波器。先在频谱里找到亮点也就是噪声频谱峰然后在对应半径处做陷波效果立竿见影。注意做陷波时要保留直流分量和低频信息否则图像平均亮度会变化。陷波半径尽量取窄宁可多取几个窄陷波也不要用一个大半径陷波把附近有用频率也干掉。6.3 空间域和频域怎么选不是一个选择题判断标准很简单如果噪声或信号的特征在空间域里清晰可辨比如椒盐噪声、划痕用空间域如果现象呈现周期性或者明显的频率特征比如横纹、摩尔纹用频域。两者可以配合使用先频域去除周期噪声再空间域平滑残留随机噪声。还有种通用做法用小尺寸卷积核的多次迭代可以近似大尺寸高斯滤波的效果在空间域能减少计算量。书里把频域讲得很深但工程上我很少对每个项目都走一遍傅里叶变换优先用轻量空间域方案遇到解决不了的问题再上频域。性能敏感的项目里空间域卷积可以用分离卷积、快速傅里叶变换加速等方式优化但不要一开始就把链路做复杂。7. 常见问题与排查技巧实录7.1 直方图均衡化后噪声明显加重现象原本还挺干净的图像均衡化后暗部噪点全部浮现。原因暗部灰度的细小扰动被拉伸成了大幅差异等同于放大了噪声。排查看均衡化前后的直方图如果低频峰被拉开后出现很多小尖刺大概率是噪声放大。解法是改用CLAHE并适当降低clipLimit或者先对暗部做轻微平滑再均衡化。7.2 中值滤波去不掉高斯噪声现象图像看起来还有一层雾噪声没有被有效压制。原因高斯噪声不是脉冲极值中值滤波排序后取中值对这类噪声的响应有限。排查换成高斯滤波或均值滤波。有一个技巧先用中值滤波去掉椒盐噪声再用高斯滤波处理残余高斯噪声顺序不能反。反过来的话中值滤波会把高斯滤波后的像素值重新排序破坏连续性。7.3 锐化后出现明显的光晕和白边现象亮物体边缘周围出现一圈白色光晕暗物体边缘出现黑色描边。原因锐化强度过高或者在没有去噪的情况下直接锐化导致边缘过渡带的过冲。排查降低λ值改用反锐化掩膜并控制细节层增益或在锐化前先做轻微高斯滤波。7.4 几何校正后图像边缘模糊现象校正完的图片中心清晰边缘区域发虚甚至错位。原因可能是插值方法选错或者标定参数不准导致边缘区域的映射误差被放大。排查先验证标定参数在图像四个角放置已知坐标的点做重投影误差检查如果没有问题再考虑提高插值精度或改用更高分辨率的校正流程。7.5 频域滤波后图像出现明暗交替条纹现象滤波结果有周期性波纹看起来像水面涟漪。原因频域滤波时在截止频率处过渡太陡产生振铃效应或者陷波半径选择不当把附近有用频率也干掉了。排查换用高斯低通或巴特沃斯滤波器平滑过渡带陷波半径尽量取窄宁可多取几个窄陷波也不要用一个大半径陷波。整理这本书的预处理章节我最大的体会是预处理没有标准答案只有任务相关的平衡。书上给出的每一个公式最终都要落到实际图像的灰度分布、噪声模型和后续任务里去验证。我的习惯是把常用的预处理组合参数记成一张调参卡每次拿到新项目先跑一遍全流程再根据成像场景微调这样既快又不容易漏掉关键环节。如果这篇笔记能帮你少走几步弯路那就足够了。
