简介面向计算机视觉与图像处理研究者的偏振图像去噪Python项目重点解决强反光、眩光场景下偏振数据的噪声抑制与细节恢复问题。资源共38个文件压缩包仅906KB其中包含15个Python源码、14个编译后的pyc缓存、5张数据集示例图以及Dockerfile、LICENSE等辅助文件。源码覆盖模型构建model_pcn.py、model_sna.py、model_rgbrn.py、数据加载polar_loader.py、训练评估main.py、metrics.py等完整流程并配有utils、transforms等工具模块。提供的synthetic_dataset.jpg、realworld_dataset.jpg等示例图可直观对比合成与真实偏振数据的差异便于快速验证算法效果。目前已有396人学习下载适合具备一定Python基础、希望入手偏振图像去噪或对比多模型性能的研究者参考。1. 偏振图像去噪一份能直接跑通的 Python 资源与配套数据集干过偏振成像的人都有这种体验偏振相机拍出来的强度图看着还行一旦把偏振度DoP一算图像上全是细密噪点纹理结构被淹得只剩轮廓。原因很简单DoP √(Q²U²) / I这个除法会把 Q、U 通道里的小幅噪声直接放大平常在 RGB 图上用的高斯滤波、中值滤波拿到偏振数据上经常越修越糟。这份资源恰好踩在这个痛点上一套用 Python 实现的偏振图像去噪流程附带了可直接使用的偏振数据集。对正在做偏振成像课题的学生或者手里正好有一台偏振相机、天天跟噪声较劲的工程师来说最关心的几件事——数据从哪来、去噪在哪个域里做、参数怎么设、哪些地方容易翻车——这套资源基本都覆盖了。接下来我按自己拆项目的方式把原理、代码、参数和坑一次讲透。2. 偏振图为什么不能走普通去噪Stokes 域与极化参数2.1 偏振图像的数据结构四个方向通道与 Stokes 参数偏振相机和普通灰度相机最大的区别是传感器上叠加了微偏振阵列MPA每个像素只会通过特定方向的偏振光常见布局是 0°、45°、90°、135° 四个方向一组。因此拿到手的原始数据通常不是一张 I 图而是四张方向强度图I0、I45、I90、I135。有的数据集直接给这四张有的给的是已经换算好的 Stokes 参数 I、Q、U使用前先确认格式是这个资源的第一个关键点。Stokes 参数的计算关系是I (I0 I45 I90 I135) / 2Q I0 - I90U I45 - I135其中 I 是总光强Q 和 U 描述线偏振分量的分布情况。偏振度 DoP 和偏振角 AoP 由 Q、U 与 I 推导而来DoP √(Q² U²) / IAoP 0.5 × arctan2(U, Q)真正有物理意义、后续做应力检测、去雾、材质分类时用到的量是 DoP 和 AoP而不是四个原始强度通道。所以去噪不能只盯着 I 图做Q 和 U 通道里的噪声直接影响 DoP 曲线的平滑程度和 AoP 角度的稳定性。注意这里 I 的公式是简化写法部分偏振相机厂商会给出标定后的增益系数使用前建议对照相机手册确认不要拿着公式直接套。2.2 噪声来源与为什么不能直接在 DoP 上做偏振图像的噪声来源比普通图像复杂至少有三层。第一层是散粒噪声光子到达数量服从泊松分布信号越强噪声越大第二层是读出噪声和暗电流与曝光时间和传感器温度相关第三层是 MPA 插值误差——因为同一个位置的四个方向强度实际上是靠相邻像素插值得到的插值本身会被噪声放大。这三层噪声叠加后Q、U 通道的绝对噪声幅度不大但信噪比很低尤其是在 I 值较小的阴影区域。如果直接把 DoP 图当灰度图去做 BM3D 或深度学习去噪会出两个问题。一是 DoP 里已经包含了除法运算噪声不再服从高斯分布很多去噪算法的前提假设直接失效二是去噪算法只看到 DoP 的标量值丢了 I、Q、U 之间的物理约束关系结果就是 PSNR 看着不错DoP 曲线却出现了原本不存在的起伏。正确的流程应该是先在 Stokes 分量域I、Q、U做去噪再去计算 DoP 和 AoP。这个顺序几乎没有争议做偏振去噪的团队基本都是这个思路。原因在于 Stokes 分量之间天然带着统计相关性网络或滤波器可以利用这种相关性而去噪后再除法极化参数的稳定性才有保证。2.3 算法选型的边界BM3D 与深度模型怎么选明白了要在哪个域做下一个问题是用什么算法。经典路线是 BM3D深度路线是 DnCNN 或 UNet 结构二者边界清晰。维度BM3DDnCNN / UNet干净数据需求不需要需要成对的含噪/干净偏振数据参数量0基于块匹配百万级别推理速度单张 512×512 约几秒GPU 上毫秒级对非高斯噪声一般可以通过训练数据适应调参成本只需调 sigma、patch_size网络结构、学习率、训练轮数都要管适合场景快速验证、数据量不足数据充分、需要部署到产线我一般这样选如果手里的偏振数据没有干净的参考图直接用 BM3D它在 Stokes 三分量上分别跑效果已经比很多深度模型在 DoP 上硬做要好。如果数据集里有干净参考图或者你可以自己拍多帧平均制造干净数据就选 UNet 类的深度模型稍微调调结构就能在推理速度上甩开 BM3D 一大截。另外值得注意的一点是深度模型输入建议用 I、Q、U 三通道拼接而不是把四个方向强度通道直接作为输入。I、Q、U 是解耦后的物理量通道间语义清晰网络学起来更容易收敛四个方向强度之间存在冗余的强度信息反而会分散网络的表达能力。3. Python 落地从数据集加载到偏振去噪全流程3.1 数据加载与 Stokes 分解统一输入格式拿到数据集的第一步是把各种格式统一成一份能用脚本处理的 Tensor。我见过不少偏振数据集存在 .npy、.tiff、.mat 里通道顺序也不统一有的按 0°/45°/90°/135°有的按 0°/90°/45°/135°不确认清楚后面全是白算。以下代码以 .npy 格式、通道顺序 I0 → I45 → I90 → I135 为例import numpy as np from pathlib import Path def load_polarization_npy(path): # 读取四通道偏振强度图通道顺序 I0, I45, I90, I135 arr np.load(path) assert arr.ndim 3 and arr.shape[-1] 4, 数据格式应为 (H, W, 4) # 强制转 float32避免 uint 类型做减法时出现溢出问题 arr arr.astype(np.float32) # 根据数据位深做归一化12bit 数据最大值 409516bit 是 65535 if arr.max() 4095: arr arr / 65535.0 else: arr arr / 4095.0 # 拆出四个方向通道 I0, I45, I90, I135 arr[..., 0], arr[..., 1], arr[..., 2], arr[..., 3] # Stokes 参数分解 I (I0 I45 I90 I135) / 2.0 Q I0 - I90 U I45 - I135 return I, Q, U, arr这段代码的关键在于类型转换和归一化。偏振原始数据多是 12bit 或 16bit 存储如果直接用 uint16 做 I0 - I90遇到负值就会出现截断照片上表现为大块黑色区域这类错误在前处理阶段最难排查。归一化时建议用数据实际的位深判断不要凭猜测。整套资源在测试时也遇到过有人把归一化目标选成 [0, 1]结果 Q 通道直接被 clip 到 [0, 1]偏振信息直接丢失。3.2 常规方案在 Stokes 分量上做 BM3D 去噪BM3D 是目前经典去噪算法里最稳的一个Python 中直接调用 scikit-image 的实现即可。对偏振数据我对 I、Q、U 三个分量分别做 BM3D不去碰原始四通道强度图。原因是 I、Q、U 已经完成了通道间的差分运算噪声特性相对稳定而四个方向通道里还混着 MPA 插值的空间相关性直接处理反而容易留下伪纹理。from skimage.restoration import denoise_bm3d import numpy as np def denoise_stokes_bm3d(I, Q, U, sigma_est15): # sigma_est 是原始灰度空间下的噪声标准差估计值 # BM3D 内部要求 sigma 在 [0, 1] 归一化空间所以要除以 255 noise_std sigma_est / 255.0 # patch_size 控制搜索块大小step_psd 控制块匹配步长 I_den denoise_bm3d(I, sigma_psdnoise_std, patch_size8, step_psd4) Q_den denoise_bm3d(Q, sigma_psdnoise_std, patch_size8, step_psd4) U_den denoise_bm3d(U, sigma_psdnoise_std, patch_size8, step_psd4) # 去噪后再计算偏振参数顺序不能反 DoP np.sqrt(Q_den**2 U_den**2) / np.clip(I_den, 1e-6, None) AoP 0.5 * np.arctan2(U_den, Q_den) return I_den, Q_den, U_den, DoP, AoP逻辑说明sigma_psd 这个参数是 BM3D 里唯一需要重点调的量它代表对噪声强度的先验估计。设置偏小噪声残留偏大图像被磨成塑料质感。polarization 数据的 I 通道噪声通常大于 Q、U 通道所以严格来说三个通道应该用不同 sigma。简化做法是先用 I 通道估算噪声水平Q、U 通道在噪声不明显时直接沿用同一个 sigma大部分场景效果可接受。patch_size 和 step_psd 的直觉理解是patch_size 越大参与块匹配的邻域越宽平滑能力越强但细节保留越差step_psd 越小搜索重叠越多耗时显著上升。对 512×512 的偏振图patch_size8、step_psd4 是效率与效果的折中。如果图像纹理密集可以尝试 patch_size4 减少跨纹理的块匹配。提示Q、U 通道的数值范围远小于 I如果发现 Q 通道被过平滑把 Q、U 的 sigma 单独降一半重跑这个经验在低照度偏振数据上尤其明显。3.3 深度路线用三分量联合输入训练 UNet 式去噪网络数据量足够时深度模型的效果上限更高。下面是一个轻量 UNet 的 PyTorch 实现输入为 I、Q、U 三通道输出为去噪后的三通道结构上没有引入复杂的注意力机制先用基础结构跑通再逐步加模块。import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) def forward(self, x): return self.conv(x) class MiniUNet(nn.Module): def __init__(self, in_ch3, base32): super().__init__() self.enc1 DoubleConv(in_ch, base) # (H, W) - (H, W) self.enc2 DoubleConv(base, base * 2) # 下采样一次 self.pool nn.MaxPool2d(2) self.mid DoubleConv(base * 2, base * 4) # 最深层 # 转置卷积上采样特征图尺寸加倍 self.up2 nn.ConvTranspose2d(base * 4, base * 2, 2, stride2) self.dec2 DoubleConv(base * 4, base * 2) self.up1 nn.ConvTranspose2d(base * 2, base, 2, stride2) self.dec1 DoubleConv(base * 2, base) self.out nn.Conv2d(base, 3, 1) # 输出三通道 I/Q/U def forward(self, x): e1 self.enc1(x) e2 self.enc2(self.pool(e1)) m self.mid(self.pool(e2)) d2 self.dec2(torch.cat([self.up2(m), e2], dim1)) d1 self.dec1(torch.cat([self.up1(d2), e1], dim1)) return self.out(d1)训练时输入按 (B, 3, H, W) 组织三个通道依次为 I、Q、U# 假设 clean 是干净数据, noisy 是含噪数据shape 均为 (B, H, W, 3) # 先做通道转置变成 (B, 3, H, W) x torch.from_numpy(noisy).permute(0, 3, 1, 2).float() y torch.from_numpy(clean).permute(0, 3, 1, 2).float() model MiniUNet(in_ch3, base32) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.MSELoss() for epoch in range(max_epochs): model.train() pred model(x) loss loss_fn(pred, y) # 直接用三通道的 L2 损失即可 optimizer.zero_grad() loss.backward() optimizer.step()这里有两个关键决策需要解释。第一网络输出是 I/Q/U 三通道而不是直接输出 DoP/AoP因为偏振参数的除法运算会放大微小误差监督信号直接用物理量会导致梯度在某些区域异常放大。第二损失函数只用 MSE 虽然简单但后续如果想要更强约束可以加一个偏振损失项比如对输出的 I/Q/U 计算 DoP再与干净数据的 DoP 做 L1 约束不过这会引入额外超参数初次跑通不建议加。数据增强方面我推荐只做水平翻转、垂直翻转和 90° 旋转这类几何变换对偏振物理量是安全的。不要做颜色空间的增强、对比度拉伸或者 gamma 变换因为这些操作改变的是光强关系偏振度计算时会产生偏差。4. 数据集结构说明与训练/验证划分4.1 资源包内的数据长什么样这份资源的价值有一半在数据集上。偏振图像公开数据集本身稀少能找到既有原始偏振四通道图、又有干净参考图的数据包能省下大量造数据的时间。常见的数据集组织方式是目录内容文件格式数量典型train/noisy含噪偏振四通道图.npy, (H, W, 4)800train/clean对应的干净参考图.npy, (H, W, 4)800val/noisy验证集含噪图.npy, (H, W, 4)100 左右val/clean验证集干净图.npy, (H, W, 4)100 左右test/noisy测试集含噪图无参考.npy, (H, W, 4)100 左右干净的参考图是怎么来的常见做法是中值合成——对同一静物场景连续拍摄多帧然后逐像素取中值消除随机噪声或者是用低 ISO、长曝光拍摄同一场景。资源包里目录命名一般会写成xxx_clean.npy这种直接对应的形式加载时文件名配对即可。如果你的数据包结构略有出入比如没有 train/clean 目录只有含噪图优先考虑用 BM3D 先粗略去噪一遍作为伪标签再做深度模型的训练集。伪标签方案训练出来的模型是在学习 BM3D 的模式上限受限但比没有数据跑不了模型要强得多。注意如果数据集中某个文件夹的名字带有 raw 或 val 字样加载前先打印 shape 和值域确认一下不要直接喂给网络。偏振数据从不同相机型号采集位深、通道顺序都不一致跳过检查环节就是在埋伏笔。4.2 数据预处理脚本裁剪、归一化与样本过滤直接用整张图训练是不现实的显存不够而且偏振图边缘区域的像素受镜片边缘效应影响常常带有异常的偏振偏移。常规做法是裁剪成 patch。以下代码按滑动窗口方式切 patch并过滤掉过暗或过曝光区域import numpy as np def extract_patches(arr, patch_size128, stride64): # arr shape: (H, W, 4)四通道偏振强度图 H, W, C arr.shape patches [] for y in range(0, H - patch_size 1, stride): for x in range(0, W - patch_size 1, stride): p arr[y:y patch_size, x:x patch_size, :] # 计算 patch 内的光强均值过滤过暗和过亮区域 mean_intensity p[..., :4].mean() if mean_intensity 0.05 or mean_intensity 0.95: continue patches.append(p) return np.stack(patches)这里用 mean_intensity 过滤有两个实际考量过暗区域偏振信息弱但噪声占主导网络学到的几乎全是去噪而没有结构训练效率低过亮区域接近饱和I 通道失真Q、U 的差分值也不可靠。stride 设置为 patch_size 的一半能让相邻 patch 之间有重叠天然做了数据增广。如果你发现过滤后剩余 patch 太少把阈值放宽到 0.02 和 0.98或者减小 stride 增加密度。4.3 训练/验证划分脚本防止场景泄漏偏振数据集的一个隐蔽问题同一场景的连续帧之间高度相似如果把同一场景的不同帧分别划进训练集和验证集网络实际上是在背场景纹理而不是在学去噪验证指标会虚高到不真实。import random def split_by_scene(file_list, val_ratio0.2, seed42): # file_list: 每个元素是含场景标识的路径 # 例如 /data/train/scene_001_frame_03.npy - scene_001 scenes {} for f in file_list: # 从文件名中按规则拆出场景ID这里假设文件名用下划线分词 scene_id f.stem.split(_)[0] _ f.stem.split(_)[1] scenes.setdefault(scene_id, []).append(f) scene_ids list(scenes.keys()) random.Random(seed).shuffle(scene_ids) val_scenes set(scene_ids[:max(1, int(len(scene_ids) * val_ratio))]) train_files [f for sid in scene_ids if sid not in val_scenes for f in scenes[sid]] val_files [f for sid in val_scenes for f in scenes[sid]] return train_files, val_files这段代码的核心是把场景 ID 与帧 ID 区分开按场景分组后再划分。如果没有显式的场景 ID至少也要按拍摄时间戳或者目录的二级结构去分组绝不能直接对文件名做随机切分。我在自己的项目里就被这个坑拖过一周训练时验证 PSNR 高达 40换了一组新场景数据立刻掉到 31原因就是同一场景的帧泄漏进了训练集。最后提醒一句训练时 BN 层的 batch size 尽量设大至少 8 以上。偏振数据的通道间方差差异大Q、U 通道的方差远小于 Ibatch 太小会导致 BN 的统计量不稳定训练过程像过山车。5. 偏振去噪避坑五条血泪经验5.1 去噪后 AoP 出现细密条纹现象去噪后的 AoP 图看上去有横竖细纹尤其是边缘区域形成类似摩尔纹的图案。原因偏振相机的 MPA 是空间交织排列四个方向通道共享一块传感器图像里任意点的四方向强度是由周围像素插值得到的。直接在四通道强度图上做去噪滤波器会把这些插值结构的周期模式保留下来之后算 AoP 时微小误差被 arctan2 放大成周期性条纹。解决把流程改到 Stokes 域先计算 I/Q/U再做 BM3D 或深度学习去噪。如果一定要在四通道上处理对四张图做联合块匹配比各做各的好保证同一位置的块搜索跨通道一致能在一定程度上掩盖插值痕迹。5.2 sigma 设大磨皮设小噪声还在现象BM3D 的 sigma 从 10 调到 30图像平滑是平滑了但纹理细节退化严重调回 10 又满屏噪点。原因偏振图像的噪声不是单一高斯分布散粒噪声与信号强度相关暗电流与温度相关用一个全局 sigma 去描述所有区域的噪声强度本质上就是错的。我见过不少人在暗光区域和亮光区域用同一个 sigma亮区域过平滑的同时暗区域还在漏噪。解决用相机暗帧估计底噪。固定曝光参数盖上镜头盖拍 100 帧暗帧逐像素计算标准差作为 sigma 估计的基准。如果资源包里有不同曝光参数的数据按曝光时间分桶估计比整体估计一个 sigma 更可靠。实操时取暗帧标准差的中位数乘 1.2 作为保守估计值通常能兼顾细节与平滑。5.3 训练 loss 下降但 DoP 误差没动静现象深度模型训练时 loss 如期下降但把输出的 I/Q/U 转成 DoP 图与干净数据对比误差和训练前几乎一样。原因网络用的是 MSE 或 L1 损失这类损失函数把所有像素一视同仁。偏振图像里强度 I 的动态范围远大于 Q、U网络模型把绝大部分能力用来拟合 I 通道Q、U 通道几乎没有被监督。DoP 误差主要由 Q、U 决定所以 loss 下降并不代表偏振性能改善。解决训练时把 Q、U 通道单独加权或在损失函数中追加 DoP 约束。简单做法是计算预测的 DoP 与干净 DoP 的 L1 差乘以一个权重系数加到总损失里。这个操作看似简单实际能显著改变 Q、U 通道的学习效果。5.4 数据集里混入了已经去过噪的图现象训练出的模型在某些场景上输出异常平滑DoP 图上出现模糊斑块与验证集表现不符。原因资源包里的数据并非全部来自同一采集流程。部分图像可能是某篇论文作者已经用其他算法预处理过的高频噪声被有意或无意地抹掉混在训练集里相当于给网络喂了错误标签。偏振数据里这类问题尤其隐蔽因为人眼很难直接识别偏正图是否经过处理。解决对训练集做一次频谱筛查。计算每张图的高频能量占比正常含噪偏振图的高频能量通常分布平稳经过强去噪的图高频段会明显塌陷。统计所有训练样本的高频能量分布把低于均值两个标准差的样本剔除。5.5 AoP 误差一算就是几十度现象用去噪结果计算 AoP与干净数据一对比一堆像素的误差超过 20°、30°人眼直观感觉图像也差不多。原因AoP 的取值是圆的arctan2 的范围是 -π 到 π0° 和 180° 实际上是同一个角度。直接用 angles_pred - angles_true 计算误差在角度环绕边界处会出现 179° 这样看似离谱的误差实际只是角度表示方式不同导致的跳变。解决用循环角度误差替代直接减法。计算方式是先把误差映射到 [-π, π] 区间再求绝对值公式为 err abs(atan2(sin(a - b), cos(a - b)))。这个看起来不起眼的小修改会让你的 AoP 评估指标瞬间从不可信变成可解释别直接用 abs(pred - true)。6. 结果验证极化误差指标与一键检验脚本很多人做完去噪后的第一步是看 PSNR 和 SSIM但偏振数据只有这两个指标远远不够必须验证极化参数是否回归合理。下面给出一个我常用的验证脚本同时对 I 通道、DoP、AoP 做评估输出四组指标。import numpy as np def circular_err(pred_angle, true_angle): # 循环角度误差用于 AoP 评估 diff pred_angle - true_angle return np.abs(np.arctan2(np.sin(diff), np.cos(diff))) def validate_polarization(pred_I, pred_Q, pred_U, true_I, true_Q, true_U): # 输入的 pred 和 true 均为去噪后的 Stokes 分量 # 强度指标 psnr_i 10 * np.log10(1.0 / np.mean((pred_I - true_I) ** 2)) ssim_i 1 - np.mean((pred_I - true_I) ** 2) / (np.var(true_I) 1e-6) # DoP 指标 pred_dop np.sqrt(pred_Q**2 pred_U**2) / np.clip(pred_I, 1e-6, None) true_dop np.sqrt(true_Q**2 true_U**2) / np.clip(true_I, 1e-6, None) dop_rmse np.sqrt(np.mean((pred_dop - true_dop) ** 2)) # AoP 指标必须用循环误差公式 pred_aop 0.5 * np.arctan2(pred_U, pred_Q) true_aop 0.5 * np.arctan2(true_U, true_Q) aop_err circular_err(pred_aop, true_aop) aop_mean_err np.mean(aop_err) return { PSNR(dB): round(psnr_i, 2), SSIM: round(ssim_i, 4), DoP_RMSE: round(dop_rmse, 4), AoP_MeanErr(deg): round(np.degrees(aop_mean_err), 2) }这个脚本不复杂但它是判断结果能否上线的关键。我自己的经验值供参考当 PSNR ≥ 32、SSIM ≥ 0.92、DoP RMSE ≤ 0.05、AoP 平均误差 ≤ 3° 时偏振参数基本可用超过这个范围哪怕 PSNR 好看也要回头查参数和流程。需要特别说明的是PSNR 和 DoP 误差之间没有必然的正相关——见过 PSNR 34 但 DoP 误差 0.12 的案例强度看着干净偏振物理量全是错的。参数调整的顺序也有讲究。先固定 BM3D 的 sigma 用暗帧估计值再逐步调 patch_size验证时以 DoP_RMSE 为主要依据AoP_MeanErr 为辅助依据。深度模型训练时验证集上同时打印 PSNR 和四个指标每当看到 PSNR 在涨而 AoP 误差明显反弹我都把学习率降一半让模型在 Q、U 通道上多走几步。这个习惯救过我很多次从那以后我每次跑完去噪都强制走一遍极化指标验证否则模型再亮眼我心里都没底。希望帮到你。本文还有配套的精品资源点击获取
简介面向计算机视觉与图像处理研究者的偏振图像去噪Python项目重点解决强反光、眩光场景下偏振数据的噪声抑制与细节恢复问题。资源共38个文件压缩包仅906KB其中包含15个Python源码、14个编译后的pyc缓存、5张数据集示例图以及Dockerfile、LICENSE等辅助文件。源码覆盖模型构建model_pcn.py、model_sna.py、model_rgbrn.py、数据加载polar_loader.py、训练评估main.py、metrics.py等完整流程并配有utils、transforms等工具模块。提供的synthetic_dataset.jpg、realworld_dataset.jpg等示例图可直观对比合成与真实偏振数据的差异便于快速验证算法效果。目前已有396人学习下载适合具备一定Python基础、希望入手偏振图像去噪或对比多模型性能的研究者参考。1. 偏振图像去噪一份能直接跑通的 Python 资源与配套数据集干过偏振成像的人都有这种体验偏振相机拍出来的强度图看着还行一旦把偏振度DoP一算图像上全是细密噪点纹理结构被淹得只剩轮廓。原因很简单DoP √(Q²U²) / I这个除法会把 Q、U 通道里的小幅噪声直接放大平常在 RGB 图上用的高斯滤波、中值滤波拿到偏振数据上经常越修越糟。这份资源恰好踩在这个痛点上一套用 Python 实现的偏振图像去噪流程附带了可直接使用的偏振数据集。对正在做偏振成像课题的学生或者手里正好有一台偏振相机、天天跟噪声较劲的工程师来说最关心的几件事——数据从哪来、去噪在哪个域里做、参数怎么设、哪些地方容易翻车——这套资源基本都覆盖了。接下来我按自己拆项目的方式把原理、代码、参数和坑一次讲透。2. 偏振图为什么不能走普通去噪Stokes 域与极化参数2.1 偏振图像的数据结构四个方向通道与 Stokes 参数偏振相机和普通灰度相机最大的区别是传感器上叠加了微偏振阵列MPA每个像素只会通过特定方向的偏振光常见布局是 0°、45°、90°、135° 四个方向一组。因此拿到手的原始数据通常不是一张 I 图而是四张方向强度图I0、I45、I90、I135。有的数据集直接给这四张有的给的是已经换算好的 Stokes 参数 I、Q、U使用前先确认格式是这个资源的第一个关键点。Stokes 参数的计算关系是I (I0 I45 I90 I135) / 2Q I0 - I90U I45 - I135其中 I 是总光强Q 和 U 描述线偏振分量的分布情况。偏振度 DoP 和偏振角 AoP 由 Q、U 与 I 推导而来DoP √(Q² U²) / IAoP 0.5 × arctan2(U, Q)真正有物理意义、后续做应力检测、去雾、材质分类时用到的量是 DoP 和 AoP而不是四个原始强度通道。所以去噪不能只盯着 I 图做Q 和 U 通道里的噪声直接影响 DoP 曲线的平滑程度和 AoP 角度的稳定性。注意这里 I 的公式是简化写法部分偏振相机厂商会给出标定后的增益系数使用前建议对照相机手册确认不要拿着公式直接套。2.2 噪声来源与为什么不能直接在 DoP 上做偏振图像的噪声来源比普通图像复杂至少有三层。第一层是散粒噪声光子到达数量服从泊松分布信号越强噪声越大第二层是读出噪声和暗电流与曝光时间和传感器温度相关第三层是 MPA 插值误差——因为同一个位置的四个方向强度实际上是靠相邻像素插值得到的插值本身会被噪声放大。这三层噪声叠加后Q、U 通道的绝对噪声幅度不大但信噪比很低尤其是在 I 值较小的阴影区域。如果直接把 DoP 图当灰度图去做 BM3D 或深度学习去噪会出两个问题。一是 DoP 里已经包含了除法运算噪声不再服从高斯分布很多去噪算法的前提假设直接失效二是去噪算法只看到 DoP 的标量值丢了 I、Q、U 之间的物理约束关系结果就是 PSNR 看着不错DoP 曲线却出现了原本不存在的起伏。正确的流程应该是先在 Stokes 分量域I、Q、U做去噪再去计算 DoP 和 AoP。这个顺序几乎没有争议做偏振去噪的团队基本都是这个思路。原因在于 Stokes 分量之间天然带着统计相关性网络或滤波器可以利用这种相关性而去噪后再除法极化参数的稳定性才有保证。2.3 算法选型的边界BM3D 与深度模型怎么选明白了要在哪个域做下一个问题是用什么算法。经典路线是 BM3D深度路线是 DnCNN 或 UNet 结构二者边界清晰。维度BM3DDnCNN / UNet干净数据需求不需要需要成对的含噪/干净偏振数据参数量0基于块匹配百万级别推理速度单张 512×512 约几秒GPU 上毫秒级对非高斯噪声一般可以通过训练数据适应调参成本只需调 sigma、patch_size网络结构、学习率、训练轮数都要管适合场景快速验证、数据量不足数据充分、需要部署到产线我一般这样选如果手里的偏振数据没有干净的参考图直接用 BM3D它在 Stokes 三分量上分别跑效果已经比很多深度模型在 DoP 上硬做要好。如果数据集里有干净参考图或者你可以自己拍多帧平均制造干净数据就选 UNet 类的深度模型稍微调调结构就能在推理速度上甩开 BM3D 一大截。另外值得注意的一点是深度模型输入建议用 I、Q、U 三通道拼接而不是把四个方向强度通道直接作为输入。I、Q、U 是解耦后的物理量通道间语义清晰网络学起来更容易收敛四个方向强度之间存在冗余的强度信息反而会分散网络的表达能力。3. Python 落地从数据集加载到偏振去噪全流程3.1 数据加载与 Stokes 分解统一输入格式拿到数据集的第一步是把各种格式统一成一份能用脚本处理的 Tensor。我见过不少偏振数据集存在 .npy、.tiff、.mat 里通道顺序也不统一有的按 0°/45°/90°/135°有的按 0°/90°/45°/135°不确认清楚后面全是白算。以下代码以 .npy 格式、通道顺序 I0 → I45 → I90 → I135 为例import numpy as np from pathlib import Path def load_polarization_npy(path): # 读取四通道偏振强度图通道顺序 I0, I45, I90, I135 arr np.load(path) assert arr.ndim 3 and arr.shape[-1] 4, 数据格式应为 (H, W, 4) # 强制转 float32避免 uint 类型做减法时出现溢出问题 arr arr.astype(np.float32) # 根据数据位深做归一化12bit 数据最大值 409516bit 是 65535 if arr.max() 4095: arr arr / 65535.0 else: arr arr / 4095.0 # 拆出四个方向通道 I0, I45, I90, I135 arr[..., 0], arr[..., 1], arr[..., 2], arr[..., 3] # Stokes 参数分解 I (I0 I45 I90 I135) / 2.0 Q I0 - I90 U I45 - I135 return I, Q, U, arr这段代码的关键在于类型转换和归一化。偏振原始数据多是 12bit 或 16bit 存储如果直接用 uint16 做 I0 - I90遇到负值就会出现截断照片上表现为大块黑色区域这类错误在前处理阶段最难排查。归一化时建议用数据实际的位深判断不要凭猜测。整套资源在测试时也遇到过有人把归一化目标选成 [0, 1]结果 Q 通道直接被 clip 到 [0, 1]偏振信息直接丢失。3.2 常规方案在 Stokes 分量上做 BM3D 去噪BM3D 是目前经典去噪算法里最稳的一个Python 中直接调用 scikit-image 的实现即可。对偏振数据我对 I、Q、U 三个分量分别做 BM3D不去碰原始四通道强度图。原因是 I、Q、U 已经完成了通道间的差分运算噪声特性相对稳定而四个方向通道里还混着 MPA 插值的空间相关性直接处理反而容易留下伪纹理。from skimage.restoration import denoise_bm3d import numpy as np def denoise_stokes_bm3d(I, Q, U, sigma_est15): # sigma_est 是原始灰度空间下的噪声标准差估计值 # BM3D 内部要求 sigma 在 [0, 1] 归一化空间所以要除以 255 noise_std sigma_est / 255.0 # patch_size 控制搜索块大小step_psd 控制块匹配步长 I_den denoise_bm3d(I, sigma_psdnoise_std, patch_size8, step_psd4) Q_den denoise_bm3d(Q, sigma_psdnoise_std, patch_size8, step_psd4) U_den denoise_bm3d(U, sigma_psdnoise_std, patch_size8, step_psd4) # 去噪后再计算偏振参数顺序不能反 DoP np.sqrt(Q_den**2 U_den**2) / np.clip(I_den, 1e-6, None) AoP 0.5 * np.arctan2(U_den, Q_den) return I_den, Q_den, U_den, DoP, AoP逻辑说明sigma_psd 这个参数是 BM3D 里唯一需要重点调的量它代表对噪声强度的先验估计。设置偏小噪声残留偏大图像被磨成塑料质感。polarization 数据的 I 通道噪声通常大于 Q、U 通道所以严格来说三个通道应该用不同 sigma。简化做法是先用 I 通道估算噪声水平Q、U 通道在噪声不明显时直接沿用同一个 sigma大部分场景效果可接受。patch_size 和 step_psd 的直觉理解是patch_size 越大参与块匹配的邻域越宽平滑能力越强但细节保留越差step_psd 越小搜索重叠越多耗时显著上升。对 512×512 的偏振图patch_size8、step_psd4 是效率与效果的折中。如果图像纹理密集可以尝试 patch_size4 减少跨纹理的块匹配。提示Q、U 通道的数值范围远小于 I如果发现 Q 通道被过平滑把 Q、U 的 sigma 单独降一半重跑这个经验在低照度偏振数据上尤其明显。3.3 深度路线用三分量联合输入训练 UNet 式去噪网络数据量足够时深度模型的效果上限更高。下面是一个轻量 UNet 的 PyTorch 实现输入为 I、Q、U 三通道输出为去噪后的三通道结构上没有引入复杂的注意力机制先用基础结构跑通再逐步加模块。import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) def forward(self, x): return self.conv(x) class MiniUNet(nn.Module): def __init__(self, in_ch3, base32): super().__init__() self.enc1 DoubleConv(in_ch, base) # (H, W) - (H, W) self.enc2 DoubleConv(base, base * 2) # 下采样一次 self.pool nn.MaxPool2d(2) self.mid DoubleConv(base * 2, base * 4) # 最深层 # 转置卷积上采样特征图尺寸加倍 self.up2 nn.ConvTranspose2d(base * 4, base * 2, 2, stride2) self.dec2 DoubleConv(base * 4, base * 2) self.up1 nn.ConvTranspose2d(base * 2, base, 2, stride2) self.dec1 DoubleConv(base * 2, base) self.out nn.Conv2d(base, 3, 1) # 输出三通道 I/Q/U def forward(self, x): e1 self.enc1(x) e2 self.enc2(self.pool(e1)) m self.mid(self.pool(e2)) d2 self.dec2(torch.cat([self.up2(m), e2], dim1)) d1 self.dec1(torch.cat([self.up1(d2), e1], dim1)) return self.out(d1)训练时输入按 (B, 3, H, W) 组织三个通道依次为 I、Q、U# 假设 clean 是干净数据, noisy 是含噪数据shape 均为 (B, H, W, 3) # 先做通道转置变成 (B, 3, H, W) x torch.from_numpy(noisy).permute(0, 3, 1, 2).float() y torch.from_numpy(clean).permute(0, 3, 1, 2).float() model MiniUNet(in_ch3, base32) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.MSELoss() for epoch in range(max_epochs): model.train() pred model(x) loss loss_fn(pred, y) # 直接用三通道的 L2 损失即可 optimizer.zero_grad() loss.backward() optimizer.step()这里有两个关键决策需要解释。第一网络输出是 I/Q/U 三通道而不是直接输出 DoP/AoP因为偏振参数的除法运算会放大微小误差监督信号直接用物理量会导致梯度在某些区域异常放大。第二损失函数只用 MSE 虽然简单但后续如果想要更强约束可以加一个偏振损失项比如对输出的 I/Q/U 计算 DoP再与干净数据的 DoP 做 L1 约束不过这会引入额外超参数初次跑通不建议加。数据增强方面我推荐只做水平翻转、垂直翻转和 90° 旋转这类几何变换对偏振物理量是安全的。不要做颜色空间的增强、对比度拉伸或者 gamma 变换因为这些操作改变的是光强关系偏振度计算时会产生偏差。4. 数据集结构说明与训练/验证划分4.1 资源包内的数据长什么样这份资源的价值有一半在数据集上。偏振图像公开数据集本身稀少能找到既有原始偏振四通道图、又有干净参考图的数据包能省下大量造数据的时间。常见的数据集组织方式是目录内容文件格式数量典型train/noisy含噪偏振四通道图.npy, (H, W, 4)800train/clean对应的干净参考图.npy, (H, W, 4)800val/noisy验证集含噪图.npy, (H, W, 4)100 左右val/clean验证集干净图.npy, (H, W, 4)100 左右test/noisy测试集含噪图无参考.npy, (H, W, 4)100 左右干净的参考图是怎么来的常见做法是中值合成——对同一静物场景连续拍摄多帧然后逐像素取中值消除随机噪声或者是用低 ISO、长曝光拍摄同一场景。资源包里目录命名一般会写成xxx_clean.npy这种直接对应的形式加载时文件名配对即可。如果你的数据包结构略有出入比如没有 train/clean 目录只有含噪图优先考虑用 BM3D 先粗略去噪一遍作为伪标签再做深度模型的训练集。伪标签方案训练出来的模型是在学习 BM3D 的模式上限受限但比没有数据跑不了模型要强得多。注意如果数据集中某个文件夹的名字带有 raw 或 val 字样加载前先打印 shape 和值域确认一下不要直接喂给网络。偏振数据从不同相机型号采集位深、通道顺序都不一致跳过检查环节就是在埋伏笔。4.2 数据预处理脚本裁剪、归一化与样本过滤直接用整张图训练是不现实的显存不够而且偏振图边缘区域的像素受镜片边缘效应影响常常带有异常的偏振偏移。常规做法是裁剪成 patch。以下代码按滑动窗口方式切 patch并过滤掉过暗或过曝光区域import numpy as np def extract_patches(arr, patch_size128, stride64): # arr shape: (H, W, 4)四通道偏振强度图 H, W, C arr.shape patches [] for y in range(0, H - patch_size 1, stride): for x in range(0, W - patch_size 1, stride): p arr[y:y patch_size, x:x patch_size, :] # 计算 patch 内的光强均值过滤过暗和过亮区域 mean_intensity p[..., :4].mean() if mean_intensity 0.05 or mean_intensity 0.95: continue patches.append(p) return np.stack(patches)这里用 mean_intensity 过滤有两个实际考量过暗区域偏振信息弱但噪声占主导网络学到的几乎全是去噪而没有结构训练效率低过亮区域接近饱和I 通道失真Q、U 的差分值也不可靠。stride 设置为 patch_size 的一半能让相邻 patch 之间有重叠天然做了数据增广。如果你发现过滤后剩余 patch 太少把阈值放宽到 0.02 和 0.98或者减小 stride 增加密度。4.3 训练/验证划分脚本防止场景泄漏偏振数据集的一个隐蔽问题同一场景的连续帧之间高度相似如果把同一场景的不同帧分别划进训练集和验证集网络实际上是在背场景纹理而不是在学去噪验证指标会虚高到不真实。import random def split_by_scene(file_list, val_ratio0.2, seed42): # file_list: 每个元素是含场景标识的路径 # 例如 /data/train/scene_001_frame_03.npy - scene_001 scenes {} for f in file_list: # 从文件名中按规则拆出场景ID这里假设文件名用下划线分词 scene_id f.stem.split(_)[0] _ f.stem.split(_)[1] scenes.setdefault(scene_id, []).append(f) scene_ids list(scenes.keys()) random.Random(seed).shuffle(scene_ids) val_scenes set(scene_ids[:max(1, int(len(scene_ids) * val_ratio))]) train_files [f for sid in scene_ids if sid not in val_scenes for f in scenes[sid]] val_files [f for sid in val_scenes for f in scenes[sid]] return train_files, val_files这段代码的核心是把场景 ID 与帧 ID 区分开按场景分组后再划分。如果没有显式的场景 ID至少也要按拍摄时间戳或者目录的二级结构去分组绝不能直接对文件名做随机切分。我在自己的项目里就被这个坑拖过一周训练时验证 PSNR 高达 40换了一组新场景数据立刻掉到 31原因就是同一场景的帧泄漏进了训练集。最后提醒一句训练时 BN 层的 batch size 尽量设大至少 8 以上。偏振数据的通道间方差差异大Q、U 通道的方差远小于 Ibatch 太小会导致 BN 的统计量不稳定训练过程像过山车。5. 偏振去噪避坑五条血泪经验5.1 去噪后 AoP 出现细密条纹现象去噪后的 AoP 图看上去有横竖细纹尤其是边缘区域形成类似摩尔纹的图案。原因偏振相机的 MPA 是空间交织排列四个方向通道共享一块传感器图像里任意点的四方向强度是由周围像素插值得到的。直接在四通道强度图上做去噪滤波器会把这些插值结构的周期模式保留下来之后算 AoP 时微小误差被 arctan2 放大成周期性条纹。解决把流程改到 Stokes 域先计算 I/Q/U再做 BM3D 或深度学习去噪。如果一定要在四通道上处理对四张图做联合块匹配比各做各的好保证同一位置的块搜索跨通道一致能在一定程度上掩盖插值痕迹。5.2 sigma 设大磨皮设小噪声还在现象BM3D 的 sigma 从 10 调到 30图像平滑是平滑了但纹理细节退化严重调回 10 又满屏噪点。原因偏振图像的噪声不是单一高斯分布散粒噪声与信号强度相关暗电流与温度相关用一个全局 sigma 去描述所有区域的噪声强度本质上就是错的。我见过不少人在暗光区域和亮光区域用同一个 sigma亮区域过平滑的同时暗区域还在漏噪。解决用相机暗帧估计底噪。固定曝光参数盖上镜头盖拍 100 帧暗帧逐像素计算标准差作为 sigma 估计的基准。如果资源包里有不同曝光参数的数据按曝光时间分桶估计比整体估计一个 sigma 更可靠。实操时取暗帧标准差的中位数乘 1.2 作为保守估计值通常能兼顾细节与平滑。5.3 训练 loss 下降但 DoP 误差没动静现象深度模型训练时 loss 如期下降但把输出的 I/Q/U 转成 DoP 图与干净数据对比误差和训练前几乎一样。原因网络用的是 MSE 或 L1 损失这类损失函数把所有像素一视同仁。偏振图像里强度 I 的动态范围远大于 Q、U网络模型把绝大部分能力用来拟合 I 通道Q、U 通道几乎没有被监督。DoP 误差主要由 Q、U 决定所以 loss 下降并不代表偏振性能改善。解决训练时把 Q、U 通道单独加权或在损失函数中追加 DoP 约束。简单做法是计算预测的 DoP 与干净 DoP 的 L1 差乘以一个权重系数加到总损失里。这个操作看似简单实际能显著改变 Q、U 通道的学习效果。5.4 数据集里混入了已经去过噪的图现象训练出的模型在某些场景上输出异常平滑DoP 图上出现模糊斑块与验证集表现不符。原因资源包里的数据并非全部来自同一采集流程。部分图像可能是某篇论文作者已经用其他算法预处理过的高频噪声被有意或无意地抹掉混在训练集里相当于给网络喂了错误标签。偏振数据里这类问题尤其隐蔽因为人眼很难直接识别偏正图是否经过处理。解决对训练集做一次频谱筛查。计算每张图的高频能量占比正常含噪偏振图的高频能量通常分布平稳经过强去噪的图高频段会明显塌陷。统计所有训练样本的高频能量分布把低于均值两个标准差的样本剔除。5.5 AoP 误差一算就是几十度现象用去噪结果计算 AoP与干净数据一对比一堆像素的误差超过 20°、30°人眼直观感觉图像也差不多。原因AoP 的取值是圆的arctan2 的范围是 -π 到 π0° 和 180° 实际上是同一个角度。直接用 angles_pred - angles_true 计算误差在角度环绕边界处会出现 179° 这样看似离谱的误差实际只是角度表示方式不同导致的跳变。解决用循环角度误差替代直接减法。计算方式是先把误差映射到 [-π, π] 区间再求绝对值公式为 err abs(atan2(sin(a - b), cos(a - b)))。这个看起来不起眼的小修改会让你的 AoP 评估指标瞬间从不可信变成可解释别直接用 abs(pred - true)。6. 结果验证极化误差指标与一键检验脚本很多人做完去噪后的第一步是看 PSNR 和 SSIM但偏振数据只有这两个指标远远不够必须验证极化参数是否回归合理。下面给出一个我常用的验证脚本同时对 I 通道、DoP、AoP 做评估输出四组指标。import numpy as np def circular_err(pred_angle, true_angle): # 循环角度误差用于 AoP 评估 diff pred_angle - true_angle return np.abs(np.arctan2(np.sin(diff), np.cos(diff))) def validate_polarization(pred_I, pred_Q, pred_U, true_I, true_Q, true_U): # 输入的 pred 和 true 均为去噪后的 Stokes 分量 # 强度指标 psnr_i 10 * np.log10(1.0 / np.mean((pred_I - true_I) ** 2)) ssim_i 1 - np.mean((pred_I - true_I) ** 2) / (np.var(true_I) 1e-6) # DoP 指标 pred_dop np.sqrt(pred_Q**2 pred_U**2) / np.clip(pred_I, 1e-6, None) true_dop np.sqrt(true_Q**2 true_U**2) / np.clip(true_I, 1e-6, None) dop_rmse np.sqrt(np.mean((pred_dop - true_dop) ** 2)) # AoP 指标必须用循环误差公式 pred_aop 0.5 * np.arctan2(pred_U, pred_Q) true_aop 0.5 * np.arctan2(true_U, true_Q) aop_err circular_err(pred_aop, true_aop) aop_mean_err np.mean(aop_err) return { PSNR(dB): round(psnr_i, 2), SSIM: round(ssim_i, 4), DoP_RMSE: round(dop_rmse, 4), AoP_MeanErr(deg): round(np.degrees(aop_mean_err), 2) }这个脚本不复杂但它是判断结果能否上线的关键。我自己的经验值供参考当 PSNR ≥ 32、SSIM ≥ 0.92、DoP RMSE ≤ 0.05、AoP 平均误差 ≤ 3° 时偏振参数基本可用超过这个范围哪怕 PSNR 好看也要回头查参数和流程。需要特别说明的是PSNR 和 DoP 误差之间没有必然的正相关——见过 PSNR 34 但 DoP 误差 0.12 的案例强度看着干净偏振物理量全是错的。参数调整的顺序也有讲究。先固定 BM3D 的 sigma 用暗帧估计值再逐步调 patch_size验证时以 DoP_RMSE 为主要依据AoP_MeanErr 为辅助依据。深度模型训练时验证集上同时打印 PSNR 和四个指标每当看到 PSNR 在涨而 AoP 误差明显反弹我都把学习率降一半让模型在 Q、U 通道上多走几步。这个习惯救过我很多次从那以后我每次跑完去噪都强制走一遍极化指标验证否则模型再亮眼我心里都没底。希望帮到你。本文还有配套的精品资源点击获取
