179、去马赛克算法对比：从双线性插值到深度学习驱动的方向自适应方法一、一个让我熬夜三天的Bayer Raw问题2018年做某款旗舰机前置摄像头调试，Sensor输出是Quad Bayer排列，ISP端用了某家主流平台的默认去马赛克算法。白天场景一切正常，一到黄昏室内灯光下，人物头发边缘出现密密麻麻的彩色伪影，像给模特戴了一顶彩虹假发。当时我以为是Sensor噪声问题，调了三天降噪参数，伪影纹丝不动。后来拆开Raw文件逐像素看，发现Bayer通道在红色和蓝色区域出现了严重的“拉链效应”——边缘处R、G、B通道的插值方向完全错位。这才意识到，问题出在去马赛克算法对方向性纹理的适应性太差。那家平台的默认算法是双线性插值的变种，对45度斜边和细密纹理几乎无解。从那以后，我对去马赛克算法的态度从“能用就行”变成了“必须理解其数学本质和工程取舍”。今天这篇笔记，就把这些年踩过的坑和对比过的算法，按我的理解梳理一遍。二、Bayer模式与去马赛克的本质困境Bayer模式之所以成为主流，是因为人眼对绿色最敏感，所以G通道占一半像素，R和B各占四分之一。每个像素只记录一种颜色，另外两种颜色要靠周围像素猜出来。这个“猜”的过程，就是去马赛克。难点在于：自然图像中边缘、纹理、平坦区域的空间频率差异巨大。平坦区域随便插值都不会出大问题，但一到边缘，插值方向一旦选错，就会出现伪影。早期算法只考虑像素间的欧氏距离，不考虑图像结构的方向性。这就像用一把直尺去量弯曲的河流
179、去马赛克算法对比：从双线性插值到深度学习驱动的方向自适应方法一、一个让我熬夜三天的Bayer Raw问题2018年做某款旗舰机前置摄像头调试，Sensor输出是Quad Bayer排列，ISP端用了某家主流平台的默认去马赛克算法。白天场景一切正常，一到黄昏室内灯光下，人物头发边缘出现密密麻麻的彩色伪影，像给模特戴了一顶彩虹假发。当时我以为是Sensor噪声问题，调了三天降噪参数，伪影纹丝不动。后来拆开Raw文件逐像素看，发现Bayer通道在红色和蓝色区域出现了严重的“拉链效应”——边缘处R、G、B通道的插值方向完全错位。这才意识到，问题出在去马赛克算法对方向性纹理的适应性太差。那家平台的默认算法是双线性插值的变种，对45度斜边和细密纹理几乎无解。从那以后，我对去马赛克算法的态度从“能用就行”变成了“必须理解其数学本质和工程取舍”。今天这篇笔记，就把这些年踩过的坑和对比过的算法，按我的理解梳理一遍。二、Bayer模式与去马赛克的本质困境Bayer模式之所以成为主流，是因为人眼对绿色最敏感，所以G通道占一半像素，R和B各占四分之一。每个像素只记录一种颜色，另外两种颜色要靠周围像素猜出来。这个“猜”的过程，就是去马赛克。难点在于：自然图像中边缘、纹理、平坦区域的空间频率差异巨大。平坦区域随便插值都不会出大问题，但一到边缘，插值方向一旦选错，就会出现伪影。早期算法只考虑像素间的欧氏距离，不考虑图像结构的方向性。这就像用一把直尺去量弯曲的河流
