如果你刚开始接触3D Gaussian Splatting3DGS大概率会看到这样一句话“将非线性透视投影近似为仿射变换。”同时如果你做过直接法视觉SLAM如DSO可能会在光度误差的雅可比推导里看到一个眼熟的矩阵心里犯嘀咕这不就是同一个东西吗更让人困惑的是有些资料说“正交投影是仿射变换”那3DGS里的“近似成仿射变换”是不是就等于把透视换成了平行光线仿射变换到底包不包括缩放这篇文章就是要把这些疙瘩一次性解开。1. 非线性透视 vs 仿射变换它们本来是谁非线性透视投影就是我们最熟悉的针孔相机模型。一个三维点 ((X,Y,Z)) 在图像上的像素坐标是这里有一个除以深度 (Z)的操作因此整个映射是非线性的。这种非线性带来了近大远小的透视效应但它有一个“麻烦”如果把一个完整的高斯分布带有协方差直接通过这个非线性函数投影后的分布就不再是高斯了无法用简单的2D高斯去表达和渲染。仿射变换仿射变换的数学形式是“线性变换 平移”线性部分可以是任意矩阵所以它不仅可以旋转、平移还可以缩放、剪切、反射。换句话说仿射变换的范围远比“刚体变换旋转平移”要宽。在几何上仿射变换保持直线的平行性但会改变长度和角度。2. 3DGS 里的那个神秘雅可比 J3DGS 为了把3D高斯渲染到屏幕上需要对每个高斯的中心点做一次局部线性化。这个线性化的核心就是投影函数对三维点的雅可比矩阵它是一个2×3 矩阵描述了在某个三维点附近像素坐标如何随三维位置而变化。有了再结合世界到相机的刚体变换3D协方差 () 投影到2D时就可以写成这里的 () 就是那个“局部仿射变换”的线性部分。高斯中心本身仍然用原始非线性投影求像素位置相当于仿射变换里的“平移”项。从一阶泰勒展开看我们在当前高斯的中心点处用切线代替了原本弯曲的透视曲线。因此这个近似只在当前高斯的小邻域里成立并且每个高斯有自己的深度 (Z)也就有自己的 ()。3. 直接法视觉SLAM里的“同款”J如果你熟悉直接法SLAM比如在DSO中构造光度误差为了优化相机位姿或逆深度需要用链式法则求导中间必然出现一项这正是刚才那个2×3 的雅可比 J。所以SLAM里看到的 J 和 3DGS 里的 J 在数学上是一模一样的东西都是针孔投影函数的一阶导数。区别只在于“用途”在SLAM中它用来计算梯度指导位姿或深度更新是迭代优化的临时工具。每一步重新线性化直到收敛。在3DGS中它被固化进渲染过程用来把3D高斯近似地压扁成2D高斯保持高斯形状以进行高效光栅化。一帧之内不再改变。一个用来求解一个用来近似表达。4. 辨析仿射变换到底包含什么很多人下意识以为仿射变换就是“旋转平移”这是一个常见的误解。实际上旋转平移→ 刚体变换欧氏变换是仿射变换的一个子集。仿射变换 线性变换 平移线性部分可以包含缩放均匀或不均匀、剪切、旋转、反射等任意组合。在3DGS里中因为存在 () 和 ()天然包含了深度相关的不均匀缩放和剪切成分。它绝不是一个简单的旋转。5. 透视投影 vs 正交投影点光源与平行光这里有一个物理直觉上的正确对应点光源针孔相机→ 光线汇聚于一点 →透视投影需要除以深度非线性近大远小。平行光线远心镜头/无穷远光源→正交投影直接扔掉深度坐标或仅做缩放是线性的没有近大远小。而且正交投影在数学上就是一种仿射变换。一个典型的正交投影可以写成没有任何除以 (Z) 的操作显然是仿射的。但是这绝不意味着3DGS里把透视近似成仿射变换就等于换成了正交投影。6. 3DGS 的仿射近似并不是变成了平行光线这是最容易被错误关联的一点。3DGS 的局部仿射矩阵中元素里依然包含 () 和 ()会随深度变化而显著改变。因此它不是一个全局统一的正交投影那会完全丢弃深度影响。它只是在单个高斯的小范围内把局部的一小段透视曲线拉直成一条直线仿射映射。不同深度的不同高斯有完全不同的。整幅图像拼在一起依然完美地保留了近大远小的透视效果。你可以这样形象理解真实的透视投影是一条完整的曲线正交投影是另一条从头到底的直线。而3DGS的做法是在曲线上的每个采样点处用一小段切线直线去贴合曲线。整条曲线还是弯的但每一小段是直的。因此3DGS的“仿射近似”是一种局部线性化底层的光学模型依然是点光源透视与把整个成像模型换成正交投影有本质区别。结语回到最初的那句话——“将非线性透视近似为仿射变换”我们现在可以准确地解读它了非线性透视是带除法的针孔投影。仿射变换是任意线性变换加平移包含缩放、剪切等。这处近似是通过投影函数的雅可比 J在一阶泰勒展开下完成的只在局部成立。这个 J 和直接法SLAM中用于梯度计算的 J 完全相同只是被分别赋予了“渲染近似”和“优化引导”的不同使命。它不会把透视变成正交投影只是用“小直线段”去逼近“大曲线”。理解了这些再去看3DGS的论文或代码那些围绕着协方差投影、雅可比、仿射近似的模块就会变得非常通透。希望这篇博客能帮你扫清这些常见的概念雷区。
如果你刚开始接触3D Gaussian Splatting3DGS大概率会看到这样一句话“将非线性透视投影近似为仿射变换。”同时如果你做过直接法视觉SLAM如DSO可能会在光度误差的雅可比推导里看到一个眼熟的矩阵心里犯嘀咕这不就是同一个东西吗更让人困惑的是有些资料说“正交投影是仿射变换”那3DGS里的“近似成仿射变换”是不是就等于把透视换成了平行光线仿射变换到底包不包括缩放这篇文章就是要把这些疙瘩一次性解开。1. 非线性透视 vs 仿射变换它们本来是谁非线性透视投影就是我们最熟悉的针孔相机模型。一个三维点 ((X,Y,Z)) 在图像上的像素坐标是这里有一个除以深度 (Z)的操作因此整个映射是非线性的。这种非线性带来了近大远小的透视效应但它有一个“麻烦”如果把一个完整的高斯分布带有协方差直接通过这个非线性函数投影后的分布就不再是高斯了无法用简单的2D高斯去表达和渲染。仿射变换仿射变换的数学形式是“线性变换 平移”线性部分可以是任意矩阵所以它不仅可以旋转、平移还可以缩放、剪切、反射。换句话说仿射变换的范围远比“刚体变换旋转平移”要宽。在几何上仿射变换保持直线的平行性但会改变长度和角度。2. 3DGS 里的那个神秘雅可比 J3DGS 为了把3D高斯渲染到屏幕上需要对每个高斯的中心点做一次局部线性化。这个线性化的核心就是投影函数对三维点的雅可比矩阵它是一个2×3 矩阵描述了在某个三维点附近像素坐标如何随三维位置而变化。有了再结合世界到相机的刚体变换3D协方差 () 投影到2D时就可以写成这里的 () 就是那个“局部仿射变换”的线性部分。高斯中心本身仍然用原始非线性投影求像素位置相当于仿射变换里的“平移”项。从一阶泰勒展开看我们在当前高斯的中心点处用切线代替了原本弯曲的透视曲线。因此这个近似只在当前高斯的小邻域里成立并且每个高斯有自己的深度 (Z)也就有自己的 ()。3. 直接法视觉SLAM里的“同款”J如果你熟悉直接法SLAM比如在DSO中构造光度误差为了优化相机位姿或逆深度需要用链式法则求导中间必然出现一项这正是刚才那个2×3 的雅可比 J。所以SLAM里看到的 J 和 3DGS 里的 J 在数学上是一模一样的东西都是针孔投影函数的一阶导数。区别只在于“用途”在SLAM中它用来计算梯度指导位姿或深度更新是迭代优化的临时工具。每一步重新线性化直到收敛。在3DGS中它被固化进渲染过程用来把3D高斯近似地压扁成2D高斯保持高斯形状以进行高效光栅化。一帧之内不再改变。一个用来求解一个用来近似表达。4. 辨析仿射变换到底包含什么很多人下意识以为仿射变换就是“旋转平移”这是一个常见的误解。实际上旋转平移→ 刚体变换欧氏变换是仿射变换的一个子集。仿射变换 线性变换 平移线性部分可以包含缩放均匀或不均匀、剪切、旋转、反射等任意组合。在3DGS里中因为存在 () 和 ()天然包含了深度相关的不均匀缩放和剪切成分。它绝不是一个简单的旋转。5. 透视投影 vs 正交投影点光源与平行光这里有一个物理直觉上的正确对应点光源针孔相机→ 光线汇聚于一点 →透视投影需要除以深度非线性近大远小。平行光线远心镜头/无穷远光源→正交投影直接扔掉深度坐标或仅做缩放是线性的没有近大远小。而且正交投影在数学上就是一种仿射变换。一个典型的正交投影可以写成没有任何除以 (Z) 的操作显然是仿射的。但是这绝不意味着3DGS里把透视近似成仿射变换就等于换成了正交投影。6. 3DGS 的仿射近似并不是变成了平行光线这是最容易被错误关联的一点。3DGS 的局部仿射矩阵中元素里依然包含 () 和 ()会随深度变化而显著改变。因此它不是一个全局统一的正交投影那会完全丢弃深度影响。它只是在单个高斯的小范围内把局部的一小段透视曲线拉直成一条直线仿射映射。不同深度的不同高斯有完全不同的。整幅图像拼在一起依然完美地保留了近大远小的透视效果。你可以这样形象理解真实的透视投影是一条完整的曲线正交投影是另一条从头到底的直线。而3DGS的做法是在曲线上的每个采样点处用一小段切线直线去贴合曲线。整条曲线还是弯的但每一小段是直的。因此3DGS的“仿射近似”是一种局部线性化底层的光学模型依然是点光源透视与把整个成像模型换成正交投影有本质区别。结语回到最初的那句话——“将非线性透视近似为仿射变换”我们现在可以准确地解读它了非线性透视是带除法的针孔投影。仿射变换是任意线性变换加平移包含缩放、剪切等。这处近似是通过投影函数的雅可比 J在一阶泰勒展开下完成的只在局部成立。这个 J 和直接法SLAM中用于梯度计算的 J 完全相同只是被分别赋予了“渲染近似”和“优化引导”的不同使命。它不会把透视变成正交投影只是用“小直线段”去逼近“大曲线”。理解了这些再去看3DGS的论文或代码那些围绕着协方差投影、雅可比、仿射近似的模块就会变得非常通透。希望这篇博客能帮你扫清这些常见的概念雷区。
