摘要神经辐射场 (NeRF) 可以合成真实世界场景的全新视角的照片其性能优异因此在计算机视觉领域引起较大的兴趣。NeRF的一个限制条件是需要准确相机位姿。本文提出了集束调整神经辐射场 (BARF)可以用不完美的甚至不知道相机位姿进行训练同时学习三维表示和配准相机帧。本文建立了与经典图像对齐的理论联系并指出由粗到精配准同样适用于NeRF。并且发现简单地使用位置编码对合成物体指的应该是不同于原始数据由算法生成的数据的校准有负面影响。在人造数据和真实数据上的实验表明BARF可以有效地神经场景表征并解决相机位姿未对准问题。这使得在未知相机位姿的情况下视角合成和视频序列定位成为可能为视觉定位系统和在三维重建领域的潜在应用打开了大门。1. 引用重建物体和配准相机属于先有鸡先有蛋的问题重建需要精确相机位姿相机配准需要精确重建信息。sfm或slam的常用方法是通过局部配准然后在结构和摄像机上进行全局几何捆绑调整 (Bundle Adjustment) 来解决这个问题。但以来局部配准而且容易陷入次优解而且输出的点云不利于下游任务。NeRF等重建方法对相机位姿要求严苛最简单的想法是通过back-propagation对相机位姿也同时优化但是在实践中发现这对初始化很敏感而且容易收敛到次优解降低重建质量。注意positional encoding益于重建但同时导致次优解。图1训练NeRF要求所有图片都有精确的相机位姿。我们提出了BARF对配准和重建进行联合优化从而实现从不完善的或未知相机位姿学习三维场景表征。本文处理从不完善的相机位姿训练NeRF表征问题也就是把重建三维场景和对准相机位姿联合起来图1。我们从经典图像对准方法中获得灵感并建议了理论连接证明了由粗到精配准对NeRF也是极其重要的。我们特别指出输入三维点的位置编码扮演重要角色它使系统高频函数的拟合成为可能位置编码更易受次优对准结果的影响。为了这个目地我们提出了集束调整NeRF (BARF)使用简单有效的策略在基于坐标和场景表征上由粗到精地对准。可以认为BARF是一类光度BA只是目替换成了人造视角。但是与传统BA不同BARF可以从零开始学习场景表征也就是说可以随机初始化网络权重解除局部匹配子过程的依赖并允许更为通用的应用。主要贡献建立了经典图像对齐到联合配准和用神经辐射场重建的理论联系表明 positional encoding 对配准的影响提出 coarse-to-fine 配准策略BARF可以从不完美相机位姿中重建场景三维表示使得新视角合成和视频序列定位能从位未知视角中获得。2. 相关工作2.1. Structure from motion (SfM) and SLAM给定一组图片SfM和SLAM可以恢复三维结构和传感器位姿。其方法可以分为直接法和特征点法。目前特征点法已经取得了巨大的成功但在无纹理和重复纹理区域其效果并不好。所以一些人正在使用神经网络来直接从数据中学习特征。直接法并不依赖于特征它的每个像素光度语差有贡献。这使得在特征较为稀疏的情况下更为鲁棒而且了更容易集成进深度学习框架。BARF就是一种直接法。但BARF并没有使用显示的几何信息如点云来表征三维场景而是用神经网络把场景编码为坐标表征。2.2. 视角合成给定一组已知位姿的图片视角合成技术可以模拟出一个全新视角的图片该技术与三维重建技术有紧密有联系。2.3. Neural Radiance Fields (NeRF)由于简单和优异和性能目前NeRF获得广泛的关注而且它也被扩展到了许多其它方向。最近还有人使用大量数据预训练多层感知机使其能够从单张图片推理辐射场。但是这些方法都有一个明显的缺点它们需要图片的位姿是已知的。BARF恰恰可以规避这一需求BARF使用了由粗到精的集束调整技术可以用不完善的相机位姿甚至位姿的视频序列来恢复辐射场。3. 方法我们从二维情况开始以经典的图片对准为便展开本文。然后讨论相同的概念对三维情况如何适用它们如何提示我们提出BARF。3.1. 平面图片对齐 (2D)2D图像对齐可以归纳成一个问题就是学习一个变换使得两张图像中匹配点的光度误差最小W就是 warp function 从2维映射到2维由p维向量作为权重参数化由于是个非线性问题可以用梯度下降法其中如果用随机梯度下降法A就是一个标量学习率而J可以表示为其中是warp雅可比矩阵限制对预定义warp的像素位移。基于梯度方法的配准核心是图像梯度建模了一个局部的逐像素的表面和空间位移之间的线性关系经常由有限差分来估计。显然的是如果每像素的预测之间有关系即信号是光滑的那么的估计会更有效。因此通过在配准的早期阶段模糊图像有效地扩大吸引区域和 smoothening the alignment landscape实践了从粗到细的策略。3.2. 图片作为神经网络另一种方式是在解决p的时候用神经网络学一个图像的表示神经网络参数是或者对每个图分别学一个p回顾一下p是 warp function 的P维向量参数神经网络使得梯度不再是数值估计而是网络参数对位置的偏导不再依赖启发式的对图像的模糊这使得能泛化到三维情况。3.3. 神经辐射场 (3D)为了保持一致性三维情况下x表示三维坐标W表示nerf中的网络。NeRF实际上是用MLP把三维坐标映射到四维输出记为是网络参数。实际上还有d这里简化处理。设一个像素点的坐标是u那么齐次坐标是根据多视图几何理论在深度的坐标就是那么渲染公式可以写为由于是N个采样点最终得到的是一个三通道颜色可以直接改写为一个相机的参数而相机坐标系下的x也可以通过W映射变到世界坐标系下那么颜色可以写成关于像素坐标u和相机位姿p的函数这个网络参数就是学习的神经辐射场的三维表示如果有M张图那么目标就是优化NeRF学习三维表示并且优化相机位姿同样地可以推导出J的表达式用于更新p3.4. 位置编码与配准位置编码就是把信号映射到高频但是可以看到雅克比矩阵会有一个离谱的增益这对预测来说是很不好的适合重建中学习高频信号但是不适合配准中的学习图像配准更希望平滑的信号。3.5. 集束调整神经辐射场处理上述问题的方法是加一个mask作为一个低通滤波器第k频率的位置编码就变成了是一个和优化进程正相关的[0, L]之间的可控参数那么雅克比矩阵就变成了所以最开始 raw input 中是0高频信号的雅可比矩阵系数都是0慢慢的到最后变成L高频信号就和原始NeRF一样了。这使得最开始从平滑信号学习图像配准到后边学习高保真场景表示。参考文献BARF: Bundle-Adjusting Neural Radiance Fields论文随记BARF : Bundle-Adjusting Neural Radiance Fields - 知乎
摘要神经辐射场 (NeRF) 可以合成真实世界场景的全新视角的照片其性能优异因此在计算机视觉领域引起较大的兴趣。NeRF的一个限制条件是需要准确相机位姿。本文提出了集束调整神经辐射场 (BARF)可以用不完美的甚至不知道相机位姿进行训练同时学习三维表示和配准相机帧。本文建立了与经典图像对齐的理论联系并指出由粗到精配准同样适用于NeRF。并且发现简单地使用位置编码对合成物体指的应该是不同于原始数据由算法生成的数据的校准有负面影响。在人造数据和真实数据上的实验表明BARF可以有效地神经场景表征并解决相机位姿未对准问题。这使得在未知相机位姿的情况下视角合成和视频序列定位成为可能为视觉定位系统和在三维重建领域的潜在应用打开了大门。1. 引用重建物体和配准相机属于先有鸡先有蛋的问题重建需要精确相机位姿相机配准需要精确重建信息。sfm或slam的常用方法是通过局部配准然后在结构和摄像机上进行全局几何捆绑调整 (Bundle Adjustment) 来解决这个问题。但以来局部配准而且容易陷入次优解而且输出的点云不利于下游任务。NeRF等重建方法对相机位姿要求严苛最简单的想法是通过back-propagation对相机位姿也同时优化但是在实践中发现这对初始化很敏感而且容易收敛到次优解降低重建质量。注意positional encoding益于重建但同时导致次优解。图1训练NeRF要求所有图片都有精确的相机位姿。我们提出了BARF对配准和重建进行联合优化从而实现从不完善的或未知相机位姿学习三维场景表征。本文处理从不完善的相机位姿训练NeRF表征问题也就是把重建三维场景和对准相机位姿联合起来图1。我们从经典图像对准方法中获得灵感并建议了理论连接证明了由粗到精配准对NeRF也是极其重要的。我们特别指出输入三维点的位置编码扮演重要角色它使系统高频函数的拟合成为可能位置编码更易受次优对准结果的影响。为了这个目地我们提出了集束调整NeRF (BARF)使用简单有效的策略在基于坐标和场景表征上由粗到精地对准。可以认为BARF是一类光度BA只是目替换成了人造视角。但是与传统BA不同BARF可以从零开始学习场景表征也就是说可以随机初始化网络权重解除局部匹配子过程的依赖并允许更为通用的应用。主要贡献建立了经典图像对齐到联合配准和用神经辐射场重建的理论联系表明 positional encoding 对配准的影响提出 coarse-to-fine 配准策略BARF可以从不完美相机位姿中重建场景三维表示使得新视角合成和视频序列定位能从位未知视角中获得。2. 相关工作2.1. Structure from motion (SfM) and SLAM给定一组图片SfM和SLAM可以恢复三维结构和传感器位姿。其方法可以分为直接法和特征点法。目前特征点法已经取得了巨大的成功但在无纹理和重复纹理区域其效果并不好。所以一些人正在使用神经网络来直接从数据中学习特征。直接法并不依赖于特征它的每个像素光度语差有贡献。这使得在特征较为稀疏的情况下更为鲁棒而且了更容易集成进深度学习框架。BARF就是一种直接法。但BARF并没有使用显示的几何信息如点云来表征三维场景而是用神经网络把场景编码为坐标表征。2.2. 视角合成给定一组已知位姿的图片视角合成技术可以模拟出一个全新视角的图片该技术与三维重建技术有紧密有联系。2.3. Neural Radiance Fields (NeRF)由于简单和优异和性能目前NeRF获得广泛的关注而且它也被扩展到了许多其它方向。最近还有人使用大量数据预训练多层感知机使其能够从单张图片推理辐射场。但是这些方法都有一个明显的缺点它们需要图片的位姿是已知的。BARF恰恰可以规避这一需求BARF使用了由粗到精的集束调整技术可以用不完善的相机位姿甚至位姿的视频序列来恢复辐射场。3. 方法我们从二维情况开始以经典的图片对准为便展开本文。然后讨论相同的概念对三维情况如何适用它们如何提示我们提出BARF。3.1. 平面图片对齐 (2D)2D图像对齐可以归纳成一个问题就是学习一个变换使得两张图像中匹配点的光度误差最小W就是 warp function 从2维映射到2维由p维向量作为权重参数化由于是个非线性问题可以用梯度下降法其中如果用随机梯度下降法A就是一个标量学习率而J可以表示为其中是warp雅可比矩阵限制对预定义warp的像素位移。基于梯度方法的配准核心是图像梯度建模了一个局部的逐像素的表面和空间位移之间的线性关系经常由有限差分来估计。显然的是如果每像素的预测之间有关系即信号是光滑的那么的估计会更有效。因此通过在配准的早期阶段模糊图像有效地扩大吸引区域和 smoothening the alignment landscape实践了从粗到细的策略。3.2. 图片作为神经网络另一种方式是在解决p的时候用神经网络学一个图像的表示神经网络参数是或者对每个图分别学一个p回顾一下p是 warp function 的P维向量参数神经网络使得梯度不再是数值估计而是网络参数对位置的偏导不再依赖启发式的对图像的模糊这使得能泛化到三维情况。3.3. 神经辐射场 (3D)为了保持一致性三维情况下x表示三维坐标W表示nerf中的网络。NeRF实际上是用MLP把三维坐标映射到四维输出记为是网络参数。实际上还有d这里简化处理。设一个像素点的坐标是u那么齐次坐标是根据多视图几何理论在深度的坐标就是那么渲染公式可以写为由于是N个采样点最终得到的是一个三通道颜色可以直接改写为一个相机的参数而相机坐标系下的x也可以通过W映射变到世界坐标系下那么颜色可以写成关于像素坐标u和相机位姿p的函数这个网络参数就是学习的神经辐射场的三维表示如果有M张图那么目标就是优化NeRF学习三维表示并且优化相机位姿同样地可以推导出J的表达式用于更新p3.4. 位置编码与配准位置编码就是把信号映射到高频但是可以看到雅克比矩阵会有一个离谱的增益这对预测来说是很不好的适合重建中学习高频信号但是不适合配准中的学习图像配准更希望平滑的信号。3.5. 集束调整神经辐射场处理上述问题的方法是加一个mask作为一个低通滤波器第k频率的位置编码就变成了是一个和优化进程正相关的[0, L]之间的可控参数那么雅克比矩阵就变成了所以最开始 raw input 中是0高频信号的雅可比矩阵系数都是0慢慢的到最后变成L高频信号就和原始NeRF一样了。这使得最开始从平滑信号学习图像配准到后边学习高保真场景表示。参考文献BARF: Bundle-Adjusting Neural Radiance Fields论文随记BARF : Bundle-Adjusting Neural Radiance Fields - 知乎
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
