简介基于3D高斯泼溅3DGS的完整三维重建代码包面向计算机视觉、深度学习方向的研究者与三维重建开发者解决从手机实拍图像到可交互3D场景的完整流程问题。包内集成预处理、数据集转换、模型训练与实时可视化模块并附带iPhone手拍可重建数据集便于直接上手复现。资源共2000个文件压缩包约489MB。主体代码以Chpp/cpp和Pythonpy为主另含GPU渲染相关着色器文件frag/vert、预编译动态库dll与可执行程序以及样例数据所需的jpg、ply、bin等文件覆盖源码、依赖、配置和数据集多个层面结构清晰。已有762人学习下载。教程明确给出预处理与训练命令可视化交互支持WASD控制视角、UIOJKL旋转相机适合作为3DGS入门与二次开发的工程参考。1. 一个 zip 带火的新视点合成gaussian-splatting 到底解决了什么第一次用 gaussian-splatting.zip 里的工程跑通训练时我的反应是这玩意竟然能这么快。手机绕着一个物体拍一圈几十张照片进去COLMAP 出位姿再训练二三十分钟浏览器里就能拖视角实时查看。而此前走体渲染路线的神经辐射场训练几个小时、渲染每秒几帧是常态。这个 zip 本质上把 3D 高斯泼溅Gaussian Splatting的完整工具链打包成了一个可运行工程图像序列进带 3D 高斯点的 .ply 模型出。它适合做电商 3D 展示、游戏场景快速重建、机器人巡检里需要实时重渲染的同事。如果你手里已经有一套 SfM 流程这个 zip 几乎是最容易落地的实时渲染重建方案。2. 从照片到高斯点云gaussian-splatting 的建模逻辑与最小跑通命令2.1 不建体素、不建网格3D 高斯为什么是「又快又脏但够用」的选择3D 高斯泼溅把场景表示成 N 个带属性的三维椭球。每个高斯点有均值也就是椭球中心有协方差矩阵由旋转四元数和缩放向量组合出来决定椭球的形状还有不透明度 α 和一组与视角相关的颜色系数颜色通常用球面谐波SH表达。渲染时把所有高斯按相机视角排序逐像素做 α 混合一遍光栅化就能得到当前视角的图像不需要像体渲染那样沿每条射线采样几十上百个点。这套思路的优势非常直接训练阶段每个高斯都参与可微光栅化梯度能顺利回传到位置、协方差和颜色参数上收敛极快。显式点集还带来一个体渲染没有的好处就是训练产物 .ply 可以直接被外部工具读取和编辑这也是很多从业者愿意上手的原因。缺点同样明显高斯是软体没有严格表面约束边缘不闭合、细节处会有「毛边」遇到镜面反射和透明物体经常翻车。它更像是一坨会学习的软糖而不是一个严谨的几何模型。从原理选型上看如果你只需要某个场景的「看一眼就够真实」的实时渲染gaussian-splatting 是当前性价比最高的选择。而如果你要的是干净的网格、可编辑的拓扑那高斯点云只是中间产物后面还需要做深度图和网格重建的兜底流程。这个 zip 的价值在于把这条路一次性打通你准备好图像和相机位姿训练器负责把一切都变成可渲染的高斯点云。2.2 COLMAP先解决相机在哪的问题gaussian-splatting 的训练器本身不做三维重建它需要你提前给出每张图像的相机位姿和初始点云。最常见的做法是让开源的 SfM 工具 COLMAP 先跑一遍稀疏重建。整个流程我一般这么组织拍摄素材抽帧、特征提取、特征匹配、增量式重建最后产出 sparse 目录供训练器读取。# 把 30fps 手机视频抽到 8fps避免相邻帧基线过短导致匹配质量差 ffmpeg -i scene.MOV -vf fps8 -q:v 2 images/frame_%04d.jpg # 特征提取OPENCV 相机模型对广角畸变更稳single_camera1 表示所有帧共用同一相机内参 colmap feature_extractor \ --database_path db.db \ --image_path images \ --ImageReader.camera_model OPENCV \ --ImageReader.single_camera 1 # 全局最近邻特征匹配 colmap exhaustive_matcher --database_path db.db # 增量 SfM输出到 sparse 目录实际训练读取的是 sparse/0 colmap mapper \ --database_path db.db \ --image_path images \ --output_path sparse抽帧这一步很多人会跳过直接把视频喂给 COLMAP结果往往是要么匹配对数太多拖慢速度要么连续帧过于相似导致位姿飘。fps8 是一个比较稳的起点物体转一圈大概能拿到 60120 帧。特征提取时如果机器没有可用 GPU需要额外加--SiftExtraction.use_gpu 0 --SiftMatching.use_gpu 0否则会一直卡在初始化。mapper 跑完打开 sparse/0 目录检查 registered images 数量如果注册率低于 60%后面训练基本没意义先回头解决数据问题。还要提醒一个容易踩的细节训练器对输入目录有固定约定常见结构是data/scene/images和data/scene/sparse/0。COLMAP 输出的是 sparse 而不是 sparse/0 时需要手动调整目录层级不然训练器找不到位姿文件报错还很隐晦。2.3 第一次训练从 sparse 到 .ply 的命令与产物拿到位姿后训练就变成一条命令的事。第一次跑强烈建议用默认参数跑完 30000 次迭代中间不要改参数先让整个链路通一遍再考虑调优。python train.py \ --source_path data/scene01 \ --model_path output/exp1 \ --iterations 30000 \ --test_iterations 7000 30000 \ --save_iterations 7000 30000source_path指向包含 images 和 sparse 的目录model_path是输出目录test_iterations指定第几次迭代时输出测试渲染图和评估指标save_iterations决定在哪些节点保存模型点云。训练结束后output/exp1/point_cloud/iteration_30000/point_cloud.ply就是最终产物里面每个顶点带有高斯属性可以直接拖进配套的查看器做新视角浏览。第一次训练如果显存只有 16GB 左右把输入图片尺寸降到 1200px 以内是性价比最高的手段不要在前期就上 1600px 以上原图。图片尺寸影响的不仅是特征提取速度还直接影响高斯数量增长速度和训练显存占用。等流程跑通再根据显存余量逐步上调分辨率。提示不要跳过 COLMAP、直接把视频路径丢给 train.py训练器需要的是相机位姿不是原始视频。3. 决定画面质量的四个参数迭代、SH、学习率和 densification3.1 迭代次数30000 是起点不是终点很多新手把默认 30000 当成真理事实上它只是原实现针对中等规模场景给的一个平衡点。单物体绕拍15000 到 20000 次就能看到接近可用的结果大范围室外场景或者采样密度不足的数据40000 到 60000 次迭代反而更常见。判断收敛不能只看训练集 PSNR要看测试视角的渲染是否稳定。判断方法很简单训练时用--test_iterations多设几个检查点比如 7000、15000、30000、45000训练完直接看对应迭代的测试渲染图序列。如果你发现 15000 次时测试视角里物体边缘还有半透明的糊点30000 次时糊点消失说明收敛正常如果 15000 比 30000 更好说明过拟合已经在发生模型开始记住训练视角对没见过的角度开始瞎编。这时候不是加大迭代次数而是降低学习率或者提前停止。我一般会先跑 30000 看趋势再根据测试指标决定加还是减。见过不少同事习惯性把 iterations 调到 60000 硬跑结果不仅慢还把小噪声也学成了脏点得不偿失。3.2 SH 阶数与颜色表达3 阶是成本和美观的平衡球面谐波阶数决定颜色随视角变化的能力。阶数 0 是纯漫反射颜色固定不随视角变阶数 3 有 16 个系数能表达大部分塑料、陶器、墙面这类近漫反射材质阶数 4 有 25 个系数对轻微光泽和金属感更友好但特征维度几乎翻倍显存和训练时间都明显上涨。选择原则我一般这样把握拍陶瓷杯、木雕、室内家具用默认 3 阶就够了拍车漆、金属摆件、表面有渐变反光的材质才值得升到 4 阶。升阶之前先确认显存有没有余量因为 SH 特征维度直接参与每个高斯的梯度计算阶数一高显存占用立刻上一个台阶。低阶数导致的颜色不准确通常表现为「颜色像蒙了一层灰」或视角变化时反光转折生硬而不是糊别把这个问题误判成学习率问题。3.3 学习率位置学习率决定飞点不透明度学习率决定雾感gaussian-splatting 对每个属性都有独立学习率其中最容易影响观感的是位置、不透明度和缩放。位置学习率常见初始值在 1.6e-4 附近训练后期指数衰减到 1e-6 量级如果初始位置学习率调得明显更高高斯位置会在优化过程中大幅跳动最终形成一串串悬空的小点也就是常见的飞点现象。不透明度学习率则在另一个维度起作用。调太大背景区域会被快速堆出半透明白雾因为高斯为了拟合多视角统计倾向于把不透明度拉高调太小物体表面又久久不能成形画面发虚。缩放学习率一般保持在 0.005 附近这个参数对尺度变化大的场景影响较大多物体场景里缩放过快会导致小物体消失。给新手的建议是不要同时改多个学习率。最省事的调参路径是先固定其他参数单独把位置学习率降到默认值的一半看飞点是否减少再单独把不透明度学习率从默认值降一点看雾感是否改善。一次只动一个变量才能从训练日志的反推回去。3.4 densification密度控制是 gaussian-splatting 的灵魂densification 是一套自适应增减高斯的机制。每隔固定迭代数算法检查每个高斯的位置梯度梯度大说明这里还有欠拟合的细节就分裂或克隆一个高斯同时定期剪掉不透明度太低的高斯。这套机制让初始稀疏点一步步长成覆盖场景的密集点集。控制密度有两个关键参数梯度阈值和操作间隔。梯度阈值常见默认值在 2e-4 附近调小意味着更容易触发分裂点云增长速度变快细节更足但显存压力也会爆调大则点云增长变慢画面可能长期停留在粗糙状态。操作间隔常见值是 100 次迭代检查一次间隔太小会导致高斯数量在训练中反复震荡反而难以收敛。实操中我见过最典型的翻车某开发者的场景跑到 20000 次迭代点云数量长到八十万个后续每跑几步就 OOM。解决思路不是直接换大显存卡而是把梯度阈值从 2e-4 提到 4e-4限制分裂速度配合不透明度重置间隔的调整来控制总量。记住一个原则高斯数量不是越多越好够用即可多出来的都是显存和时间的负担。4. gaussian-splatting 常见坑从白墙、飞点到显存爆掉的排查笔记4.1 白墙和低纹理场景COLMAP 一个模型都出不来现象mapper 跑完sparse/0 里只注册了五六张图甚至 report 里提示初始化失败。原因白墙、纯色地板这类区域缺乏特征点特征匹配阶段找不到足够多的对应关系SfM 无法稳定估计相机位姿。解决拍摄前在场景里放置明显的纹理参照物比如海报、标签、带花色的盒子让 COLMAP 有东西可匹配拍完再把这些参照物在后期裁掉或用 mask 盖住。如果场景已经拍完无法补拍只能尝试降低 COLMAP 的特征匹配阈值但成功率有限治标不治本。4.2 飞点PSNR 指标好看画面却穿帮现象训练日志里 PSNR 和 SSIM 都不错但新视角一拖空中悬浮着一串串小点或者物体边缘拉出长长的黑色丝状物。原因某些高斯的位置梯度一直很大densification 不断在稀疏区域克隆新点这些点位置不稳定半透明属性让它们在多个视角下都能被看到形成飞点。解决先把位置学习率减半再把 densify_grad_threshold 从默认值往低调抑制过度分裂最后训练完做一次点云裁剪把明显脱离主体高斯簇的点删掉。飞点问题只要在训练早期干预最有效等到点云数量爆炸后再清理操作成本高得多。4.3 显存 OOM三档处理方案现象训练到中后期终端突然报 CUDA out of memory进程直接被系统杀掉。原因高斯数量随迭代持续增长加上 SH 阶数带来的特征维度显存占用是动态上升的不是一开始就能看出来。解决第一档把输入图片下采样到 1200px这是最直接的显存减负第二档把 SH 阶数降回 3常见能省出好几 GB第三档把 densify_grad_threshold 调高限制高斯总数。顺序不要反先动分辨率是零成本先动梯度阈值反而会影响细节质量。4.4 复用模型跑新场景画面全是鬼影现象有人把上一个场景训练好的 .ply 直接拿去渲染新场景或者在新场景训练时用上一个模型做初始化结果画面像高速运动时的拖影。原因3D 高斯模型的参数是为特定场景优化的点云位置、颜色和协方差跟场景几何强绑定换场景后这些值全部错位。解决每个场景独立训练不要复用旧模型。同一场景不同时间段想叠加变化也需要先重新跑 COLMAP 建立新的稀疏重建再从这个新稀疏点云开始训练而不是拿旧点云硬套。4.5 镜面和透明物体高斯永远学不像现象拍一个玻璃杯训练视角里看着还行转到侧面杯壁出现重影里面像装了一个错位的房间。原因3D 高斯建模的是表面的散射属性它把每个点当作一个软椭球来混合颜色而反射和折射是光在表面弹跳后再进入相机高斯没有路径追踪能力自然学不出真实的镜面折射。解决拍摄时避开直射强反光或者把镜面区域用 mask 掉让训练器直接忽略这些区域。透明物体建议单独渲染成前景层再合成别指望 gaussian-splatting 一次搞定。5. 场景不干净也能救mask 约束与从稀疏点云限制重建边界5.1 先看 sparseCOLMAP 的稀疏点云本身就是免费的「前景 mask」训练器初始化用的稀疏点云是从特征点来的它天然只分布在有纹理的表面上天空、白墙、光滑地面这些区域几乎没有点。所以拿到 sparse/0 后先把它转成文本格式看一眼分布往往就能判断出哪些区域会导致训练失控。colmap model_converter \ --input_path sparse/0 \ --output_path sparse_txt \ --output_type TXT转换后points3D.txt前三行是文件头后面每行依次是点 ID、XYZ 坐标、RGB、误差等字段。用几行 Python 就能做粗略的离群点剔除import numpy as np pts np.loadtxt(sparse_txt/points3D.txt, skiprows3)[:, 1:4] # 用坐标分位数裁剪掉最远的 5% 点这些点通常是最不可靠的 lo np.percentile(pts, 5, axis0) hi np.percentile(pts, 95, axis0) keep (pts lo).all(axis1) (pts hi).all(axis1) print(f原始 {len(pts)} 点保留 {keep.sum()} 点)这个分位数裁剪不一定准但它能让你快速看到稀疏点云的上下界。如果点云散得很开说明拍摄时目标物在画面里占比太小或者背景特征太杂后面训练时飞点概率会很高。先把这一层点云分布摸清比直接闷头训练再排错有效率得多。5.2 用手工 mask 把前景和背景分离背景复杂、有走动的人、场景边缘有晃动物体时最佳干预手段是给训练数据加 mask。常见做法是准备一个与 images 目录同名的 mask 目录每个 mask 文件与对应图片同名白色代表要保留的前景黑色代表要忽略的背景尺寸必须与图片一致。# 常见目录组织方式具体键名以拿到实现的 README 为准 data/scene01/ ├── images/ # frame_0001.jpg ... ├── sparse/0/ # COLMAP 输出 └── masks/ # frame_0001.png ... 与图像同名加了 mask 后训练器在计算损失时只对白色区域回传梯度背景高斯的优化基本被冻结。实际效果是非常明显的背景区域的飞点几乎消失训练收敛速度加快边缘细节也会更干净因为模型不再花精力去拟合那些统计上不一致的背景像素。坑在于 mask 边缘的处理二值 mask 会在前景边缘产生生硬的切边感截图细看容易发现轮廓内侧发暗。处理办法是给 mask 做一个 35 像素的羽化让边缘有过渡观感会自然很多。5.3 从已有点云初始化不是每次都要从零收敛有些场景 SfM 出来的稀疏点质量很差比如白墙房间、夜晚室外特征点少得可怜。这时可以考虑用外部点云做初始化替代。常见做法是拿深度相机或激光雷达扫一版点云转成与 COLMAP 坐标系一致的初始位置替换掉训练器默认使用的 sparse 点云。这种方式不是标准接口需要读一点源码改动初始化读入部分但对低纹理场景非常有效等于把几何先验直接塞给训练器让优化只需要处理颜色和细节。需要注意的点是坐标系对齐。外部点云必须与 COLMAP 相机位姿处于同一坐标系否则高斯初始位置和图像投影位置错位训练器会在前几千次迭代里疯狂移动高斯效果比不初始化还差。我一般先用几个特征明显的墙角做手动对齐再用 ICP 精配确认重投影误差在几个像素以内再开训。如果你没有现成点云通道这个方案不值得硬上老老实实拍真实场景更划算。6. 把 gaussian splat 模型变成可用资产.ply 后处理与单物体提取6.1 新视角检查别只信 PSNR要转一圈看训练指标只能说明平均误差不能说明画面是否自然。我习惯训练结束后用查看器沿物体绕一圈逐个固定角度截图重点看两个地方一是边缘拉伸物体轮廓在高斯密度不足的区域会出现模糊的拖影二是远处背景接近地平线的位置容易出现白色雾状漂浮物。指标再好这两处穿帮就得回炉调参。6.2 用 python 直接操作 .ply 做范围裁剪高斯点云可以用 plyfile 直接读取和写出保留所有高斯属性这一步能帮你把杂物从场景里摘出去。from plyfile import PlyData, PlyElement import numpy as np ply PlyData.read(output/exp1/point_cloud/iteration_30000/point_cloud.ply) v ply[vertex] xyz np.column_stack([v[x], v[y], v[z]]) # 按包围盒裁剪只保留桌面工作区内的点 keep ( (xyz[:, 0] -0.8) (xyz[:, 0] 0.8) (xyz[:, 1] -0.6) (xyz[:, 1] 0.6) (xyz[:, 2] -0.3) (xyz[:, 2] 1.2) ) sel v.data[keep] PlyData([PlyElement.describe(sel, vertex)], textTrue).write(cropped.ply)这段代码做完之后cropped.ply 仍是一个标准高斯点云文件可以直接进查看器或者重新训练微调。裁剪时不建议用通用点云库直接转换很多库读 .ply 时会丢掉 scale、rot、opacity 这些附加高斯属性导出后就是个普通散点没法再渲染。6.3 导出网格的备选当你要的不是点云如果下游要的是网格高斯点云本身不提供表面。常见兜底方案是先渲染一圈深度图再走一遍泊松重建。深度图在高斯边缘会有抖动重建前先做双边滤波不然网格表面会有一圈圈波纹。这条链路不稳定但对交互展示、游戏资产这类「够用就行」的交付场景通常比重新走一遍传统的 MVS 网格化流程快得多。我现在每拿到一个新场景都会先跑一版小分辨率、转一圈看新视角再决定要不要加 mask 或者调学习率这个习惯帮我避开过无数次返工。希望帮到你。本文还有配套的精品资源点击获取
简介基于3D高斯泼溅3DGS的完整三维重建代码包面向计算机视觉、深度学习方向的研究者与三维重建开发者解决从手机实拍图像到可交互3D场景的完整流程问题。包内集成预处理、数据集转换、模型训练与实时可视化模块并附带iPhone手拍可重建数据集便于直接上手复现。资源共2000个文件压缩包约489MB。主体代码以Chpp/cpp和Pythonpy为主另含GPU渲染相关着色器文件frag/vert、预编译动态库dll与可执行程序以及样例数据所需的jpg、ply、bin等文件覆盖源码、依赖、配置和数据集多个层面结构清晰。已有762人学习下载。教程明确给出预处理与训练命令可视化交互支持WASD控制视角、UIOJKL旋转相机适合作为3DGS入门与二次开发的工程参考。1. 一个 zip 带火的新视点合成gaussian-splatting 到底解决了什么第一次用 gaussian-splatting.zip 里的工程跑通训练时我的反应是这玩意竟然能这么快。手机绕着一个物体拍一圈几十张照片进去COLMAP 出位姿再训练二三十分钟浏览器里就能拖视角实时查看。而此前走体渲染路线的神经辐射场训练几个小时、渲染每秒几帧是常态。这个 zip 本质上把 3D 高斯泼溅Gaussian Splatting的完整工具链打包成了一个可运行工程图像序列进带 3D 高斯点的 .ply 模型出。它适合做电商 3D 展示、游戏场景快速重建、机器人巡检里需要实时重渲染的同事。如果你手里已经有一套 SfM 流程这个 zip 几乎是最容易落地的实时渲染重建方案。2. 从照片到高斯点云gaussian-splatting 的建模逻辑与最小跑通命令2.1 不建体素、不建网格3D 高斯为什么是「又快又脏但够用」的选择3D 高斯泼溅把场景表示成 N 个带属性的三维椭球。每个高斯点有均值也就是椭球中心有协方差矩阵由旋转四元数和缩放向量组合出来决定椭球的形状还有不透明度 α 和一组与视角相关的颜色系数颜色通常用球面谐波SH表达。渲染时把所有高斯按相机视角排序逐像素做 α 混合一遍光栅化就能得到当前视角的图像不需要像体渲染那样沿每条射线采样几十上百个点。这套思路的优势非常直接训练阶段每个高斯都参与可微光栅化梯度能顺利回传到位置、协方差和颜色参数上收敛极快。显式点集还带来一个体渲染没有的好处就是训练产物 .ply 可以直接被外部工具读取和编辑这也是很多从业者愿意上手的原因。缺点同样明显高斯是软体没有严格表面约束边缘不闭合、细节处会有「毛边」遇到镜面反射和透明物体经常翻车。它更像是一坨会学习的软糖而不是一个严谨的几何模型。从原理选型上看如果你只需要某个场景的「看一眼就够真实」的实时渲染gaussian-splatting 是当前性价比最高的选择。而如果你要的是干净的网格、可编辑的拓扑那高斯点云只是中间产物后面还需要做深度图和网格重建的兜底流程。这个 zip 的价值在于把这条路一次性打通你准备好图像和相机位姿训练器负责把一切都变成可渲染的高斯点云。2.2 COLMAP先解决相机在哪的问题gaussian-splatting 的训练器本身不做三维重建它需要你提前给出每张图像的相机位姿和初始点云。最常见的做法是让开源的 SfM 工具 COLMAP 先跑一遍稀疏重建。整个流程我一般这么组织拍摄素材抽帧、特征提取、特征匹配、增量式重建最后产出 sparse 目录供训练器读取。# 把 30fps 手机视频抽到 8fps避免相邻帧基线过短导致匹配质量差 ffmpeg -i scene.MOV -vf fps8 -q:v 2 images/frame_%04d.jpg # 特征提取OPENCV 相机模型对广角畸变更稳single_camera1 表示所有帧共用同一相机内参 colmap feature_extractor \ --database_path db.db \ --image_path images \ --ImageReader.camera_model OPENCV \ --ImageReader.single_camera 1 # 全局最近邻特征匹配 colmap exhaustive_matcher --database_path db.db # 增量 SfM输出到 sparse 目录实际训练读取的是 sparse/0 colmap mapper \ --database_path db.db \ --image_path images \ --output_path sparse抽帧这一步很多人会跳过直接把视频喂给 COLMAP结果往往是要么匹配对数太多拖慢速度要么连续帧过于相似导致位姿飘。fps8 是一个比较稳的起点物体转一圈大概能拿到 60120 帧。特征提取时如果机器没有可用 GPU需要额外加--SiftExtraction.use_gpu 0 --SiftMatching.use_gpu 0否则会一直卡在初始化。mapper 跑完打开 sparse/0 目录检查 registered images 数量如果注册率低于 60%后面训练基本没意义先回头解决数据问题。还要提醒一个容易踩的细节训练器对输入目录有固定约定常见结构是data/scene/images和data/scene/sparse/0。COLMAP 输出的是 sparse 而不是 sparse/0 时需要手动调整目录层级不然训练器找不到位姿文件报错还很隐晦。2.3 第一次训练从 sparse 到 .ply 的命令与产物拿到位姿后训练就变成一条命令的事。第一次跑强烈建议用默认参数跑完 30000 次迭代中间不要改参数先让整个链路通一遍再考虑调优。python train.py \ --source_path data/scene01 \ --model_path output/exp1 \ --iterations 30000 \ --test_iterations 7000 30000 \ --save_iterations 7000 30000source_path指向包含 images 和 sparse 的目录model_path是输出目录test_iterations指定第几次迭代时输出测试渲染图和评估指标save_iterations决定在哪些节点保存模型点云。训练结束后output/exp1/point_cloud/iteration_30000/point_cloud.ply就是最终产物里面每个顶点带有高斯属性可以直接拖进配套的查看器做新视角浏览。第一次训练如果显存只有 16GB 左右把输入图片尺寸降到 1200px 以内是性价比最高的手段不要在前期就上 1600px 以上原图。图片尺寸影响的不仅是特征提取速度还直接影响高斯数量增长速度和训练显存占用。等流程跑通再根据显存余量逐步上调分辨率。提示不要跳过 COLMAP、直接把视频路径丢给 train.py训练器需要的是相机位姿不是原始视频。3. 决定画面质量的四个参数迭代、SH、学习率和 densification3.1 迭代次数30000 是起点不是终点很多新手把默认 30000 当成真理事实上它只是原实现针对中等规模场景给的一个平衡点。单物体绕拍15000 到 20000 次就能看到接近可用的结果大范围室外场景或者采样密度不足的数据40000 到 60000 次迭代反而更常见。判断收敛不能只看训练集 PSNR要看测试视角的渲染是否稳定。判断方法很简单训练时用--test_iterations多设几个检查点比如 7000、15000、30000、45000训练完直接看对应迭代的测试渲染图序列。如果你发现 15000 次时测试视角里物体边缘还有半透明的糊点30000 次时糊点消失说明收敛正常如果 15000 比 30000 更好说明过拟合已经在发生模型开始记住训练视角对没见过的角度开始瞎编。这时候不是加大迭代次数而是降低学习率或者提前停止。我一般会先跑 30000 看趋势再根据测试指标决定加还是减。见过不少同事习惯性把 iterations 调到 60000 硬跑结果不仅慢还把小噪声也学成了脏点得不偿失。3.2 SH 阶数与颜色表达3 阶是成本和美观的平衡球面谐波阶数决定颜色随视角变化的能力。阶数 0 是纯漫反射颜色固定不随视角变阶数 3 有 16 个系数能表达大部分塑料、陶器、墙面这类近漫反射材质阶数 4 有 25 个系数对轻微光泽和金属感更友好但特征维度几乎翻倍显存和训练时间都明显上涨。选择原则我一般这样把握拍陶瓷杯、木雕、室内家具用默认 3 阶就够了拍车漆、金属摆件、表面有渐变反光的材质才值得升到 4 阶。升阶之前先确认显存有没有余量因为 SH 特征维度直接参与每个高斯的梯度计算阶数一高显存占用立刻上一个台阶。低阶数导致的颜色不准确通常表现为「颜色像蒙了一层灰」或视角变化时反光转折生硬而不是糊别把这个问题误判成学习率问题。3.3 学习率位置学习率决定飞点不透明度学习率决定雾感gaussian-splatting 对每个属性都有独立学习率其中最容易影响观感的是位置、不透明度和缩放。位置学习率常见初始值在 1.6e-4 附近训练后期指数衰减到 1e-6 量级如果初始位置学习率调得明显更高高斯位置会在优化过程中大幅跳动最终形成一串串悬空的小点也就是常见的飞点现象。不透明度学习率则在另一个维度起作用。调太大背景区域会被快速堆出半透明白雾因为高斯为了拟合多视角统计倾向于把不透明度拉高调太小物体表面又久久不能成形画面发虚。缩放学习率一般保持在 0.005 附近这个参数对尺度变化大的场景影响较大多物体场景里缩放过快会导致小物体消失。给新手的建议是不要同时改多个学习率。最省事的调参路径是先固定其他参数单独把位置学习率降到默认值的一半看飞点是否减少再单独把不透明度学习率从默认值降一点看雾感是否改善。一次只动一个变量才能从训练日志的反推回去。3.4 densification密度控制是 gaussian-splatting 的灵魂densification 是一套自适应增减高斯的机制。每隔固定迭代数算法检查每个高斯的位置梯度梯度大说明这里还有欠拟合的细节就分裂或克隆一个高斯同时定期剪掉不透明度太低的高斯。这套机制让初始稀疏点一步步长成覆盖场景的密集点集。控制密度有两个关键参数梯度阈值和操作间隔。梯度阈值常见默认值在 2e-4 附近调小意味着更容易触发分裂点云增长速度变快细节更足但显存压力也会爆调大则点云增长变慢画面可能长期停留在粗糙状态。操作间隔常见值是 100 次迭代检查一次间隔太小会导致高斯数量在训练中反复震荡反而难以收敛。实操中我见过最典型的翻车某开发者的场景跑到 20000 次迭代点云数量长到八十万个后续每跑几步就 OOM。解决思路不是直接换大显存卡而是把梯度阈值从 2e-4 提到 4e-4限制分裂速度配合不透明度重置间隔的调整来控制总量。记住一个原则高斯数量不是越多越好够用即可多出来的都是显存和时间的负担。4. gaussian-splatting 常见坑从白墙、飞点到显存爆掉的排查笔记4.1 白墙和低纹理场景COLMAP 一个模型都出不来现象mapper 跑完sparse/0 里只注册了五六张图甚至 report 里提示初始化失败。原因白墙、纯色地板这类区域缺乏特征点特征匹配阶段找不到足够多的对应关系SfM 无法稳定估计相机位姿。解决拍摄前在场景里放置明显的纹理参照物比如海报、标签、带花色的盒子让 COLMAP 有东西可匹配拍完再把这些参照物在后期裁掉或用 mask 盖住。如果场景已经拍完无法补拍只能尝试降低 COLMAP 的特征匹配阈值但成功率有限治标不治本。4.2 飞点PSNR 指标好看画面却穿帮现象训练日志里 PSNR 和 SSIM 都不错但新视角一拖空中悬浮着一串串小点或者物体边缘拉出长长的黑色丝状物。原因某些高斯的位置梯度一直很大densification 不断在稀疏区域克隆新点这些点位置不稳定半透明属性让它们在多个视角下都能被看到形成飞点。解决先把位置学习率减半再把 densify_grad_threshold 从默认值往低调抑制过度分裂最后训练完做一次点云裁剪把明显脱离主体高斯簇的点删掉。飞点问题只要在训练早期干预最有效等到点云数量爆炸后再清理操作成本高得多。4.3 显存 OOM三档处理方案现象训练到中后期终端突然报 CUDA out of memory进程直接被系统杀掉。原因高斯数量随迭代持续增长加上 SH 阶数带来的特征维度显存占用是动态上升的不是一开始就能看出来。解决第一档把输入图片下采样到 1200px这是最直接的显存减负第二档把 SH 阶数降回 3常见能省出好几 GB第三档把 densify_grad_threshold 调高限制高斯总数。顺序不要反先动分辨率是零成本先动梯度阈值反而会影响细节质量。4.4 复用模型跑新场景画面全是鬼影现象有人把上一个场景训练好的 .ply 直接拿去渲染新场景或者在新场景训练时用上一个模型做初始化结果画面像高速运动时的拖影。原因3D 高斯模型的参数是为特定场景优化的点云位置、颜色和协方差跟场景几何强绑定换场景后这些值全部错位。解决每个场景独立训练不要复用旧模型。同一场景不同时间段想叠加变化也需要先重新跑 COLMAP 建立新的稀疏重建再从这个新稀疏点云开始训练而不是拿旧点云硬套。4.5 镜面和透明物体高斯永远学不像现象拍一个玻璃杯训练视角里看着还行转到侧面杯壁出现重影里面像装了一个错位的房间。原因3D 高斯建模的是表面的散射属性它把每个点当作一个软椭球来混合颜色而反射和折射是光在表面弹跳后再进入相机高斯没有路径追踪能力自然学不出真实的镜面折射。解决拍摄时避开直射强反光或者把镜面区域用 mask 掉让训练器直接忽略这些区域。透明物体建议单独渲染成前景层再合成别指望 gaussian-splatting 一次搞定。5. 场景不干净也能救mask 约束与从稀疏点云限制重建边界5.1 先看 sparseCOLMAP 的稀疏点云本身就是免费的「前景 mask」训练器初始化用的稀疏点云是从特征点来的它天然只分布在有纹理的表面上天空、白墙、光滑地面这些区域几乎没有点。所以拿到 sparse/0 后先把它转成文本格式看一眼分布往往就能判断出哪些区域会导致训练失控。colmap model_converter \ --input_path sparse/0 \ --output_path sparse_txt \ --output_type TXT转换后points3D.txt前三行是文件头后面每行依次是点 ID、XYZ 坐标、RGB、误差等字段。用几行 Python 就能做粗略的离群点剔除import numpy as np pts np.loadtxt(sparse_txt/points3D.txt, skiprows3)[:, 1:4] # 用坐标分位数裁剪掉最远的 5% 点这些点通常是最不可靠的 lo np.percentile(pts, 5, axis0) hi np.percentile(pts, 95, axis0) keep (pts lo).all(axis1) (pts hi).all(axis1) print(f原始 {len(pts)} 点保留 {keep.sum()} 点)这个分位数裁剪不一定准但它能让你快速看到稀疏点云的上下界。如果点云散得很开说明拍摄时目标物在画面里占比太小或者背景特征太杂后面训练时飞点概率会很高。先把这一层点云分布摸清比直接闷头训练再排错有效率得多。5.2 用手工 mask 把前景和背景分离背景复杂、有走动的人、场景边缘有晃动物体时最佳干预手段是给训练数据加 mask。常见做法是准备一个与 images 目录同名的 mask 目录每个 mask 文件与对应图片同名白色代表要保留的前景黑色代表要忽略的背景尺寸必须与图片一致。# 常见目录组织方式具体键名以拿到实现的 README 为准 data/scene01/ ├── images/ # frame_0001.jpg ... ├── sparse/0/ # COLMAP 输出 └── masks/ # frame_0001.png ... 与图像同名加了 mask 后训练器在计算损失时只对白色区域回传梯度背景高斯的优化基本被冻结。实际效果是非常明显的背景区域的飞点几乎消失训练收敛速度加快边缘细节也会更干净因为模型不再花精力去拟合那些统计上不一致的背景像素。坑在于 mask 边缘的处理二值 mask 会在前景边缘产生生硬的切边感截图细看容易发现轮廓内侧发暗。处理办法是给 mask 做一个 35 像素的羽化让边缘有过渡观感会自然很多。5.3 从已有点云初始化不是每次都要从零收敛有些场景 SfM 出来的稀疏点质量很差比如白墙房间、夜晚室外特征点少得可怜。这时可以考虑用外部点云做初始化替代。常见做法是拿深度相机或激光雷达扫一版点云转成与 COLMAP 坐标系一致的初始位置替换掉训练器默认使用的 sparse 点云。这种方式不是标准接口需要读一点源码改动初始化读入部分但对低纹理场景非常有效等于把几何先验直接塞给训练器让优化只需要处理颜色和细节。需要注意的点是坐标系对齐。外部点云必须与 COLMAP 相机位姿处于同一坐标系否则高斯初始位置和图像投影位置错位训练器会在前几千次迭代里疯狂移动高斯效果比不初始化还差。我一般先用几个特征明显的墙角做手动对齐再用 ICP 精配确认重投影误差在几个像素以内再开训。如果你没有现成点云通道这个方案不值得硬上老老实实拍真实场景更划算。6. 把 gaussian splat 模型变成可用资产.ply 后处理与单物体提取6.1 新视角检查别只信 PSNR要转一圈看训练指标只能说明平均误差不能说明画面是否自然。我习惯训练结束后用查看器沿物体绕一圈逐个固定角度截图重点看两个地方一是边缘拉伸物体轮廓在高斯密度不足的区域会出现模糊的拖影二是远处背景接近地平线的位置容易出现白色雾状漂浮物。指标再好这两处穿帮就得回炉调参。6.2 用 python 直接操作 .ply 做范围裁剪高斯点云可以用 plyfile 直接读取和写出保留所有高斯属性这一步能帮你把杂物从场景里摘出去。from plyfile import PlyData, PlyElement import numpy as np ply PlyData.read(output/exp1/point_cloud/iteration_30000/point_cloud.ply) v ply[vertex] xyz np.column_stack([v[x], v[y], v[z]]) # 按包围盒裁剪只保留桌面工作区内的点 keep ( (xyz[:, 0] -0.8) (xyz[:, 0] 0.8) (xyz[:, 1] -0.6) (xyz[:, 1] 0.6) (xyz[:, 2] -0.3) (xyz[:, 2] 1.2) ) sel v.data[keep] PlyData([PlyElement.describe(sel, vertex)], textTrue).write(cropped.ply)这段代码做完之后cropped.ply 仍是一个标准高斯点云文件可以直接进查看器或者重新训练微调。裁剪时不建议用通用点云库直接转换很多库读 .ply 时会丢掉 scale、rot、opacity 这些附加高斯属性导出后就是个普通散点没法再渲染。6.3 导出网格的备选当你要的不是点云如果下游要的是网格高斯点云本身不提供表面。常见兜底方案是先渲染一圈深度图再走一遍泊松重建。深度图在高斯边缘会有抖动重建前先做双边滤波不然网格表面会有一圈圈波纹。这条链路不稳定但对交互展示、游戏资产这类「够用就行」的交付场景通常比重新走一遍传统的 MVS 网格化流程快得多。我现在每拿到一个新场景都会先跑一版小分辨率、转一圈看新视角再决定要不要加 mask 或者调学习率这个习惯帮我避开过无数次返工。希望帮到你。本文还有配套的精品资源点击获取
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
