简介面向深度学习单目深度估计方向的系统学习资料包围绕从单张彩色图像恢复场景深度这一逆问题系统梳理了该领域的核心挑战、模型演进与训练策略适合计算机视觉方向的学生、研究者以及从事三维重建、自动驾驶、机器人导航等工作的工程师参考。压缩包共73个文件以23个PDF文档多为经典论文与综述、20个Python源文件和11个编译后的pyc文件为主体另含多张示意图和说明文档整体约100.69MB内容既涵盖多尺度卷积网络、相对深度预测、非监督学习与条件随机场等经典技术路线也涉及深度图绘制、虚拟视点合成等三维应用方向。资源内附有可运行的Python示例代码和实验图像便于结合论文动手复现关键思路也可以帮助初学者快速把握单目深度估计的技术脉络。虽然整理时间较早但其中梳理的经典模型和损失函数设计思路仍具学习价值目前已有230人学习下载。1. 单目深度估计一张 JPEG 就能测距为什么现在才敢用单目深度估计Monocular Depth Estimation这几年在工程圈的热度已经从论文指标飙到了落地部署。它解决的问题很直接只给一张普通 RGB 图模型输出每个像素到相机平面的距离。别小看这个任务它天生是一个病态问题——同一个 2D 像素坐标可能对应近处小物体也可能对应远处大物体信息在成像瞬间就丢了。深度学习之前的传统几何方法靠纹理梯度、遮挡关系、大气透视这些线索硬推室内简单场景还能看一到室外开阔路面基本是玄学。现在深度学习把这件事做成了可训练的概率建模。模型不是真的“量”出深度而是从海量数据里学出一套“这张图看起来像什么深度”的先验。对从业者来说这意味着三个现实价值一是成本极低普通摄像头就能干双目和结构光的活二是能跑在嵌入式设备上模型可以剪到几兆字节三是可以给下游任务当基础模块比如 3D 目标检测、SLAM 的深度初始化、短视频的人像背景分层。适合谁读准备用单目深度替代或辅助现有测距方案的人、被论文指标迷惑但不知道复现成本的人、以及初次接触这个方向想快速拉通数据到模型全流程的入门者。这个标题带.zip说明资源已经打成包常见内容是论文清单、标注协议说明、以及一组能直接跑的模型权重或复现脚本。后面我按自己的实操经验从原理、数据集、复现步骤、评估坑到后处理技巧完整拆一遍。2. 单目深度模型在学什么从深度线索到尺度回归2.1 深度线索模型靠什么把 2D 还原成 3D先理清一个概念单目深度估计不是“测距”是“推理”。模型从单张图里提取的线索主要是这几类。第一是透视几何铁轨在远处汇聚、道路在视野尽头收窄这类强先验在驾驶场景极其有效第二是纹理梯度砖墙的缝隙变化能暗示表面朝向第三是相对大小同类的物体在画面里越小通常越远第四是遮挡关系被挡住的物体一定在挡它的物体后面第五是大气散射远处物体对比度低、偏蓝。深度学习模型做的事情本质是把这五类线索的特征表达隐含在卷积核或注意力矩阵里。KITTI 数据集里常见的“深度补全”任务输入是稀疏激光雷达点云加 RGB 图那是另一个任务。单目深度估计的模型输入纯粹只有 RGB输出是稠密深度图所以它在遮挡区域和反光表面经常“编”出一个合理的深度而不是测出来的。我在实际项目里的体感是模型对熟悉场景的泛化极好比如城市道路、室内走廊一旦碰到训练集里没见过的材质或布局比如大面积玻璃幕墙、镂空结构输出深度会开始抖动。这不是模型 bug是它学到的先验被打破了。手握这一类先验理解调参时才知道该去看什么。2.2 网络结构为什么从编码器-解码器变成了多尺度特征融合早期单目深度模型沿用语义分割的编码器-解码器结构像 ResNet 做编码器反卷积做解码器Loss 直接算预测深度和真值深度的 L1 或 L2。这类模型的问题是边缘模糊物体轮廓处的深度过渡是渐变的视觉上像蒙了一层雾。原因是反卷积上采样只有单一分辨率信息细节恢复不够。后来 Monodepth2Godard 等和 MiDaSRanftl 等把结构改成多尺度特征融合。Monodepth2 用了多尺度深度输出三到四个尺度分别预测深度图训练时每个尺度都算 Loss推理时取最大分辨率那个输出。MiDaS 用的是密集预测 TransformerDPT内部做多尺度视觉 Transformer 的逐级融合专门为了混合多个数据集训练而设计。这类结构的核心是尺度间的深度一致性大尺度负责整体结构小尺度负责边缘细节融合后边缘比纯反卷积结构干净很多。选型上我的习惯是嵌入式部署选 Monodepth2 类轻量卷积服务器或离线场景选 DPT 类 ViT 结构理由不是指标高低而是推理时间差了一个量级。DPT 在 RTX 3060 上一张 480p 图大约要 200 毫秒Monodepth2 大约 20 毫秒左右。2.3 Loss 设计L1、L2 和 scale-invariant 的取舍训练深度估计模型的 Loss 设计直接决定输出的“性格”。L2 Loss 对大误差敏感模型会倾向于把深度预测得保守避免大的深度突变L1 Loss 对小误差更平滑但对远距离大误差惩罚不足。实际中我更常用的是 BerHu Loss反向 Huber它对小误差用 L1对大误差用 L2中间有平滑过渡综合了两种 Loss 的优点。还有一个关键概念是 scale-invariant Loss尺度不变 Loss。它计算预测深度图和真值深度图在对数空间的差异并且减去两者均值差。这样可以忽略全局尺度偏移专注在相对深度关系的正确性。从工程角度看如果你只需要“物体谁在前谁在后”的相对深度比如做前景背景分离、做 defocus 模拟scale-invariant Loss 足够如果你要做 3D 重建或测距那就必须用带真值尺度的监督 Loss并且在最后一层输出前加尺度激活函数来约束输出范围。我在复现时踩过的坑是模型最后一层用了 Sigmoid 或 ReLU 输出但深度范围需要覆盖 0.1 到 80 米必须对输出做 affine 变换映射到目标范围。很多人新手在这里翻车——Loss 一直下降但可视化结果全是亮斑。原因是输出范围没映射对Sigmoid 把深度压在了 0~1大量像素重叠在几个数值上。3. 从数据集到训练脚本把深度估计跑起来的完整路线3.1 数据集选型KITTI 和 NYUv2 怎么选标签格式长什么样单目深度估计的数据集主要分两类室外驾驶场景和室内场景。KITTI 是室外基准深度真值来自激光雷达稀疏但有真实的尺度。标注方式是 Velodyne 激光扫描得到的 3D 点云投影到左侧彩色相机坐标系生成稀疏深度图官方还提供了 Eigen Split697 张训练这是论文里最常见的划分方式。NYUv2 是室内 RGB-D 数据集深度真值来自 Kinect。它有两种版本原始数据集是 1449 张密集对齐的 RGB-D 对还有一份带标签的 464 个室内场景子集。我一般用 KITTI 做室外测距类任务用 NYUv2 做室内通用深度补全和人物分割辅助。下载后要特别留意KITTI 的深度真值是以 16 位 PNG 存的读取时需除以 256.0 转成米NYUv2 则需要把深度原图从 640x480 裁剪到实际有效区域。很多复现代码默认加载路径是固定的你需要先跑一次官方数据集检查脚本确认目录结构对不对否则训练中途爆路径错误浪费半天。处理完的深度真值建议存成单通道 float32 的 npy 文件在前处理阶段直接 load避免每次训练都做图像格式转换。代码里也要配对 RGB 图的归一化KITTI 的 RGB 是三通道 uint8NYUv2 的 RGB 是 sRGB 编码直接除以 255 和先做 gamma 解码的结果会在边缘处差几个像素的深度值。def load_kitti_depth(depth_png_path): # KITTI 深度图是 16 位 PNG数值单位是毫米 depth cv2.imread(depth_png_path, cv2.IMREAD_UNCHANGED) depth depth.astype(np.float32) / 256.0 # 无效像素值为 0后续 Loss 中 mask 掉 valid_mask depth 0 return depth, valid_mask这段代码的要点有两个一是除以 256 而不是 255因为 KITTI 官方标注里原始毫米值先被压缩进 16 位 PNG除以 256 还原成米二是必须做 valid_mask因为激光雷达投影后大量像素没有深度值这些空白像素不能进入 Loss 计算否则模型会把它们往 0 推。3.2 复现的最小训练流程配置、启动和单卡显存规划把训练脚本跑通我按以下步骤来。先确认环境依赖PyTorch 1.10 以上即可不需要特殊算子需要 opencv-python、numpy、tensorboard。然后是模型和数据集目录的软链编排常见错误是数据集路径在代码里写死建议直接用软链 ln -s 把数据集目录链接到代码期望的位置。#!/bin/bash最小训练启动命令基于 Monodepth2 类结构python train.py--data_path /data/kitti_raw--log_dir /output/logs--model_name mono_model--split eigen_zhou--height 192--width 640--batch_size 8--num_epochs 20--learning_rate 1e-4--num_workers 6这段命令里面height 和 width 取 192x640是 KITTI 原图裁剪后的标准输入尺寸内存占用和精度平衡点batch_size 8 在 11GB 显存的卡上可以跑如果你想在 8GB 卡上训练把 height 降到 160 或者 batch_size 降到 4learning_rate 1e-4 是 Adam 的默认起步值训练约 5 个 epoch 后可以降到 5e-5。num_workers 设 6 比较理想太高会卡在 IO 上太低 GPU 利用率不足。训练中要盯两个指标train loss 下降曲线和 val 的可视化深度图。loss 下降到某个平台期不代表收敛好了要从验证集里抽样本图来看深度边缘与 RGB 边缘是否重合。如果边缘差 1 到 2 个像素是正常的如果差一个物体大小的偏移说明编码器的下采样倍数太高需要减小 stride 或者增加空洞卷积。我一般会在前 3 个 epoch 用较小的 learning_rate 1e-5 先做预热让 BatchNorm 统计量稳定下来然后再把 learning_rate 拉到 1e-4这样收敛更稳尤其是预训练权重加载不完全时效果明显。直接用 1e-4 从零训练初期容易出现 loss 震荡。3.3 推理脚本加载权重、前处理、深度图后处理推理比训练简单但前处理和后处理有两个容易翻车的地方。输入图片要 resize 到训练分辨率且要将短边缩放到目标尺寸而不是直接粗暴拉伸否则物体比例会失真深度也会跟着扭曲输出深度图要 resize 回原图尺寸但这里要用最近邻插值而不是双线性因为深度值是离散的物理量双线性会窗口平滑掉边缘的深度跳变。import torch, cv2 from PIL import Imagedef infer_depth(model, img_path, devicecuda): # 读取原图并保持宽高比缩放 img Image.open(img_path).convert(RGB) w, h img.size scale 640 / min(w, h) new_w, new_h int(w * scale), int(h * scale) img_resized img.resize((new_w, new_h), Image.LANCZOS) # 中心裁剪到网络输入尺寸 left (new_w - 640) // 2 top (new_h - 192) // 2 img_cropped img_resized.crop((left, top, left 640, top 192)) # 归一化并转为张量 input_tensor torch.from_numpy( np.array(img_cropped).transpose(2, 0, 1) ).float().unsqueeze(0) / 255.0 input_tensor input_tensor.to(device) with torch.no_grad(): out model(input_tensor) # 输出多尺度时取全分辨率结果 depth out[disp, 0].cpu().numpy()[0, 0] # 还原到原图分辨率用最近邻保持边缘 depth cv2.resize(depth, (w, h), interpolationcv2.INTER_NEAREST) return depth这里用 LANCZOS 做缩放是因为它对 RGB 图的锯齿抑制最好但代价是耗时略高如果部署时追求速度换成 INTER_AREA 也可以。关键是最后一步 resize 回原图分辨率时用 INTER_NEAREST否则深度边缘和 RGB 边缘对不齐下游融合特征时会引入误差。注意输出变量名叫 out[disp, 0]这是 Monodepth2 类模型的包络格式如果你用的是 DPT返回的是一个 dict键是 prediction。各自框架有一套接口但后处理逻辑是通用的。4. 模型选型与评估看着差不多的指标差距在部署成本里4.1 三张图表看清主流模型的分界线模型/方法代表论文输入分辨率相对精度部署难度典型延迟Monodepth2Godard 2019192x640中等低纯 CNN适合边缘设备10-20msDPTRanftl 2022384x384较高高ViT 单卡要 6GB 以上200-400msNeRF 类Mildenhall 2020多视角高极高需要多视角训练与重建秒级选型的核心逻辑是精度和速度的权衡。Monodepth2 的精度在 KITTI 上足够做辅助驾驶预警误差在 0.1 米附近DPT 在混合数据集上更强适合离线生成高精度深度图。如果你要的是实时测距哪怕是低精度也能接受Monodepth2 系列是最稳妥的选择。4.2 评估指标δ1、RMSE 和 SILog 的计算逻辑与视觉感知的差距评估指标有四个常见的δ1threshold accuracy、RMSE、RMSE log、SILog。δ1 是预测深度与真值深度比值在 1.25 倍以内的像素占比越高越好RMSE 越低越好但它对远距离误差的惩罚很大所以 RMSE 接近的模型可能在近距精度上有天壤之别SILog 是 scale-invariant log loss用来衡量整体相对深度的质量和人类感知相对远近的体验更接近。我做了实际数据的对比同一个模型在 KITTI 的 eigen split 评测时 δ1 到 0.92看起来不错但把可视化图拉出来看远处建筑整体凹陷、路面轮廓模糊。说明 δ1 对细微的距离跳变不敏感只要像素比在 1.25 倍以内都算对视觉上却非常明显。所以在做方案评估时我至少同时看 δ1、RMSE 和可视化深度剖面图缺少任何一个都可能被纸面指标骗过去。def compute_depth_metrics(pred, gt, mask): # pred 和 gt 是深度图mask 是有效像素 pred, gt pred[mask], gt[mask] ratio pred / gt delta1 (torch.max(ratio, 1.0 / ratio) 1.25).float().mean() rmse torch.sqrt(((pred - gt) ** 2).mean()) return delta1.item(), rmse.item()这个评估函数里的 mask 必须和训练时保持一致否则指标会被无效像素污染。常见坑是评估时把填充区域的 0 值也算了进去RMSE 直接飙升。5. 复现踩坑记录从数据吃到模型输出5 个血泪教训5.1 ZIP 包解压报错“invalid zip archive: could not find EOCD”现象拿到 .zip 深度估计资源包解压到一半报“could not find EOCD”或“unsupported compression method”。原因有两个一是下载不完整zip 的中央目录记录EOCD在文件尾部下载中断后尾部缺失二是 zip 文件是伪加密标记的某些打包工具设置了加密标志但不真实加密解压工具会尝试做密码验证然后失败。解决先用 unzip -t 检查完整性若提示 missing entry 或 block1.mphbin 这类无效条目重新下载如果是伪加密用 7-Zip 打开菜单里选择“不检查加密”强制解压即可。5.2 训练 loss 可以下降但可视化深度图全是一片白现象训练了 5 个 epochloss 从 700 降到了 300验证集深度图全是一片灰白没有层次。原因输出层把深度值压缩到了很窄的数值区间可视化时被裁掉了。解决先打印模型输出的 min/max如果最大深度只有 0.02就说明输出层激活函数不合适把最后一层换成带深度的线性输出并限制到 0.1~80 米。可视化时要按每张图的 min/max 做线性拉伸而不是全局固定范围。5.3 KITTI 深度真值的裁剪区域和 RGB 不对齐现象深度图叠到 RGB 上左边总是缺一块右边多出来一块。原因KITTI 原始激光投影到相机图之后前 6 列像素没有激光覆盖官方提供的预处理脚本里已经做了裁剪crop复现时自己另外裁剪了一遍。解决用官方 eigen split 的预处理对齐逻辑训练/评估时统一只保留有效区域不要自己多裁一次。对齐之后训练 loss 会有个明显跳变下降更稳。5.4 训练时 GPU 显存爆掉但不是 batch_size 的问题现象batch_size 调到 2 还是 OOM。原因模型内部有多尺度深度监督每个尺度都保存特征图用于 Loss 计算显存占用比同等参数量的分类模型大 3 到 5 倍。解决打开梯度累积gradient accumulation来等效增大 batch_size这样单步显存不变但多步累加梯度。或者降低输入分辨率不要只盯着 batch_size——192x640 降到 160x512显存能省近一半。5.5 评估时用 RMSE 判断模型好坏差点毙掉一个可用方案现象A 模型的 RMSE 比 B 模型高了 20%差点放弃 A但可视化出来 A 的深度边缘更锐利物体轮廓更准确。原因RMSE 对远距离大误差惩罚太强A 模型在 30 米以外的区域有少量偏差但在近距离的细节好得多而 B 模型整体平滑远距离误差小近距离模糊。解决评估时综合看 δ1 和 RMSE并各自按距离分组统计近距 0~10 米看 δ1远距 10~80 米看 RMSE这样才知道哪个模型适合你的具体场景。6. 尺度恢复技巧把相对深度变成绝对测距的最后一步单目深度估计网络输出的大多是相对深度或者带尺度模糊的深度。要做实际测距必须用后处理做尺度恢复这一步常被资源包里的 README 忽略却是落地的关键。常见的做法是利用相机内参和已知物体尺寸做全局尺度标定。比如一个固定安装的摄像头画面里有一个已知高度的人或者一辆车检测他们的像素高度再对应到深度图里该位置的深度值计算比例因子。这个比例因子在相机不动、焦距不变的情况下是全图适用的。拿到尺度因子后把网络输出深度乘上去就得到绝对深度。但要注意乘完以后还要做一次中值滤波。原因是单帧网络的输出在物体边缘处有离散的飞点乘上尺度因子后飞点会被放大影响下游的避障或测距。中值滤波的窗口选 5x5 比较合适太大容易抹平细节太小压不掉飞点。在部署到实际项目时我一般会做二次标定先用 20 张不同场景的图手动标注几个已知距离的参考点把尺度因子计算出来然后固定视角后再用 5 张新图验证。验证通过后给尺度因子加一个低通滤波防止相机曝光变化引起尺度因子波动。这个流程看起来土但比单靠网络自己输出的尺度稳定得多。另一个技巧是可以利用双目视差计算出的稀疏深度图来校准网络输出。虽然这不是纯单目方案但在车端或机器人上本来就有双目或雷达稀疏的真值深度正好可以用来在线估计尺度。做法是对每个有真值深度的像素计算网络输出和真值的比值取中位数作为当前帧的全局尺度。比固定标定更鲁棒能适应坡度变化。最后提醒两点一是尺度恢复不要直接求平均比值要用中位数因为飞点会拉偏平均值二是要区分“训练集的尺度”和“部署场景的尺度”如果你在 KITTI 预训练模型上直接做部署必须先做一次部署场景的尺度对齐。这个坑我带着团队翻过后来就成了固定流程。希望这个方向的实践笔记能帮你少踩几个坑做出来的深度估计能真正用起来。本文还有配套的精品资源点击获取
简介面向深度学习单目深度估计方向的系统学习资料包围绕从单张彩色图像恢复场景深度这一逆问题系统梳理了该领域的核心挑战、模型演进与训练策略适合计算机视觉方向的学生、研究者以及从事三维重建、自动驾驶、机器人导航等工作的工程师参考。压缩包共73个文件以23个PDF文档多为经典论文与综述、20个Python源文件和11个编译后的pyc文件为主体另含多张示意图和说明文档整体约100.69MB内容既涵盖多尺度卷积网络、相对深度预测、非监督学习与条件随机场等经典技术路线也涉及深度图绘制、虚拟视点合成等三维应用方向。资源内附有可运行的Python示例代码和实验图像便于结合论文动手复现关键思路也可以帮助初学者快速把握单目深度估计的技术脉络。虽然整理时间较早但其中梳理的经典模型和损失函数设计思路仍具学习价值目前已有230人学习下载。1. 单目深度估计一张 JPEG 就能测距为什么现在才敢用单目深度估计Monocular Depth Estimation这几年在工程圈的热度已经从论文指标飙到了落地部署。它解决的问题很直接只给一张普通 RGB 图模型输出每个像素到相机平面的距离。别小看这个任务它天生是一个病态问题——同一个 2D 像素坐标可能对应近处小物体也可能对应远处大物体信息在成像瞬间就丢了。深度学习之前的传统几何方法靠纹理梯度、遮挡关系、大气透视这些线索硬推室内简单场景还能看一到室外开阔路面基本是玄学。现在深度学习把这件事做成了可训练的概率建模。模型不是真的“量”出深度而是从海量数据里学出一套“这张图看起来像什么深度”的先验。对从业者来说这意味着三个现实价值一是成本极低普通摄像头就能干双目和结构光的活二是能跑在嵌入式设备上模型可以剪到几兆字节三是可以给下游任务当基础模块比如 3D 目标检测、SLAM 的深度初始化、短视频的人像背景分层。适合谁读准备用单目深度替代或辅助现有测距方案的人、被论文指标迷惑但不知道复现成本的人、以及初次接触这个方向想快速拉通数据到模型全流程的入门者。这个标题带.zip说明资源已经打成包常见内容是论文清单、标注协议说明、以及一组能直接跑的模型权重或复现脚本。后面我按自己的实操经验从原理、数据集、复现步骤、评估坑到后处理技巧完整拆一遍。2. 单目深度模型在学什么从深度线索到尺度回归2.1 深度线索模型靠什么把 2D 还原成 3D先理清一个概念单目深度估计不是“测距”是“推理”。模型从单张图里提取的线索主要是这几类。第一是透视几何铁轨在远处汇聚、道路在视野尽头收窄这类强先验在驾驶场景极其有效第二是纹理梯度砖墙的缝隙变化能暗示表面朝向第三是相对大小同类的物体在画面里越小通常越远第四是遮挡关系被挡住的物体一定在挡它的物体后面第五是大气散射远处物体对比度低、偏蓝。深度学习模型做的事情本质是把这五类线索的特征表达隐含在卷积核或注意力矩阵里。KITTI 数据集里常见的“深度补全”任务输入是稀疏激光雷达点云加 RGB 图那是另一个任务。单目深度估计的模型输入纯粹只有 RGB输出是稠密深度图所以它在遮挡区域和反光表面经常“编”出一个合理的深度而不是测出来的。我在实际项目里的体感是模型对熟悉场景的泛化极好比如城市道路、室内走廊一旦碰到训练集里没见过的材质或布局比如大面积玻璃幕墙、镂空结构输出深度会开始抖动。这不是模型 bug是它学到的先验被打破了。手握这一类先验理解调参时才知道该去看什么。2.2 网络结构为什么从编码器-解码器变成了多尺度特征融合早期单目深度模型沿用语义分割的编码器-解码器结构像 ResNet 做编码器反卷积做解码器Loss 直接算预测深度和真值深度的 L1 或 L2。这类模型的问题是边缘模糊物体轮廓处的深度过渡是渐变的视觉上像蒙了一层雾。原因是反卷积上采样只有单一分辨率信息细节恢复不够。后来 Monodepth2Godard 等和 MiDaSRanftl 等把结构改成多尺度特征融合。Monodepth2 用了多尺度深度输出三到四个尺度分别预测深度图训练时每个尺度都算 Loss推理时取最大分辨率那个输出。MiDaS 用的是密集预测 TransformerDPT内部做多尺度视觉 Transformer 的逐级融合专门为了混合多个数据集训练而设计。这类结构的核心是尺度间的深度一致性大尺度负责整体结构小尺度负责边缘细节融合后边缘比纯反卷积结构干净很多。选型上我的习惯是嵌入式部署选 Monodepth2 类轻量卷积服务器或离线场景选 DPT 类 ViT 结构理由不是指标高低而是推理时间差了一个量级。DPT 在 RTX 3060 上一张 480p 图大约要 200 毫秒Monodepth2 大约 20 毫秒左右。2.3 Loss 设计L1、L2 和 scale-invariant 的取舍训练深度估计模型的 Loss 设计直接决定输出的“性格”。L2 Loss 对大误差敏感模型会倾向于把深度预测得保守避免大的深度突变L1 Loss 对小误差更平滑但对远距离大误差惩罚不足。实际中我更常用的是 BerHu Loss反向 Huber它对小误差用 L1对大误差用 L2中间有平滑过渡综合了两种 Loss 的优点。还有一个关键概念是 scale-invariant Loss尺度不变 Loss。它计算预测深度图和真值深度图在对数空间的差异并且减去两者均值差。这样可以忽略全局尺度偏移专注在相对深度关系的正确性。从工程角度看如果你只需要“物体谁在前谁在后”的相对深度比如做前景背景分离、做 defocus 模拟scale-invariant Loss 足够如果你要做 3D 重建或测距那就必须用带真值尺度的监督 Loss并且在最后一层输出前加尺度激活函数来约束输出范围。我在复现时踩过的坑是模型最后一层用了 Sigmoid 或 ReLU 输出但深度范围需要覆盖 0.1 到 80 米必须对输出做 affine 变换映射到目标范围。很多人新手在这里翻车——Loss 一直下降但可视化结果全是亮斑。原因是输出范围没映射对Sigmoid 把深度压在了 0~1大量像素重叠在几个数值上。3. 从数据集到训练脚本把深度估计跑起来的完整路线3.1 数据集选型KITTI 和 NYUv2 怎么选标签格式长什么样单目深度估计的数据集主要分两类室外驾驶场景和室内场景。KITTI 是室外基准深度真值来自激光雷达稀疏但有真实的尺度。标注方式是 Velodyne 激光扫描得到的 3D 点云投影到左侧彩色相机坐标系生成稀疏深度图官方还提供了 Eigen Split697 张训练这是论文里最常见的划分方式。NYUv2 是室内 RGB-D 数据集深度真值来自 Kinect。它有两种版本原始数据集是 1449 张密集对齐的 RGB-D 对还有一份带标签的 464 个室内场景子集。我一般用 KITTI 做室外测距类任务用 NYUv2 做室内通用深度补全和人物分割辅助。下载后要特别留意KITTI 的深度真值是以 16 位 PNG 存的读取时需除以 256.0 转成米NYUv2 则需要把深度原图从 640x480 裁剪到实际有效区域。很多复现代码默认加载路径是固定的你需要先跑一次官方数据集检查脚本确认目录结构对不对否则训练中途爆路径错误浪费半天。处理完的深度真值建议存成单通道 float32 的 npy 文件在前处理阶段直接 load避免每次训练都做图像格式转换。代码里也要配对 RGB 图的归一化KITTI 的 RGB 是三通道 uint8NYUv2 的 RGB 是 sRGB 编码直接除以 255 和先做 gamma 解码的结果会在边缘处差几个像素的深度值。def load_kitti_depth(depth_png_path): # KITTI 深度图是 16 位 PNG数值单位是毫米 depth cv2.imread(depth_png_path, cv2.IMREAD_UNCHANGED) depth depth.astype(np.float32) / 256.0 # 无效像素值为 0后续 Loss 中 mask 掉 valid_mask depth 0 return depth, valid_mask这段代码的要点有两个一是除以 256 而不是 255因为 KITTI 官方标注里原始毫米值先被压缩进 16 位 PNG除以 256 还原成米二是必须做 valid_mask因为激光雷达投影后大量像素没有深度值这些空白像素不能进入 Loss 计算否则模型会把它们往 0 推。3.2 复现的最小训练流程配置、启动和单卡显存规划把训练脚本跑通我按以下步骤来。先确认环境依赖PyTorch 1.10 以上即可不需要特殊算子需要 opencv-python、numpy、tensorboard。然后是模型和数据集目录的软链编排常见错误是数据集路径在代码里写死建议直接用软链 ln -s 把数据集目录链接到代码期望的位置。#!/bin/bash最小训练启动命令基于 Monodepth2 类结构python train.py--data_path /data/kitti_raw--log_dir /output/logs--model_name mono_model--split eigen_zhou--height 192--width 640--batch_size 8--num_epochs 20--learning_rate 1e-4--num_workers 6这段命令里面height 和 width 取 192x640是 KITTI 原图裁剪后的标准输入尺寸内存占用和精度平衡点batch_size 8 在 11GB 显存的卡上可以跑如果你想在 8GB 卡上训练把 height 降到 160 或者 batch_size 降到 4learning_rate 1e-4 是 Adam 的默认起步值训练约 5 个 epoch 后可以降到 5e-5。num_workers 设 6 比较理想太高会卡在 IO 上太低 GPU 利用率不足。训练中要盯两个指标train loss 下降曲线和 val 的可视化深度图。loss 下降到某个平台期不代表收敛好了要从验证集里抽样本图来看深度边缘与 RGB 边缘是否重合。如果边缘差 1 到 2 个像素是正常的如果差一个物体大小的偏移说明编码器的下采样倍数太高需要减小 stride 或者增加空洞卷积。我一般会在前 3 个 epoch 用较小的 learning_rate 1e-5 先做预热让 BatchNorm 统计量稳定下来然后再把 learning_rate 拉到 1e-4这样收敛更稳尤其是预训练权重加载不完全时效果明显。直接用 1e-4 从零训练初期容易出现 loss 震荡。3.3 推理脚本加载权重、前处理、深度图后处理推理比训练简单但前处理和后处理有两个容易翻车的地方。输入图片要 resize 到训练分辨率且要将短边缩放到目标尺寸而不是直接粗暴拉伸否则物体比例会失真深度也会跟着扭曲输出深度图要 resize 回原图尺寸但这里要用最近邻插值而不是双线性因为深度值是离散的物理量双线性会窗口平滑掉边缘的深度跳变。import torch, cv2 from PIL import Imagedef infer_depth(model, img_path, devicecuda): # 读取原图并保持宽高比缩放 img Image.open(img_path).convert(RGB) w, h img.size scale 640 / min(w, h) new_w, new_h int(w * scale), int(h * scale) img_resized img.resize((new_w, new_h), Image.LANCZOS) # 中心裁剪到网络输入尺寸 left (new_w - 640) // 2 top (new_h - 192) // 2 img_cropped img_resized.crop((left, top, left 640, top 192)) # 归一化并转为张量 input_tensor torch.from_numpy( np.array(img_cropped).transpose(2, 0, 1) ).float().unsqueeze(0) / 255.0 input_tensor input_tensor.to(device) with torch.no_grad(): out model(input_tensor) # 输出多尺度时取全分辨率结果 depth out[disp, 0].cpu().numpy()[0, 0] # 还原到原图分辨率用最近邻保持边缘 depth cv2.resize(depth, (w, h), interpolationcv2.INTER_NEAREST) return depth这里用 LANCZOS 做缩放是因为它对 RGB 图的锯齿抑制最好但代价是耗时略高如果部署时追求速度换成 INTER_AREA 也可以。关键是最后一步 resize 回原图分辨率时用 INTER_NEAREST否则深度边缘和 RGB 边缘对不齐下游融合特征时会引入误差。注意输出变量名叫 out[disp, 0]这是 Monodepth2 类模型的包络格式如果你用的是 DPT返回的是一个 dict键是 prediction。各自框架有一套接口但后处理逻辑是通用的。4. 模型选型与评估看着差不多的指标差距在部署成本里4.1 三张图表看清主流模型的分界线模型/方法代表论文输入分辨率相对精度部署难度典型延迟Monodepth2Godard 2019192x640中等低纯 CNN适合边缘设备10-20msDPTRanftl 2022384x384较高高ViT 单卡要 6GB 以上200-400msNeRF 类Mildenhall 2020多视角高极高需要多视角训练与重建秒级选型的核心逻辑是精度和速度的权衡。Monodepth2 的精度在 KITTI 上足够做辅助驾驶预警误差在 0.1 米附近DPT 在混合数据集上更强适合离线生成高精度深度图。如果你要的是实时测距哪怕是低精度也能接受Monodepth2 系列是最稳妥的选择。4.2 评估指标δ1、RMSE 和 SILog 的计算逻辑与视觉感知的差距评估指标有四个常见的δ1threshold accuracy、RMSE、RMSE log、SILog。δ1 是预测深度与真值深度比值在 1.25 倍以内的像素占比越高越好RMSE 越低越好但它对远距离误差的惩罚很大所以 RMSE 接近的模型可能在近距精度上有天壤之别SILog 是 scale-invariant log loss用来衡量整体相对深度的质量和人类感知相对远近的体验更接近。我做了实际数据的对比同一个模型在 KITTI 的 eigen split 评测时 δ1 到 0.92看起来不错但把可视化图拉出来看远处建筑整体凹陷、路面轮廓模糊。说明 δ1 对细微的距离跳变不敏感只要像素比在 1.25 倍以内都算对视觉上却非常明显。所以在做方案评估时我至少同时看 δ1、RMSE 和可视化深度剖面图缺少任何一个都可能被纸面指标骗过去。def compute_depth_metrics(pred, gt, mask): # pred 和 gt 是深度图mask 是有效像素 pred, gt pred[mask], gt[mask] ratio pred / gt delta1 (torch.max(ratio, 1.0 / ratio) 1.25).float().mean() rmse torch.sqrt(((pred - gt) ** 2).mean()) return delta1.item(), rmse.item()这个评估函数里的 mask 必须和训练时保持一致否则指标会被无效像素污染。常见坑是评估时把填充区域的 0 值也算了进去RMSE 直接飙升。5. 复现踩坑记录从数据吃到模型输出5 个血泪教训5.1 ZIP 包解压报错“invalid zip archive: could not find EOCD”现象拿到 .zip 深度估计资源包解压到一半报“could not find EOCD”或“unsupported compression method”。原因有两个一是下载不完整zip 的中央目录记录EOCD在文件尾部下载中断后尾部缺失二是 zip 文件是伪加密标记的某些打包工具设置了加密标志但不真实加密解压工具会尝试做密码验证然后失败。解决先用 unzip -t 检查完整性若提示 missing entry 或 block1.mphbin 这类无效条目重新下载如果是伪加密用 7-Zip 打开菜单里选择“不检查加密”强制解压即可。5.2 训练 loss 可以下降但可视化深度图全是一片白现象训练了 5 个 epochloss 从 700 降到了 300验证集深度图全是一片灰白没有层次。原因输出层把深度值压缩到了很窄的数值区间可视化时被裁掉了。解决先打印模型输出的 min/max如果最大深度只有 0.02就说明输出层激活函数不合适把最后一层换成带深度的线性输出并限制到 0.1~80 米。可视化时要按每张图的 min/max 做线性拉伸而不是全局固定范围。5.3 KITTI 深度真值的裁剪区域和 RGB 不对齐现象深度图叠到 RGB 上左边总是缺一块右边多出来一块。原因KITTI 原始激光投影到相机图之后前 6 列像素没有激光覆盖官方提供的预处理脚本里已经做了裁剪crop复现时自己另外裁剪了一遍。解决用官方 eigen split 的预处理对齐逻辑训练/评估时统一只保留有效区域不要自己多裁一次。对齐之后训练 loss 会有个明显跳变下降更稳。5.4 训练时 GPU 显存爆掉但不是 batch_size 的问题现象batch_size 调到 2 还是 OOM。原因模型内部有多尺度深度监督每个尺度都保存特征图用于 Loss 计算显存占用比同等参数量的分类模型大 3 到 5 倍。解决打开梯度累积gradient accumulation来等效增大 batch_size这样单步显存不变但多步累加梯度。或者降低输入分辨率不要只盯着 batch_size——192x640 降到 160x512显存能省近一半。5.5 评估时用 RMSE 判断模型好坏差点毙掉一个可用方案现象A 模型的 RMSE 比 B 模型高了 20%差点放弃 A但可视化出来 A 的深度边缘更锐利物体轮廓更准确。原因RMSE 对远距离大误差惩罚太强A 模型在 30 米以外的区域有少量偏差但在近距离的细节好得多而 B 模型整体平滑远距离误差小近距离模糊。解决评估时综合看 δ1 和 RMSE并各自按距离分组统计近距 0~10 米看 δ1远距 10~80 米看 RMSE这样才知道哪个模型适合你的具体场景。6. 尺度恢复技巧把相对深度变成绝对测距的最后一步单目深度估计网络输出的大多是相对深度或者带尺度模糊的深度。要做实际测距必须用后处理做尺度恢复这一步常被资源包里的 README 忽略却是落地的关键。常见的做法是利用相机内参和已知物体尺寸做全局尺度标定。比如一个固定安装的摄像头画面里有一个已知高度的人或者一辆车检测他们的像素高度再对应到深度图里该位置的深度值计算比例因子。这个比例因子在相机不动、焦距不变的情况下是全图适用的。拿到尺度因子后把网络输出深度乘上去就得到绝对深度。但要注意乘完以后还要做一次中值滤波。原因是单帧网络的输出在物体边缘处有离散的飞点乘上尺度因子后飞点会被放大影响下游的避障或测距。中值滤波的窗口选 5x5 比较合适太大容易抹平细节太小压不掉飞点。在部署到实际项目时我一般会做二次标定先用 20 张不同场景的图手动标注几个已知距离的参考点把尺度因子计算出来然后固定视角后再用 5 张新图验证。验证通过后给尺度因子加一个低通滤波防止相机曝光变化引起尺度因子波动。这个流程看起来土但比单靠网络自己输出的尺度稳定得多。另一个技巧是可以利用双目视差计算出的稀疏深度图来校准网络输出。虽然这不是纯单目方案但在车端或机器人上本来就有双目或雷达稀疏的真值深度正好可以用来在线估计尺度。做法是对每个有真值深度的像素计算网络输出和真值的比值取中位数作为当前帧的全局尺度。比固定标定更鲁棒能适应坡度变化。最后提醒两点一是尺度恢复不要直接求平均比值要用中位数因为飞点会拉偏平均值二是要区分“训练集的尺度”和“部署场景的尺度”如果你在 KITTI 预训练模型上直接做部署必须先做一次部署场景的尺度对齐。这个坑我带着团队翻过后来就成了固定流程。希望这个方向的实践笔记能帮你少踩几个坑做出来的深度估计能真正用起来。本文还有配套的精品资源点击获取
