1. 三月的学术界在忙什么1.1 大模型之外CV圈的真实热点又到三月中旬这大概是计算机视觉方向最热闹的一段时间。CVPR 的投稿周期刚过NeurIPS 的摘要提交还没开始大家手里攒着的实验数据刚好到了一个能拿出来晒的阶段arXiv 上每天刷新的论文数量肉眼可见地往上冲。我翻了翻 3 月 18 日前后这一批计算机视觉与模式识别方向的速递看到的信息密度确实比平时高不少尤其是多模态理解、三维重建、视频时序建模这几条线都出现了不少有意思的工作。很多人会问做计算机视觉到底该盯什么说实话追着顶会看是最快的路径。但光看标题没用得看方法、看实验设置、看数据选择甚至看作者在 limitation 里埋了什么伏笔这些才是一个项目能不能复现、能不能迁移到你自己场景里的关键。我从这期速递里抽了几条主线结合我自己做项目、带大作业的经验把值得关注的东西拆开聊一聊。1.2 谁该读这份速递先说清楚这篇文章适合谁。如果你是正在做计算机视觉大作业的学生想从近期论文里提炼一个能落地的小项目或者你是刚入行的算法工程师想找找自己的技术方向再或者你只是被分配了一个“调研最新进展”的任务老板让你出一份速递分析——这些都是我写这篇东西的出发点。我不会给你罗列几十篇论文的标题让你自己猜而是站在一个“什么都得会一点的过来人”角度告诉你哪几篇值得精读、哪个方向容易出成果、哪些技术点其实是在炒冷饭。这样无论你是要应付大作业还是真要上手做项目看完都能有一条清晰的路线。2. 近期值得关注的研究方向速览2.1 多模态理解与语言-视觉对齐先说多模态。2025 年的计算机视觉早就不是一个纯视觉的任务了。CLIP 之后视觉-语言对齐成了几乎所有上层任务的底座从图文检索、视觉问答到开放词汇检测全是建立在“图像特征和文本特征往同一个空间里映射”这个假设之上的。这一期速递里值得留意的一个趋势是很多工作不再单纯追求对齐空间做得多好而是开始关注细粒度对齐和推理能力。什么意思以前 CLIP 能告诉你“这张图里有一只猫和一只狗”但你说不清猫在左边还是右边猫是什么颜色狗和猫谁大。现在的视觉-语言模型开始往“看得更细、说得更准”方向走比如通过区域级的特征对齐、视觉 token 的交叉注意力增强去细分画面里的实体和关系。这种能力对于做自动驾驶场景理解、医疗影像报告生成这类专业任务来说价值比单纯刷 ImageNet 准确率高得多。如果你是做大作业或者入门项目我建议可以试试“图文检索 细粒度描述”这个组合。数据集用 Flickr30k 或者 Visual Genome模型用现成的 CLIP 做底座再在上面加一个轻量的跨模态融合模块。这个项目难点不在模型结构而在负样本构造和损失函数的配比我后面会细说。2.2 三维视觉与重建方向三维视觉在近两年是真的火核心推手是 3D Gaussian Splatting它几乎把传统 NeRF 重建的渲染速度提升了一个量级。你看 3 月 18 日这批速递标题里带 3D、Gaussian、NeRF 的文章数量依旧不少但方向已经从“如何重建得更像”转向“如何重建得更快、更可控、更可分”。几个值得关注的点一个是动态场景重建就是视频输入下同时估计物体运动和三维几何之前要做这事得用复杂的时空调制网络现在有人把 3D Gaussians 和光流场结合在帧间做高斯粒子的位置预测速度和效果都好了不少另一个是可控生成给 3D 高斯泼溅加文本引导让模型能够“按描述修改”一个已有场景里的物体位置或颜色这其实就是把 diffusion 和 3D 表示耦合在一起。这个方向做好了后期编辑、虚拟制片、游戏资产生产都是直接受益方。三维方向的坑也很明确数据获取成本高。别以为随便找个手机拍一段视频就能重建出完美模型真实场景的光照、反射、遮挡都会让优化崩掉。如果你只是想做课程项目别一上来就挑战整条街拍一个桌面静物或者一个室内角落反而更容易出效果。2.3 视频理解与时空建模视频理解这个方向说实话已经沉淀了很多年从双流网络到 3D ConvNet再到现在基于 Video Transformer 的架构能挖的经典坑都挖了不少。但最近一个新的变化是大模型开始下沉到视频任务不只是做分类而是做视频问答、时序定位、事件推理这一套。这期速递里有几篇就是把 LLM 当成视频理解系统的“决策大脑”让视觉编码器抽帧特征再让语言模型在时间序列上做推理这个组合在短视频审核、体育赛事分析、长视频检索上都有很强的应用潜力。实操方面如果你要用视频模型做项目建议先搞清楚自己是做离线分析还是实时推理。离线分析无所谓延迟可以用大模型堆精度实时推理就得考虑光流是否真的必要、注意力是在时间维还是空间维上做、多帧输入怎么压缩才能不爆显存。这些决策直接跟你选的 backbone 和推理框架挂钩别到最后调优的时候才后悔当初没考虑实时性。2.4 以自监督为代表的模式识别新范式模式识别这个词早就不只是“特征提取分类器”的古老组合了。现在的主流范式是自监督预训练 下游任务微调这一套在视觉领域已经彻底站稳了脚跟。从 MAE 到 DINOv2从对比学习到掩码重建自监督的方法论迭代很快但核心思想一直没变让模型从大量无标注数据里学到一个好的特征空间然后再用小规模标注数据适配具体任务。这期速递里有个让我很感兴趣的细节越来越多论文开始讨论自监督特征的“可解释性”也就是中间层的特征图到底对应了人类的什么视觉感知。你让模型自己去学它确实能学到有用的特征但你是否知道它学到的是颜色、纹理、轮廓还是语义部件这些问题的答案直接影响你能不能把预训练模型迁移到工业缺陷检测这类样本量很少的场景。如果有时间我强烈建议跑一遍 DINOv2 的 feature map 可视化你会对“特征”这两个字有完全不同的理解。3. 模式识别课题落地的三条主线3.1 大作业怎么从论文变成可运行项目计算机视觉大作业是很多学生第一次直面“从论文到代码”的鸿沟。很多任务书会直接甩给你一篇经典论文让你复现。但复现和看懂是两回事。看懂是顺着作者的思路走一遍复现是把自己放到作者的位置从数据、代码、环境到训练细节每一步都得自己踩一遍。我的建议是不要直接啃原版代码。顶会论文的代码仓库经过多轮迭代结构往往很工业级变量命名随意数据预处理散落各处新手直接上手很容易懵。正确做法是先通读论文把框架模块画出来输入是什么通过了哪些层哪些地方有跳跃连接loss 是怎么算的。然后去 GitHub 搜一个和论文配套的、star 数量合适的第三方复现先把端到端的训练跑通。能跑通之后再对照论文去改结构换成自己的模块。我见过太多人卡在“环境装不上”“显存不够”“跑了一晚上 loss 是 nan”这三个问题上。这些问题本身不难解决难的是你不知道该往哪个方向排查。后面的第四部分我会专门讲排查方法。3.2 工程化要注意的坑从大作业走向真实项目你才会发现校园代码和工程代码之间有一道隐形壁垒。第一个坑是数据管线的鲁棒性。论文里的数据都是整理好的类别均衡、尺寸统一、命名规范。真实数据乱七八糟有的图是黑的有的是旋转的有的标注框超出边界。不做数据清洗模型精度直接掉两三个点。第二个坑是模型训练的可复现性。很多人会发现同一个代码上午跑和下午跑结果不一样。这不是玄学是随机种子、CUDA 的确定性算法、数据加载顺序带来的波动。做实验可以接受波动但交付项目不行。至少要做到固定种子、固定 shuffle 顺序、固定 dropout 的随机状态甚至在关键实验里固定到 cuDNN 的 benchmark 模式。第三个坑是评估标准的偏置。准确率不是万能的。做缺陷检测要看召回率做检索要看 mAP做分割要看 mIoU。你得想清楚业务真正关心的是哪一项指标。很多项目最终效果不行不是模型不行是评估指标选错了。3.3 评估指标的解读方法我见过太多人拿到测试结果后只看最后那个 Acc然后拍脑袋说“效果不错”。真实的评估没那么简单。以一个二分类的工业质检任务为例如果缺陷样本只占 5%你模型把所有样本都判为正常Acc 也能到 95%看起来“效果很好”实际上毫无卵用。正确的做法是先把混淆矩阵打出来看真正例、假正例、真负例、假负例四个格子算 Precision、Recall、F1。然后根据业务需要决定你是要保 Precision 还是保 Recall。质检场景里漏检一件不良品可能带来客诉所以通常优先保 Recall宁可多误杀几个良品也不能放过缺陷。这时候就要调整分类阈值甚至设计一个“疑似品复审”流程。在学术项目里也一样。你对比方法的时候不要只记得报告最好的那组数字要把不同阈值下的 Precision-Recall 曲线画出来看看你的方法是不是在所有阈值区间都占优势。我在实际项目中见过不少论文表面报告的数字很漂亮但你一画 PR 曲线就会发现它在高召回区间的精密度崩得很厉害这类方法放到真实场景中根本不敢用。4. 工具、数据与复现经验4.1 常用框架与模型库更新说完了思路聊聊工具。现在做 CV 实验PyTorch 还是绝对的主流几乎没什么可争论的。哪怕你用 JAX 或者 TensorFlow做起模型并行和移动端部署还是会绕回 PyTorch 生态。围绕 PyTorch 的辅助库这几年也成熟得很夸张HuggingFace 的 transformers 早已不限于 NLP里面集成了大量视觉模型从 ResNet 到 ViT、Swin、DINOv2 都有加载预训练权重基本就是一行代码的事。另一个值得关注的是 OpenMMLab 体系的 mmdetection、mmsegmentation、mmpose。这个体系在做检测、分割、关键点任务时特别省事配置驱动的训练方式很适合批量实验。缺点是你得适应它的配置覆盖机制刚上手会被那套注册器和继承逻辑绕晕但一旦用顺了比手撸训练循环高效得多。如果你要做三维重建方向的实验那就绕不开 gsplat、taichi 这类库了。3D Gaussian Splatting 的工程实现已经从最早的纯 CUDA 内核演进到可微渲染库一体化复现速度肉眼可见地快。但注意别贪心直接在服务器上装最新版 nightly 包很多时候稳定版反而更省心。4.2 数据集选型与使用建议数据集是视觉项目中第一次让你感受到“理想与现实的差距”的地方。论文里常用的 CIFAR、ImageNet、COCO 这些数据集已经做了很好的类别均衡和标注清洗拿来练手很合适。但如果你做的是特定领域项目比如医疗影像、自动驾驶、安防监控公开数据集往往不够得自己标注一份。自己标数据要控制成本。我建议先做一次“小样本试标”从原始数据里随机抽 200 张自己标一遍记录每张平均耗时再评估目标标注总量需要多少人力。这一步能帮你提前发现标注标准模糊、图片质量问题、类别边界不清晰这些坑。千万别一上来就把全部数据外包出去标标完回来你会发现大量标注质量不合格返工成本更高。数据扩充也是一个值得讲的话题。现在的数据增强已经从简单的翻转、裁剪进化到 CutMix、Mixup、RandAugment 这类自动增强方法。但增强不是越多越好尤其是涉及目标检测和分割任务过度增强会破坏空间结构导致模型学到伪影。4.3 复现论文时的步骤拆解复现一篇 CV 论文别急着把代码跑起来。先花半天把论文的 pipeline 梳理清楚图像预处理流程、模型输入尺寸、数据增强策略、学习率与 batch size以及最重要的——loss 的每一项权重是怎么设的。把这些信息做成一张表贴在显眼位置后面调参就按表走别靠感觉。然后搭环境。建议用 conda 单独建一个环境Python 版本按论文代码要求来别用系统全局环境。PyTorch 的版本和 CUDA 版本要匹配这一步出错会被一堆底层编译错误折磨到怀疑人生。装完依赖后先跑一个过拟合小实验用训练集的一个 batch 训练到 loss 降到接近零确认模型结构本身没写错。这一步能节省后面排查的大量时间。接着再上完整训练集按论文设置跑一个 baseline。如果发现指标和论文对不上分两种情况第一差一点点比如差 1 到 2 个点大概率是数据增强、初始化方式或随机种子的问题第二差得离谱比如差 10 个点以上那就要回头检查模型结构或者数据预处理了。复现论文的过程本质上就是这种“预期与实验差异”的反复对齐心态要稳手段要细。5. 常见问题与排查技巧实录5.1 训练不收敛这是所有视觉项目里遇到频率最高的一个问题具体表现就是 loss 不下降或者下降一会儿突然飙升到 nan。排查顺序我建议这样走先看学习率学习率太大是最常见的原因。尤其是用了 ViT 这类结构以后它的训练对学习率非常敏感一个 1e-3 的初始学习率放到 ResNet 上没问题放 ViT 上可能直接爆掉。遇到不收敛先降 lr比如降到原来的十分之一试试。再看 loss 的组成部分。如果是多任务学习比如检测模型里有分类 loss 和回归 loss注意它们之间的量级差异。分类 loss 可能是几回归 loss 可能是几十两者相加后回归 loss 主导了梯度分类分支就学不好。解决办法很简单给两个分支设置合适的权重或者直接用不确定性加权的方式自适应调整。最后检查数据。标签错了、数据增强过度导致样本面目全非、输入图片有 NaN 像素这些都会让训练跑飞。用一组干净数据做 sanity check 是最快的验证方法。5.2 显存不足怎么办显存不足是另一个高频噩梦尤其是在做视频理解、三维重建这类吃显存的任务。很多人第一反应是降低 batch size这不假但有时降下来又会导致 BN 统计量不稳定模型精度跟着掉。我更建议从四个方面入手一是输入分辨率很多项目为了凑论文里的分辨率拼命往 640 甚至 1024 上拉其实你的任务并不需要这么高的细节降到 512 往往能省出一大半显存二是混合精度训练PyTorch 自带的 AMP 在 A100 这类卡上能有接近两倍的显存收益模型精度损失基本可以忽略三是梯度累积用小 batch 多次累积后再更新参数能模拟大 batch 的效果四是模型本身有没有冗余比如 ViT 最后一层的 token 数量是不是可以剪一刀。5.3 数据加载瓶颈训练时显存还够但 GPU 利用率上不去一直在 20% 到 30% 徘徊这就是典型的 CPU 数据加载瓶颈。表现在项目里就是每一个 epoch 开头要等很久或者训练时 GPU 经常“发呆”。解决方法无非这几招把 DataLoader 的 num_workers 调大从默认的 2 调到 8 或者 16开启 persistent_workers 让子进程不反复重建用 pin_memory 把数据放到页锁定内存里减少 CPU 到 GPU 的拷贝时间。在三维重建这些任务里数据加载还不只是图片还包括相机参数和点云IO 压力更大。这种情况下可以考虑预处理缓存把解码完成的图片和参数直接存成内存映射格式训练时直接按索引读取能快很多。5.4 指标虚高的原因最后说一个很隐蔽的问题测试指标很高但真实场景一用就拉胯。我见过不少案例根本原因是数据泄露。比如目标检测任务里训练集和测试集来自同一批视频的关键帧时间上高度相关模型实际上“背”到了很多场景特征测试分数自然好看但换到一段新视频就原形毕露。解决办法是划分数据时要按视频或者场景分而不是按帧随机分。还有一种指标虚高来自评估代码的 bug。最常见的是在做分类任务时测试阶段忘了切到 eval 模式BN 还在用训练时的滑动均值或者 dropout 还在生效推理结果自带随机性。另一个更隐蔽的是在做检测评估时没有按类别过滤把背景类也算进去了。这类 bug 往往不容易被发现因为你看到指标还挺高很难想到评估代码本身有错。所以在我的项目流程里always 保留一个“不管多忙都要做”的动作写一个小小的验证集脚本手动检查 50 张测试图片的预测结果把框画出来人眼过一遍。虽然土但真的能挡住不少“指标好看、实际拉胯”的问题。结语经验之谈我在这一行摸爬滚打这些年最大的体会是计算机视觉这个领域看起来天天有新方向、新模型但底层的判断力从来不是看你会不会调库而是你能不能把一个问题拆清楚——数据够不够、任务准确定义了吗、指标选对了吗、瓶颈在哪一层。学术速递固然要追但追下来之后还是要回到自己的项目里一支一支实验去跑一个坑一个坑去踩才能真正长本事。最后再分享一个小技巧。每次我只跑基线版本的时候都会顺手把整个配置文件、启动命令、commit 号记录到一个 markdown 文件里哪怕再忙也不省这一步。等一周后你发现效果不对想回退时这份记录就是救命稻草。这比任何高级的技巧都实在。
1. 三月的学术界在忙什么1.1 大模型之外CV圈的真实热点又到三月中旬这大概是计算机视觉方向最热闹的一段时间。CVPR 的投稿周期刚过NeurIPS 的摘要提交还没开始大家手里攒着的实验数据刚好到了一个能拿出来晒的阶段arXiv 上每天刷新的论文数量肉眼可见地往上冲。我翻了翻 3 月 18 日前后这一批计算机视觉与模式识别方向的速递看到的信息密度确实比平时高不少尤其是多模态理解、三维重建、视频时序建模这几条线都出现了不少有意思的工作。很多人会问做计算机视觉到底该盯什么说实话追着顶会看是最快的路径。但光看标题没用得看方法、看实验设置、看数据选择甚至看作者在 limitation 里埋了什么伏笔这些才是一个项目能不能复现、能不能迁移到你自己场景里的关键。我从这期速递里抽了几条主线结合我自己做项目、带大作业的经验把值得关注的东西拆开聊一聊。1.2 谁该读这份速递先说清楚这篇文章适合谁。如果你是正在做计算机视觉大作业的学生想从近期论文里提炼一个能落地的小项目或者你是刚入行的算法工程师想找找自己的技术方向再或者你只是被分配了一个“调研最新进展”的任务老板让你出一份速递分析——这些都是我写这篇东西的出发点。我不会给你罗列几十篇论文的标题让你自己猜而是站在一个“什么都得会一点的过来人”角度告诉你哪几篇值得精读、哪个方向容易出成果、哪些技术点其实是在炒冷饭。这样无论你是要应付大作业还是真要上手做项目看完都能有一条清晰的路线。2. 近期值得关注的研究方向速览2.1 多模态理解与语言-视觉对齐先说多模态。2025 年的计算机视觉早就不是一个纯视觉的任务了。CLIP 之后视觉-语言对齐成了几乎所有上层任务的底座从图文检索、视觉问答到开放词汇检测全是建立在“图像特征和文本特征往同一个空间里映射”这个假设之上的。这一期速递里值得留意的一个趋势是很多工作不再单纯追求对齐空间做得多好而是开始关注细粒度对齐和推理能力。什么意思以前 CLIP 能告诉你“这张图里有一只猫和一只狗”但你说不清猫在左边还是右边猫是什么颜色狗和猫谁大。现在的视觉-语言模型开始往“看得更细、说得更准”方向走比如通过区域级的特征对齐、视觉 token 的交叉注意力增强去细分画面里的实体和关系。这种能力对于做自动驾驶场景理解、医疗影像报告生成这类专业任务来说价值比单纯刷 ImageNet 准确率高得多。如果你是做大作业或者入门项目我建议可以试试“图文检索 细粒度描述”这个组合。数据集用 Flickr30k 或者 Visual Genome模型用现成的 CLIP 做底座再在上面加一个轻量的跨模态融合模块。这个项目难点不在模型结构而在负样本构造和损失函数的配比我后面会细说。2.2 三维视觉与重建方向三维视觉在近两年是真的火核心推手是 3D Gaussian Splatting它几乎把传统 NeRF 重建的渲染速度提升了一个量级。你看 3 月 18 日这批速递标题里带 3D、Gaussian、NeRF 的文章数量依旧不少但方向已经从“如何重建得更像”转向“如何重建得更快、更可控、更可分”。几个值得关注的点一个是动态场景重建就是视频输入下同时估计物体运动和三维几何之前要做这事得用复杂的时空调制网络现在有人把 3D Gaussians 和光流场结合在帧间做高斯粒子的位置预测速度和效果都好了不少另一个是可控生成给 3D 高斯泼溅加文本引导让模型能够“按描述修改”一个已有场景里的物体位置或颜色这其实就是把 diffusion 和 3D 表示耦合在一起。这个方向做好了后期编辑、虚拟制片、游戏资产生产都是直接受益方。三维方向的坑也很明确数据获取成本高。别以为随便找个手机拍一段视频就能重建出完美模型真实场景的光照、反射、遮挡都会让优化崩掉。如果你只是想做课程项目别一上来就挑战整条街拍一个桌面静物或者一个室内角落反而更容易出效果。2.3 视频理解与时空建模视频理解这个方向说实话已经沉淀了很多年从双流网络到 3D ConvNet再到现在基于 Video Transformer 的架构能挖的经典坑都挖了不少。但最近一个新的变化是大模型开始下沉到视频任务不只是做分类而是做视频问答、时序定位、事件推理这一套。这期速递里有几篇就是把 LLM 当成视频理解系统的“决策大脑”让视觉编码器抽帧特征再让语言模型在时间序列上做推理这个组合在短视频审核、体育赛事分析、长视频检索上都有很强的应用潜力。实操方面如果你要用视频模型做项目建议先搞清楚自己是做离线分析还是实时推理。离线分析无所谓延迟可以用大模型堆精度实时推理就得考虑光流是否真的必要、注意力是在时间维还是空间维上做、多帧输入怎么压缩才能不爆显存。这些决策直接跟你选的 backbone 和推理框架挂钩别到最后调优的时候才后悔当初没考虑实时性。2.4 以自监督为代表的模式识别新范式模式识别这个词早就不只是“特征提取分类器”的古老组合了。现在的主流范式是自监督预训练 下游任务微调这一套在视觉领域已经彻底站稳了脚跟。从 MAE 到 DINOv2从对比学习到掩码重建自监督的方法论迭代很快但核心思想一直没变让模型从大量无标注数据里学到一个好的特征空间然后再用小规模标注数据适配具体任务。这期速递里有个让我很感兴趣的细节越来越多论文开始讨论自监督特征的“可解释性”也就是中间层的特征图到底对应了人类的什么视觉感知。你让模型自己去学它确实能学到有用的特征但你是否知道它学到的是颜色、纹理、轮廓还是语义部件这些问题的答案直接影响你能不能把预训练模型迁移到工业缺陷检测这类样本量很少的场景。如果有时间我强烈建议跑一遍 DINOv2 的 feature map 可视化你会对“特征”这两个字有完全不同的理解。3. 模式识别课题落地的三条主线3.1 大作业怎么从论文变成可运行项目计算机视觉大作业是很多学生第一次直面“从论文到代码”的鸿沟。很多任务书会直接甩给你一篇经典论文让你复现。但复现和看懂是两回事。看懂是顺着作者的思路走一遍复现是把自己放到作者的位置从数据、代码、环境到训练细节每一步都得自己踩一遍。我的建议是不要直接啃原版代码。顶会论文的代码仓库经过多轮迭代结构往往很工业级变量命名随意数据预处理散落各处新手直接上手很容易懵。正确做法是先通读论文把框架模块画出来输入是什么通过了哪些层哪些地方有跳跃连接loss 是怎么算的。然后去 GitHub 搜一个和论文配套的、star 数量合适的第三方复现先把端到端的训练跑通。能跑通之后再对照论文去改结构换成自己的模块。我见过太多人卡在“环境装不上”“显存不够”“跑了一晚上 loss 是 nan”这三个问题上。这些问题本身不难解决难的是你不知道该往哪个方向排查。后面的第四部分我会专门讲排查方法。3.2 工程化要注意的坑从大作业走向真实项目你才会发现校园代码和工程代码之间有一道隐形壁垒。第一个坑是数据管线的鲁棒性。论文里的数据都是整理好的类别均衡、尺寸统一、命名规范。真实数据乱七八糟有的图是黑的有的是旋转的有的标注框超出边界。不做数据清洗模型精度直接掉两三个点。第二个坑是模型训练的可复现性。很多人会发现同一个代码上午跑和下午跑结果不一样。这不是玄学是随机种子、CUDA 的确定性算法、数据加载顺序带来的波动。做实验可以接受波动但交付项目不行。至少要做到固定种子、固定 shuffle 顺序、固定 dropout 的随机状态甚至在关键实验里固定到 cuDNN 的 benchmark 模式。第三个坑是评估标准的偏置。准确率不是万能的。做缺陷检测要看召回率做检索要看 mAP做分割要看 mIoU。你得想清楚业务真正关心的是哪一项指标。很多项目最终效果不行不是模型不行是评估指标选错了。3.3 评估指标的解读方法我见过太多人拿到测试结果后只看最后那个 Acc然后拍脑袋说“效果不错”。真实的评估没那么简单。以一个二分类的工业质检任务为例如果缺陷样本只占 5%你模型把所有样本都判为正常Acc 也能到 95%看起来“效果很好”实际上毫无卵用。正确的做法是先把混淆矩阵打出来看真正例、假正例、真负例、假负例四个格子算 Precision、Recall、F1。然后根据业务需要决定你是要保 Precision 还是保 Recall。质检场景里漏检一件不良品可能带来客诉所以通常优先保 Recall宁可多误杀几个良品也不能放过缺陷。这时候就要调整分类阈值甚至设计一个“疑似品复审”流程。在学术项目里也一样。你对比方法的时候不要只记得报告最好的那组数字要把不同阈值下的 Precision-Recall 曲线画出来看看你的方法是不是在所有阈值区间都占优势。我在实际项目中见过不少论文表面报告的数字很漂亮但你一画 PR 曲线就会发现它在高召回区间的精密度崩得很厉害这类方法放到真实场景中根本不敢用。4. 工具、数据与复现经验4.1 常用框架与模型库更新说完了思路聊聊工具。现在做 CV 实验PyTorch 还是绝对的主流几乎没什么可争论的。哪怕你用 JAX 或者 TensorFlow做起模型并行和移动端部署还是会绕回 PyTorch 生态。围绕 PyTorch 的辅助库这几年也成熟得很夸张HuggingFace 的 transformers 早已不限于 NLP里面集成了大量视觉模型从 ResNet 到 ViT、Swin、DINOv2 都有加载预训练权重基本就是一行代码的事。另一个值得关注的是 OpenMMLab 体系的 mmdetection、mmsegmentation、mmpose。这个体系在做检测、分割、关键点任务时特别省事配置驱动的训练方式很适合批量实验。缺点是你得适应它的配置覆盖机制刚上手会被那套注册器和继承逻辑绕晕但一旦用顺了比手撸训练循环高效得多。如果你要做三维重建方向的实验那就绕不开 gsplat、taichi 这类库了。3D Gaussian Splatting 的工程实现已经从最早的纯 CUDA 内核演进到可微渲染库一体化复现速度肉眼可见地快。但注意别贪心直接在服务器上装最新版 nightly 包很多时候稳定版反而更省心。4.2 数据集选型与使用建议数据集是视觉项目中第一次让你感受到“理想与现实的差距”的地方。论文里常用的 CIFAR、ImageNet、COCO 这些数据集已经做了很好的类别均衡和标注清洗拿来练手很合适。但如果你做的是特定领域项目比如医疗影像、自动驾驶、安防监控公开数据集往往不够得自己标注一份。自己标数据要控制成本。我建议先做一次“小样本试标”从原始数据里随机抽 200 张自己标一遍记录每张平均耗时再评估目标标注总量需要多少人力。这一步能帮你提前发现标注标准模糊、图片质量问题、类别边界不清晰这些坑。千万别一上来就把全部数据外包出去标标完回来你会发现大量标注质量不合格返工成本更高。数据扩充也是一个值得讲的话题。现在的数据增强已经从简单的翻转、裁剪进化到 CutMix、Mixup、RandAugment 这类自动增强方法。但增强不是越多越好尤其是涉及目标检测和分割任务过度增强会破坏空间结构导致模型学到伪影。4.3 复现论文时的步骤拆解复现一篇 CV 论文别急着把代码跑起来。先花半天把论文的 pipeline 梳理清楚图像预处理流程、模型输入尺寸、数据增强策略、学习率与 batch size以及最重要的——loss 的每一项权重是怎么设的。把这些信息做成一张表贴在显眼位置后面调参就按表走别靠感觉。然后搭环境。建议用 conda 单独建一个环境Python 版本按论文代码要求来别用系统全局环境。PyTorch 的版本和 CUDA 版本要匹配这一步出错会被一堆底层编译错误折磨到怀疑人生。装完依赖后先跑一个过拟合小实验用训练集的一个 batch 训练到 loss 降到接近零确认模型结构本身没写错。这一步能节省后面排查的大量时间。接着再上完整训练集按论文设置跑一个 baseline。如果发现指标和论文对不上分两种情况第一差一点点比如差 1 到 2 个点大概率是数据增强、初始化方式或随机种子的问题第二差得离谱比如差 10 个点以上那就要回头检查模型结构或者数据预处理了。复现论文的过程本质上就是这种“预期与实验差异”的反复对齐心态要稳手段要细。5. 常见问题与排查技巧实录5.1 训练不收敛这是所有视觉项目里遇到频率最高的一个问题具体表现就是 loss 不下降或者下降一会儿突然飙升到 nan。排查顺序我建议这样走先看学习率学习率太大是最常见的原因。尤其是用了 ViT 这类结构以后它的训练对学习率非常敏感一个 1e-3 的初始学习率放到 ResNet 上没问题放 ViT 上可能直接爆掉。遇到不收敛先降 lr比如降到原来的十分之一试试。再看 loss 的组成部分。如果是多任务学习比如检测模型里有分类 loss 和回归 loss注意它们之间的量级差异。分类 loss 可能是几回归 loss 可能是几十两者相加后回归 loss 主导了梯度分类分支就学不好。解决办法很简单给两个分支设置合适的权重或者直接用不确定性加权的方式自适应调整。最后检查数据。标签错了、数据增强过度导致样本面目全非、输入图片有 NaN 像素这些都会让训练跑飞。用一组干净数据做 sanity check 是最快的验证方法。5.2 显存不足怎么办显存不足是另一个高频噩梦尤其是在做视频理解、三维重建这类吃显存的任务。很多人第一反应是降低 batch size这不假但有时降下来又会导致 BN 统计量不稳定模型精度跟着掉。我更建议从四个方面入手一是输入分辨率很多项目为了凑论文里的分辨率拼命往 640 甚至 1024 上拉其实你的任务并不需要这么高的细节降到 512 往往能省出一大半显存二是混合精度训练PyTorch 自带的 AMP 在 A100 这类卡上能有接近两倍的显存收益模型精度损失基本可以忽略三是梯度累积用小 batch 多次累积后再更新参数能模拟大 batch 的效果四是模型本身有没有冗余比如 ViT 最后一层的 token 数量是不是可以剪一刀。5.3 数据加载瓶颈训练时显存还够但 GPU 利用率上不去一直在 20% 到 30% 徘徊这就是典型的 CPU 数据加载瓶颈。表现在项目里就是每一个 epoch 开头要等很久或者训练时 GPU 经常“发呆”。解决方法无非这几招把 DataLoader 的 num_workers 调大从默认的 2 调到 8 或者 16开启 persistent_workers 让子进程不反复重建用 pin_memory 把数据放到页锁定内存里减少 CPU 到 GPU 的拷贝时间。在三维重建这些任务里数据加载还不只是图片还包括相机参数和点云IO 压力更大。这种情况下可以考虑预处理缓存把解码完成的图片和参数直接存成内存映射格式训练时直接按索引读取能快很多。5.4 指标虚高的原因最后说一个很隐蔽的问题测试指标很高但真实场景一用就拉胯。我见过不少案例根本原因是数据泄露。比如目标检测任务里训练集和测试集来自同一批视频的关键帧时间上高度相关模型实际上“背”到了很多场景特征测试分数自然好看但换到一段新视频就原形毕露。解决办法是划分数据时要按视频或者场景分而不是按帧随机分。还有一种指标虚高来自评估代码的 bug。最常见的是在做分类任务时测试阶段忘了切到 eval 模式BN 还在用训练时的滑动均值或者 dropout 还在生效推理结果自带随机性。另一个更隐蔽的是在做检测评估时没有按类别过滤把背景类也算进去了。这类 bug 往往不容易被发现因为你看到指标还挺高很难想到评估代码本身有错。所以在我的项目流程里always 保留一个“不管多忙都要做”的动作写一个小小的验证集脚本手动检查 50 张测试图片的预测结果把框画出来人眼过一遍。虽然土但真的能挡住不少“指标好看、实际拉胯”的问题。结语经验之谈我在这一行摸爬滚打这些年最大的体会是计算机视觉这个领域看起来天天有新方向、新模型但底层的判断力从来不是看你会不会调库而是你能不能把一个问题拆清楚——数据够不够、任务准确定义了吗、指标选对了吗、瓶颈在哪一层。学术速递固然要追但追下来之后还是要回到自己的项目里一支一支实验去跑一个坑一个坑去踩才能真正长本事。最后再分享一个小技巧。每次我只跑基线版本的时候都会顺手把整个配置文件、启动命令、commit 号记录到一个 markdown 文件里哪怕再忙也不省这一步。等一周后你发现效果不对想回退时这份记录就是救命稻草。这比任何高级的技巧都实在。
