物体检测Object Detection这个话题只要是做过视觉相关项目的人大概率都绕不开。它不像图像分类那样只回答“图里是什么”而是要求算法把“什么东西在哪”一并回答清楚——既要找到目标物体还得用矩形框把位置框出来。这个概念听起来简单做起来却非常折磨人。R-CNN正是这波深度学习物体检测浪潮的开山之作理解它基本就理解了整个现代检测体系的骨架。这篇内容会把R-CNN从头到尾拆开讲清楚它为什么能打败传统滑动窗口方案区域提议、CNN特征、SVM分类、边框回归这四个模块各自解决什么问题以及在真实训练时你会碰到哪些坑。既有原理推导也有实操层面的提醒适合刚接触检测方向的学生也适合想回炉补基础知识的开发者。1. 物体检测到底在解决什么问题1.1 从分类到检测任务边界在哪里图像分类是所有视觉任务的地基你给一张图模型输出一个类别标签。整个模型只需要回答一个全局性的问题——这张图里最重要的物体是什么。检测的难度直接上了一个台阶。输入不变但输出变成一组结构化的对象每个对象由两个信息组成一个矩形边界框通常表示为(x1, y1, x2, y2)代表目标在图像坐标系中的位置。一个类别标签代表这个框里到底是个什么东西。一张图里可能同时出现多辆车、多个人、多只猫每个目标都得给出位置这就是“多目标定位 分类”的组合问题。检测任务真正困难的地方在于那个“框”。框多了一个维度随之而来的问题是怎么度量框得准不准单纯看分类正确率没什么意义你还要关心框与实际物体的重合程度。这个度量指标叫IoUIntersection over Union也就是预测框和真实框的交集面积除以并集面积。IoU等于0.7以上通常被认为是“检测到了”低于0.5基本就算偏框了。实际的检测场景远比“识别猫狗”复杂得多。自动驾驶里要同时检测行人、车辆、交通标志物体之间的尺度差异可能相差几十倍视频监控里目标往往互相遮挡边缘模糊工业生产线上缺陷可能只有几十个像素大小。这些场景共同决定了检测模型必须在“定位精度”和“识别精度”上同时下功夫缺一个都不行。1.2 传统检测方案为什么走不通深度学习方法出现之前做检测的主流方案是滑动窗口加手工特征。思路非常直接既然不知道目标在哪那我就用不同大小的窗口在整张图上从左到右、从上到下地扫一遍每个窗口用小分类器去判断里面有没有目标。问题出在两个地方。第一个是计算量爆炸。一张800x600的图如果你用10种尺度的窗口、每个尺度按8个像素的步长滑动会产生几十万个候选位置。每个位置都跑一遍分类器算力直接吃不消。更别说某些物体有旋转变化你还要考虑角度维度。第二个是特征表达能力不够。当时常用的HOG、Haar、SIFT特征都是基于梯度方向直方图或纹理模式来设计的。这些特征对固定姿态、简单背景的物体还凑合一旦遇到复杂背景、光照变化、形变剧烈的目标就非常脆弱。你的特征根本没抓住物体的“本质”光靠换分类器也很难救得回来。我在早期做过一些基于HOG的人体检测小实验自己心里很清楚所谓检测其实就是在做“模板匹配的加强版”。它能应对的场景太有限了背景稍微复杂一点虚警率就高得离谱。回过头来看检测真正的问题不是分类器不够好而是缺少一个能自动学习特征表达的方案。这个需求恰好是CNN能填补的。2. R-CNN的核心思路把检测拆成“定位 识别”两大步R-CNN的全称是Region-based Convolutional Neural Networks基于区域的卷积神经网络。它的核心方法论是不要再用穷举式的滑动窗口找物体而是先用一种叫“区域提议”的方法快速挑出大概率的候选区域然后用CNN对这些区域做特征提取和分类。整个流程可以拆成三个模块区域提议负责“找候选框”CNN负责“提特征”SVM和回归器负责“定类别、精修位置”。下面逐个拆开讲。2.1 区域提议先用“眼睛”扫一遍可能的物体位置R-CNN用的是选择性搜索Selective Search来做区域提议。它的出发点和滑动窗口完全不同滑动窗口是在“位置空间”里穷举选择性搜索是在“区域空间”里合并。选择性搜索先把图像过一遍过分割算法生成很多小区域然后根据颜色、纹理、形状大小、空间相邻关系这些线索不断把相似的小区域合并成更大的区域。合并的过程中会保留不同尺度下的候选框最终输出大约2000个候选区域。之所以选选择性搜索而不是其他办法主要有两方面的考虑。其一有效性2000个候选框能覆盖绝大多数真实物体所在的位置虽然里面包含大量不准确或者冗余的框但整体的召回率足够高。其二效率比起滑动窗口成千上万的候选位置2000的数量级已经小了一个量级。但这2000个框本身有个非常大的特点它们不是精确的。比如一辆车候选框可能把轮子切掉一半也可能把旁边的树也包进来。这个不确定性决定了后续的任务不能仅仅做“分类”还必须有边框修正这一步。整个R-CNN体系里的“检测误差补偿”逻辑从这儿就开始体现了。2.2 特征提取为什么一定用CNN而不是手工特征选择性搜索输出的是图像区域但你没法直接拿一个图像块去训练分类器。分类器需要一个固定长度的特征向量而原始的像素数据维度太高且包含大量噪声。R-CNN的答案是先把每个候选区域缩放到统一尺寸例如227x227然后输入CNN提取出一层全连接层的特征向量。CNN在前面提到的传统方案里胜出的关键在于它学到的特征是“任务驱动”的。底层的卷积核负责抓边缘、颜色块和简单纹理高层卷积核逐步组合成更抽象的部位级语义特征。这些特征是在大规模数据集上预训练过的并且会针对你的检测目标进一步微调。反观HOG和SIFT特征模式是人为设计的表达能力天花板非常明显。实际实现的时候R-CNN用的是在ImageNet上预训练好的模型然后把这个模型当作一个通用的特征提取器。对每个候选区域来说一次前向传播就得到一组特征向量。后期训练SVM时其实用的就是这些特征向量。这样相当于把“从原始像素到高层语义特征”的那一段变换完全交给了CNN自动完成传统方案里最吃力的特征工程环节被直接抹掉了。2.3 分类与边框修正把“找到了”变成“框准了”拿到CNN特征之后R-CNN为每个类别训练一个二分类SVM判断当前候选区域属于正样本还是负样本。所谓的正样本就是那些和真实物体框重叠度够高的候选框。但这里有个关键要点SVM只回答“有没有某类物体”它不负责修正位置。因为选择性搜索给的框往往不够准直接把这个框当作最终输出检测精度是远远不够的。所以R-CNN还有第二个回归模块专门做边框修正Bounding Box Regression。边框回归的思路很直观。对每一个候选框我们记录它当前的位置参数(x, y, w, h)同时知道它对应的真实框参数(Gx, Gy, Gw, Gh)。回归器的目标就是学习一个从候选框参数到真实框参数的微小修正量(dx, dy, dw, dh)。在实际训练时这个回归器不会对所有样本都学习只对那些IoU在0.5到0.6之间的候选框做修正。原因也很简单IoU太低的本来就不是目标不适合学习IoU太高的本身已经够准修正收益太小且容易过拟合。让回归器专注于那些“差一点就对了”的框修正效果最好。一个候选框经过SVM辨别类别、再经回归器微调位置R-CNN的一次完整检测过程才算结束。最后再用一个非极大值抑制NMS把彼此重叠过高的框压缩掉留下最能代表目标的框。3. 一步步跑通一个R-CNN流程前面讲了原理接下来进入实操层面。这里我会把整个过程拆成三大段准备工作、模型微调、分类器和回归器训练。如果你准备复现一个简化版本的R-CNN下面的流程可以直接作为参考。3.1 预训练和区域提议的准备工作第一步选一个预训练CNN。R-CNN最常用的基底是AlexNet在ImageNet上预训练好的权重可以直接从很多模型库里下载。你不需要从零开始训练CNN因为检测数据集通常比分类数据集小得多从零训会严重过拟合。第二步用选择性搜索把所有训练图像跑一遍得到每张图的候选框。这个过程比较耗时所以建议先把结果保存成中间文件。格式上我会用一个字典结构图像ID对应一组候选框坐标。后续训练的时候程序直接读文件不用每次重新跑选择性搜索。一个容易忽略的点候选框数据要按训练集和测试集分开生成。如果你用测试集的候选框参与训练哪怕只是隐式地影响了某些统计参数都会造成数据泄露最终评估结果虚高。3.2 模型微调的细节预训练CNN之前学的是ImageNet的1000类分类任务现在要让它适应你的检测任务所以要做一次微调fine-tuning。微调的关键点是正负样本的定义。对于每个候选框你会计算它和真实目标的IoU。当时论文里的约定是IoU大于0.5的候选框作为正样本剩下那些IoU介于0.1到0.5之间的作为负样本。为什么不是所有低于0.5的都算负样本因为IoU太低比如0.0的候选框可能包含的物体类别更多样化直接当负样本学不到“难负样本”的判别边界分类器训练会很飘。微调时的另一个细节是训练批次大小。小批量不要太大我用过32这种规模效果比128更稳。原因也好理解一张图里前景候选框就那么多大batch会让训练集频繁重复采样反而加剧过拟合。学习率建议比正常分类任务调低一个量级预训练模型已经在较好位置步子别迈太大。微调完成后CNN就不再是原始的分类模型了它变成了一套针对当前领域的特征提取器。后续SVM用的特征就是从这个微调版CNN里取出来的。3.3 分类器的训练、回归器的训练这部分最容易乱必须理清楚顺序。先用微调后的CNN把训练集所有候选框的特征向量提取出来保存到磁盘。注意特征提取的前向计算量很大千万记得分批处理并且每批之间间隔地释放显存缓存。然后对每个目标类别单独训练一个二分类SVM。也就是说如果有20个类别就有20个SVM模型。每个SVM的正样本是IoU大于0.5的候选框负样本是IoU小于0.3的候选框。这里有个对比微调CNN用的是0.1到0.5之间的负样本而SVM用了更严格的小于0.3阈值。为什么不一样因为SVM训练对样本比例更敏感。如果负样本太容易SVM学出来的分界面就会偏向简单负样本。你会遇到一个经典问题训练集准确率看着还行一到测试集就大量误检。解决办法是难例挖掘hard negative mining先用初始负样本训练SVM然后把那些被SVM错误判为正样本的难分负样本再丢进去二次训练。反复迭代两三轮分类器会稳健很多。最后是边框回归器。对每个类别同样单独训练一个线性回归模型输入特征照旧是CNN提取的候选框特征输出是候选框到真实框的四个修正参数。这里务必注意回归器只使用那些IoU大于0.5且确实是正样本的候选框来训练。所有负样本自动过滤掉。我自己的经验是把SVM和回归器分开保存模型文件同时把对应的特征文件和正负样本索引一起保存。这样调试的时候非常方便不用每次重新跑CNN前向。4. 我在实际跑R-CNN时踩过的坑4.1 训练慢到怀疑人生第一次跑完整流程的人十有八九会被R-CNN的训练速度震惊。一张图2000个候选框每个候选框都要单独过一遍CNN一张训练图就相当于做了2000次分类前向。一个训练集哪怕只有5000张图都是千万级别的候选框前向计算。我的建议是别硬刚全量数据。先在500到1000张图的小子集上跑通全流程确认每个环节无误后再扩数据。特征提取的阶段可以在GPU上做但写代码的时候要提前规划好batch处理不要在Python循环里逐张处理候选框那个性能开销是灾难级的。如果没有GPU资源建议直接把h5py或lmdb作为特征存储格式。提前把特征向量落盘之后SVM和回归器就只吃内存数据几百MB的量级CPU就能扛得住。4.2 多个阶段之间的数据泄露R-CNN整个流程最脏的地方在于它不是一个端到端的模型而是多个模块串起来。模块越多数据一致性就越容易出问题。我踩过的坑基本都集中在“候选框的坐标偏移”上。比如提取候选框的时候你可能为了统一尺寸做了裁剪缩放后续微调CNN时又做了一次不同的缩放。两边的坐标如果没严格对齐你在SVM阶段用的特征实际是对应“错误位置”的候选框算出来的模型还没开始学数据就已经歪了。另一个非常隐蔽的问题是标签对不齐。某些候选框在生成时被当作“背景”但它在另一张图的副本里被当成了“前景”。只要你的候选框索引是动态生成而不是固定落盘的这种混乱就非常容易出现。早期的复现项目里这种bug能让人排查整整一个周末。所以我在实际操作中强烈建议每个候选框用一个全局唯一ID所有阶段的中间结果都绑定这个ID。比如候选框ID是image_id 候选框索引特征文件、SVM样本文件、回归器样本文件里都能靠这个ID对齐。不要让任何阶段重新“猜”候选框更不要重新生成一遍。4.3 阈值选择和IoU问题R-CNN里充满了阈值参数一不小心就会踩雷。最典型的就是微调和SVM的正负样本IoU阈值不一致的问题。前面我提到微调用0.5以上为正、0.1到0.5为负SVM训练用0.5以上为正、0.3以下为负。如果你两手一摊图省事把两个阈值都设成0.5结果就是SVM的正负样本几乎是“硬切”的分界线附近的样本大量丢失SVM对难样本的判别能力明显下降。还有NMS的阈值。NMS的作用是把重叠度高的框合并它的阈值太大很多误检框会残留在结果里阈值太小重叠的正样本被误杀检测器召回率直接下降。R-CNN默认的NMS阈值一般是0.3到0.5之间具体数值建议用验证集上跑小网格搜索。别看这只是最后一步它对最终mAP的影响可能比前面调几个episode还大。有次我在调试的时候所有模块看起来都正常mAP却比参考数值低了很多。挨个检查才发现是NMS阈值设成了0.7导致每张图输出几百个框mAP直接被拉垮。这类问题不太会在初版代码里暴露因为代码逻辑没错纯粹是超参选择问题特别容易忽略。5. R-CNN之后为何要走向Fast R-CNN和Faster R-CNN5.1 R-CNN的瓶颈R-CNN虽然开创性地解决了检测问题但它的缺点也非常明显带领后续研究者走向了很多优化方向。最大的瓶颈是重复计算。2000个候选框往往彼此高度重叠同一个物体可能被框出十几次而每个候选框都需要单独通过CNN前向提取特征。一个图像区域被重复计算了几十遍计算冗余严重。同样一张图分类任务只需一次前向R-CNN至少需要2000次这个差距很直观。第二个瓶颈是多阶段训练。选择搜索生成区域CNN微调SVM训练回归器训练每个阶段独立。阶段之间的误差会逐步累积而且你很难端到端地联合优化。工程上的维护成本也不低模型组件多了部署上线时很容易出差错。第三个瓶颈是存储开销。所有候选框的特征都要存到磁盘上训练集大的时候这些特征文件动辄几百G级别的占用空间管理起来很麻烦。5.2 后续演进思路后来的SPPNet和Fast R-CNN给了一个非常漂亮的优化让CNN只对整张图做一次前向然后通过“兴趣区域池化”RoI Pooling操作从整图的卷积特征图里直接抠出每个候选区域对应的特征。这样一来无论候选框怎么重叠整张图只需要过一次CNN计算量从2000次降到了1次。Fast R-CNN还顺手把SVM替换成了多任务全连接层模型同时输出分类分数和边框回归偏移量整个检测过程终于能用一个模型端到端地训练了。再往后Faster R-CNN干脆把选择性搜索也换掉了用一个小型卷积网络RPNRegion Proposal Network在特征图上直接生成候选框。这下连候选区域生成都变成了可学习模块检测网络的推理速度和效果都上了一个大台阶。R-CNN的思想脉络值得好好梳理先用提议机制逼近候选位置再借CNN提特征最后用回归精修框。后来的方法再怎么演变底层设计也还是这几块的排列组合。理解了R-CNN你再去看如今各种二阶段检测器就会发现它们其实都是同一个套路的不同升级版。6. 动手之前必须想清楚的事前面把R-CNN的原理和实现细节基本过了一遍。最后聊点更实际的个人心得。R-CNN是一个非常有教学价值的模型但它不是那种我今天建完明天能直接上线的模型。我见过太多同学一上来就想跑完整R-CNN流程结果卡在特征提取阶段好几天最后心态爆炸。如果你只是想快速在业务里用上检测能力直接调现成的检测框架会省力得多。但如果你想真正吃透检测这个方向R-CNN是绕不开的教科书。我的建议是分三步走。第一步先拿公开的小数据集把R-CNN整个流程手动实现一遍重点关注各阶段数据如何流转、坐标如何对齐。第二步用现成目标检测框架跑通训练和推理把mAP、NMS、IoU这些概念彻底摸熟。第三步再回头来看Faster R-CNN的RPN是如何取代选择性搜索的完成从“手工模块”到“端到端”的认知跃迁。另外有个小技巧想分享调检测模型的时候先把模型输出了解清楚——每一个框的坐标含义、置信度含义、NMS之后的输出格式全都打印出来认真看一遍。很多问题不是模型学得不好而是后处理环节的坐标和置信度理解错了。这行做得越久越觉得检测模型本质上是“定位和识别的协同游戏”R-CNN把这两个问题拆出来做了一次教科书级别的示范。你掌握的不只是几个API的用法而是一套看待检测问题的思维方式。这条路走扎实了后面再看任何新出的检测模型心里都会非常有底。
物体检测Object Detection这个话题只要是做过视觉相关项目的人大概率都绕不开。它不像图像分类那样只回答“图里是什么”而是要求算法把“什么东西在哪”一并回答清楚——既要找到目标物体还得用矩形框把位置框出来。这个概念听起来简单做起来却非常折磨人。R-CNN正是这波深度学习物体检测浪潮的开山之作理解它基本就理解了整个现代检测体系的骨架。这篇内容会把R-CNN从头到尾拆开讲清楚它为什么能打败传统滑动窗口方案区域提议、CNN特征、SVM分类、边框回归这四个模块各自解决什么问题以及在真实训练时你会碰到哪些坑。既有原理推导也有实操层面的提醒适合刚接触检测方向的学生也适合想回炉补基础知识的开发者。1. 物体检测到底在解决什么问题1.1 从分类到检测任务边界在哪里图像分类是所有视觉任务的地基你给一张图模型输出一个类别标签。整个模型只需要回答一个全局性的问题——这张图里最重要的物体是什么。检测的难度直接上了一个台阶。输入不变但输出变成一组结构化的对象每个对象由两个信息组成一个矩形边界框通常表示为(x1, y1, x2, y2)代表目标在图像坐标系中的位置。一个类别标签代表这个框里到底是个什么东西。一张图里可能同时出现多辆车、多个人、多只猫每个目标都得给出位置这就是“多目标定位 分类”的组合问题。检测任务真正困难的地方在于那个“框”。框多了一个维度随之而来的问题是怎么度量框得准不准单纯看分类正确率没什么意义你还要关心框与实际物体的重合程度。这个度量指标叫IoUIntersection over Union也就是预测框和真实框的交集面积除以并集面积。IoU等于0.7以上通常被认为是“检测到了”低于0.5基本就算偏框了。实际的检测场景远比“识别猫狗”复杂得多。自动驾驶里要同时检测行人、车辆、交通标志物体之间的尺度差异可能相差几十倍视频监控里目标往往互相遮挡边缘模糊工业生产线上缺陷可能只有几十个像素大小。这些场景共同决定了检测模型必须在“定位精度”和“识别精度”上同时下功夫缺一个都不行。1.2 传统检测方案为什么走不通深度学习方法出现之前做检测的主流方案是滑动窗口加手工特征。思路非常直接既然不知道目标在哪那我就用不同大小的窗口在整张图上从左到右、从上到下地扫一遍每个窗口用小分类器去判断里面有没有目标。问题出在两个地方。第一个是计算量爆炸。一张800x600的图如果你用10种尺度的窗口、每个尺度按8个像素的步长滑动会产生几十万个候选位置。每个位置都跑一遍分类器算力直接吃不消。更别说某些物体有旋转变化你还要考虑角度维度。第二个是特征表达能力不够。当时常用的HOG、Haar、SIFT特征都是基于梯度方向直方图或纹理模式来设计的。这些特征对固定姿态、简单背景的物体还凑合一旦遇到复杂背景、光照变化、形变剧烈的目标就非常脆弱。你的特征根本没抓住物体的“本质”光靠换分类器也很难救得回来。我在早期做过一些基于HOG的人体检测小实验自己心里很清楚所谓检测其实就是在做“模板匹配的加强版”。它能应对的场景太有限了背景稍微复杂一点虚警率就高得离谱。回过头来看检测真正的问题不是分类器不够好而是缺少一个能自动学习特征表达的方案。这个需求恰好是CNN能填补的。2. R-CNN的核心思路把检测拆成“定位 识别”两大步R-CNN的全称是Region-based Convolutional Neural Networks基于区域的卷积神经网络。它的核心方法论是不要再用穷举式的滑动窗口找物体而是先用一种叫“区域提议”的方法快速挑出大概率的候选区域然后用CNN对这些区域做特征提取和分类。整个流程可以拆成三个模块区域提议负责“找候选框”CNN负责“提特征”SVM和回归器负责“定类别、精修位置”。下面逐个拆开讲。2.1 区域提议先用“眼睛”扫一遍可能的物体位置R-CNN用的是选择性搜索Selective Search来做区域提议。它的出发点和滑动窗口完全不同滑动窗口是在“位置空间”里穷举选择性搜索是在“区域空间”里合并。选择性搜索先把图像过一遍过分割算法生成很多小区域然后根据颜色、纹理、形状大小、空间相邻关系这些线索不断把相似的小区域合并成更大的区域。合并的过程中会保留不同尺度下的候选框最终输出大约2000个候选区域。之所以选选择性搜索而不是其他办法主要有两方面的考虑。其一有效性2000个候选框能覆盖绝大多数真实物体所在的位置虽然里面包含大量不准确或者冗余的框但整体的召回率足够高。其二效率比起滑动窗口成千上万的候选位置2000的数量级已经小了一个量级。但这2000个框本身有个非常大的特点它们不是精确的。比如一辆车候选框可能把轮子切掉一半也可能把旁边的树也包进来。这个不确定性决定了后续的任务不能仅仅做“分类”还必须有边框修正这一步。整个R-CNN体系里的“检测误差补偿”逻辑从这儿就开始体现了。2.2 特征提取为什么一定用CNN而不是手工特征选择性搜索输出的是图像区域但你没法直接拿一个图像块去训练分类器。分类器需要一个固定长度的特征向量而原始的像素数据维度太高且包含大量噪声。R-CNN的答案是先把每个候选区域缩放到统一尺寸例如227x227然后输入CNN提取出一层全连接层的特征向量。CNN在前面提到的传统方案里胜出的关键在于它学到的特征是“任务驱动”的。底层的卷积核负责抓边缘、颜色块和简单纹理高层卷积核逐步组合成更抽象的部位级语义特征。这些特征是在大规模数据集上预训练过的并且会针对你的检测目标进一步微调。反观HOG和SIFT特征模式是人为设计的表达能力天花板非常明显。实际实现的时候R-CNN用的是在ImageNet上预训练好的模型然后把这个模型当作一个通用的特征提取器。对每个候选区域来说一次前向传播就得到一组特征向量。后期训练SVM时其实用的就是这些特征向量。这样相当于把“从原始像素到高层语义特征”的那一段变换完全交给了CNN自动完成传统方案里最吃力的特征工程环节被直接抹掉了。2.3 分类与边框修正把“找到了”变成“框准了”拿到CNN特征之后R-CNN为每个类别训练一个二分类SVM判断当前候选区域属于正样本还是负样本。所谓的正样本就是那些和真实物体框重叠度够高的候选框。但这里有个关键要点SVM只回答“有没有某类物体”它不负责修正位置。因为选择性搜索给的框往往不够准直接把这个框当作最终输出检测精度是远远不够的。所以R-CNN还有第二个回归模块专门做边框修正Bounding Box Regression。边框回归的思路很直观。对每一个候选框我们记录它当前的位置参数(x, y, w, h)同时知道它对应的真实框参数(Gx, Gy, Gw, Gh)。回归器的目标就是学习一个从候选框参数到真实框参数的微小修正量(dx, dy, dw, dh)。在实际训练时这个回归器不会对所有样本都学习只对那些IoU在0.5到0.6之间的候选框做修正。原因也很简单IoU太低的本来就不是目标不适合学习IoU太高的本身已经够准修正收益太小且容易过拟合。让回归器专注于那些“差一点就对了”的框修正效果最好。一个候选框经过SVM辨别类别、再经回归器微调位置R-CNN的一次完整检测过程才算结束。最后再用一个非极大值抑制NMS把彼此重叠过高的框压缩掉留下最能代表目标的框。3. 一步步跑通一个R-CNN流程前面讲了原理接下来进入实操层面。这里我会把整个过程拆成三大段准备工作、模型微调、分类器和回归器训练。如果你准备复现一个简化版本的R-CNN下面的流程可以直接作为参考。3.1 预训练和区域提议的准备工作第一步选一个预训练CNN。R-CNN最常用的基底是AlexNet在ImageNet上预训练好的权重可以直接从很多模型库里下载。你不需要从零开始训练CNN因为检测数据集通常比分类数据集小得多从零训会严重过拟合。第二步用选择性搜索把所有训练图像跑一遍得到每张图的候选框。这个过程比较耗时所以建议先把结果保存成中间文件。格式上我会用一个字典结构图像ID对应一组候选框坐标。后续训练的时候程序直接读文件不用每次重新跑选择性搜索。一个容易忽略的点候选框数据要按训练集和测试集分开生成。如果你用测试集的候选框参与训练哪怕只是隐式地影响了某些统计参数都会造成数据泄露最终评估结果虚高。3.2 模型微调的细节预训练CNN之前学的是ImageNet的1000类分类任务现在要让它适应你的检测任务所以要做一次微调fine-tuning。微调的关键点是正负样本的定义。对于每个候选框你会计算它和真实目标的IoU。当时论文里的约定是IoU大于0.5的候选框作为正样本剩下那些IoU介于0.1到0.5之间的作为负样本。为什么不是所有低于0.5的都算负样本因为IoU太低比如0.0的候选框可能包含的物体类别更多样化直接当负样本学不到“难负样本”的判别边界分类器训练会很飘。微调时的另一个细节是训练批次大小。小批量不要太大我用过32这种规模效果比128更稳。原因也好理解一张图里前景候选框就那么多大batch会让训练集频繁重复采样反而加剧过拟合。学习率建议比正常分类任务调低一个量级预训练模型已经在较好位置步子别迈太大。微调完成后CNN就不再是原始的分类模型了它变成了一套针对当前领域的特征提取器。后续SVM用的特征就是从这个微调版CNN里取出来的。3.3 分类器的训练、回归器的训练这部分最容易乱必须理清楚顺序。先用微调后的CNN把训练集所有候选框的特征向量提取出来保存到磁盘。注意特征提取的前向计算量很大千万记得分批处理并且每批之间间隔地释放显存缓存。然后对每个目标类别单独训练一个二分类SVM。也就是说如果有20个类别就有20个SVM模型。每个SVM的正样本是IoU大于0.5的候选框负样本是IoU小于0.3的候选框。这里有个对比微调CNN用的是0.1到0.5之间的负样本而SVM用了更严格的小于0.3阈值。为什么不一样因为SVM训练对样本比例更敏感。如果负样本太容易SVM学出来的分界面就会偏向简单负样本。你会遇到一个经典问题训练集准确率看着还行一到测试集就大量误检。解决办法是难例挖掘hard negative mining先用初始负样本训练SVM然后把那些被SVM错误判为正样本的难分负样本再丢进去二次训练。反复迭代两三轮分类器会稳健很多。最后是边框回归器。对每个类别同样单独训练一个线性回归模型输入特征照旧是CNN提取的候选框特征输出是候选框到真实框的四个修正参数。这里务必注意回归器只使用那些IoU大于0.5且确实是正样本的候选框来训练。所有负样本自动过滤掉。我自己的经验是把SVM和回归器分开保存模型文件同时把对应的特征文件和正负样本索引一起保存。这样调试的时候非常方便不用每次重新跑CNN前向。4. 我在实际跑R-CNN时踩过的坑4.1 训练慢到怀疑人生第一次跑完整流程的人十有八九会被R-CNN的训练速度震惊。一张图2000个候选框每个候选框都要单独过一遍CNN一张训练图就相当于做了2000次分类前向。一个训练集哪怕只有5000张图都是千万级别的候选框前向计算。我的建议是别硬刚全量数据。先在500到1000张图的小子集上跑通全流程确认每个环节无误后再扩数据。特征提取的阶段可以在GPU上做但写代码的时候要提前规划好batch处理不要在Python循环里逐张处理候选框那个性能开销是灾难级的。如果没有GPU资源建议直接把h5py或lmdb作为特征存储格式。提前把特征向量落盘之后SVM和回归器就只吃内存数据几百MB的量级CPU就能扛得住。4.2 多个阶段之间的数据泄露R-CNN整个流程最脏的地方在于它不是一个端到端的模型而是多个模块串起来。模块越多数据一致性就越容易出问题。我踩过的坑基本都集中在“候选框的坐标偏移”上。比如提取候选框的时候你可能为了统一尺寸做了裁剪缩放后续微调CNN时又做了一次不同的缩放。两边的坐标如果没严格对齐你在SVM阶段用的特征实际是对应“错误位置”的候选框算出来的模型还没开始学数据就已经歪了。另一个非常隐蔽的问题是标签对不齐。某些候选框在生成时被当作“背景”但它在另一张图的副本里被当成了“前景”。只要你的候选框索引是动态生成而不是固定落盘的这种混乱就非常容易出现。早期的复现项目里这种bug能让人排查整整一个周末。所以我在实际操作中强烈建议每个候选框用一个全局唯一ID所有阶段的中间结果都绑定这个ID。比如候选框ID是image_id 候选框索引特征文件、SVM样本文件、回归器样本文件里都能靠这个ID对齐。不要让任何阶段重新“猜”候选框更不要重新生成一遍。4.3 阈值选择和IoU问题R-CNN里充满了阈值参数一不小心就会踩雷。最典型的就是微调和SVM的正负样本IoU阈值不一致的问题。前面我提到微调用0.5以上为正、0.1到0.5为负SVM训练用0.5以上为正、0.3以下为负。如果你两手一摊图省事把两个阈值都设成0.5结果就是SVM的正负样本几乎是“硬切”的分界线附近的样本大量丢失SVM对难样本的判别能力明显下降。还有NMS的阈值。NMS的作用是把重叠度高的框合并它的阈值太大很多误检框会残留在结果里阈值太小重叠的正样本被误杀检测器召回率直接下降。R-CNN默认的NMS阈值一般是0.3到0.5之间具体数值建议用验证集上跑小网格搜索。别看这只是最后一步它对最终mAP的影响可能比前面调几个episode还大。有次我在调试的时候所有模块看起来都正常mAP却比参考数值低了很多。挨个检查才发现是NMS阈值设成了0.7导致每张图输出几百个框mAP直接被拉垮。这类问题不太会在初版代码里暴露因为代码逻辑没错纯粹是超参选择问题特别容易忽略。5. R-CNN之后为何要走向Fast R-CNN和Faster R-CNN5.1 R-CNN的瓶颈R-CNN虽然开创性地解决了检测问题但它的缺点也非常明显带领后续研究者走向了很多优化方向。最大的瓶颈是重复计算。2000个候选框往往彼此高度重叠同一个物体可能被框出十几次而每个候选框都需要单独通过CNN前向提取特征。一个图像区域被重复计算了几十遍计算冗余严重。同样一张图分类任务只需一次前向R-CNN至少需要2000次这个差距很直观。第二个瓶颈是多阶段训练。选择搜索生成区域CNN微调SVM训练回归器训练每个阶段独立。阶段之间的误差会逐步累积而且你很难端到端地联合优化。工程上的维护成本也不低模型组件多了部署上线时很容易出差错。第三个瓶颈是存储开销。所有候选框的特征都要存到磁盘上训练集大的时候这些特征文件动辄几百G级别的占用空间管理起来很麻烦。5.2 后续演进思路后来的SPPNet和Fast R-CNN给了一个非常漂亮的优化让CNN只对整张图做一次前向然后通过“兴趣区域池化”RoI Pooling操作从整图的卷积特征图里直接抠出每个候选区域对应的特征。这样一来无论候选框怎么重叠整张图只需要过一次CNN计算量从2000次降到了1次。Fast R-CNN还顺手把SVM替换成了多任务全连接层模型同时输出分类分数和边框回归偏移量整个检测过程终于能用一个模型端到端地训练了。再往后Faster R-CNN干脆把选择性搜索也换掉了用一个小型卷积网络RPNRegion Proposal Network在特征图上直接生成候选框。这下连候选区域生成都变成了可学习模块检测网络的推理速度和效果都上了一个大台阶。R-CNN的思想脉络值得好好梳理先用提议机制逼近候选位置再借CNN提特征最后用回归精修框。后来的方法再怎么演变底层设计也还是这几块的排列组合。理解了R-CNN你再去看如今各种二阶段检测器就会发现它们其实都是同一个套路的不同升级版。6. 动手之前必须想清楚的事前面把R-CNN的原理和实现细节基本过了一遍。最后聊点更实际的个人心得。R-CNN是一个非常有教学价值的模型但它不是那种我今天建完明天能直接上线的模型。我见过太多同学一上来就想跑完整R-CNN流程结果卡在特征提取阶段好几天最后心态爆炸。如果你只是想快速在业务里用上检测能力直接调现成的检测框架会省力得多。但如果你想真正吃透检测这个方向R-CNN是绕不开的教科书。我的建议是分三步走。第一步先拿公开的小数据集把R-CNN整个流程手动实现一遍重点关注各阶段数据如何流转、坐标如何对齐。第二步用现成目标检测框架跑通训练和推理把mAP、NMS、IoU这些概念彻底摸熟。第三步再回头来看Faster R-CNN的RPN是如何取代选择性搜索的完成从“手工模块”到“端到端”的认知跃迁。另外有个小技巧想分享调检测模型的时候先把模型输出了解清楚——每一个框的坐标含义、置信度含义、NMS之后的输出格式全都打印出来认真看一遍。很多问题不是模型学得不好而是后处理环节的坐标和置信度理解错了。这行做得越久越觉得检测模型本质上是“定位和识别的协同游戏”R-CNN把这两个问题拆出来做了一次教科书级别的示范。你掌握的不只是几个API的用法而是一套看待检测问题的思维方式。这条路走扎实了后面再看任何新出的检测模型心里都会非常有底。
