我在读这篇论文之前一直有个疑惑当时单阶段检测器明显比两阶段检测器快精度却被压着打几乎成了行业共识。SSD 已经用多尺度特征做了很多努力Faster R-CNN 系的两阶段方法依然稳稳领先一到两个点。多数人把这个差距归因于两阶段有区域提议做粗筛单阶段直接回归太粗暴。直到我把 Focal Loss 和 RetinaNet 这篇论文真正读懂才发现差距的根源不在网络结构而在训练时正负样本的极端不平衡以及损失函数对困难样本的态度。这篇论文不长信息量却很大。Focal Loss 不是简单给损失加个权重而是从一个非常简单的问题出发重新设计了分类损失RetinaNet 也不是另起炉灶的新网络而是把一个标准 FPN 检测器认真组装了一遍用工程细节证明损失函数改对了结构不用太花哨也能追平甚至超过两阶段。今天不少分割、跟踪、文本检测任务里的损失函数改良追根溯源都能落到这篇论文上。如果你手头有检测模型想提点或者始终理解不了单阶段差口气的根因这篇文章值得反复读几遍。下面按我自己的理解从问题源头、数学设计、网络结构、训练细节一路拆到工程调参。1. 单阶段检测器被两阶段压着打的真正原因1.1 精度鸿沟到底差在哪里两阶段检测器的流程是先粗筛候选框再逐个精修。RPN 阶段会从几十万个锚框里筛出几百个候选这些候选已经过滤了绝大多数背景第二阶段分类器面对的是相对均衡的正负样本。单阶段检测器没有这个粗筛过程它直接在特征图的每个位置上预测所有锚框的类别和框偏移。在训练的时候这种结构差异会带来一个极其悬殊的数量对比一张图几十万个锚框里真正与物体相交的正样本可能只有几十个剩下全是背景。用当时的标准交叉熵损失训练模型梯度几乎被背景样本淹没。困难负样本和大量易分负样本混在一起网络很快学会了输出低置信度这个最优解——因为把所有框都判成背景损失反而最低。我当时在几个公开数据集上做过统计训练早期超过九成的分类损失都来自那些与物体无关的纯背景锚框。这些样本置信度很低但数量太大累计贡献的梯度足以主导优化方向。这跟网络不够深或者特征不够强没有关系纯粹是损失函数层面的失衡。1.2 为什么在线难例挖掘也救不回来在这篇论文之前业界的标准对策已经有两类一类是采样策略比如设定正负样本比例 1:3 或者做在线难例挖掘OHEM另一类是给损失函数直接加权重。OHEM 的做法是算完损失后只保留损失最大的那一批样本反向传播本质上是硬筛选。但 OHEM 有个明显的副作用它筛掉的是好分的样本思路偏极端容易在训练后期陷入抖动。更关键的是难例和正样本并不等价。大量背景框里也存在一些让模型困惑的难负样本它们确实值得重点学而正样本里也有不少已经分类正确且置信度很高的简单样本它们不应该继续霸占梯度。OHEM 只能按损失排序粗暴截取无法在难易和正负这两个维度上做精细区分。因此真正需要的是一个能对每一个样本按难易程度连续降权的损失而不是把样本切成两拨。Focal Loss 的思路恰好就是这个方向既然难例挖掘的本质是让容易样本少贡献梯度那干脆在损失公式里加一个随置信度连续衰减的调制因子。2. Focal Loss 的三个关键决策以及它们各自解决什么2.1 从交叉熵到调制因子公式变了一小步行为变了一大步二分类交叉熵的标准写法是CE(p, y) -log(p_t)其中 p_t 表示该样本被模型正确预测的概率正样本取 p负样本取 1-p。这个损失对难易样本一视同仁分类得很对的样本 p_t 接近 1损失趋近 0但它数量实在庞大总和起来仍然很大分类得差的硬样本 p_t 小损失大但数量少容易被淹没。Focal Loss 只做了一处修改FL(p_t) -alpha_t * (1 - p_t)^gamma * log(p_t)加号后面多了两项。alpha_t 是类别平衡权重属于常规操作真正决定行为的是 (1 - p_t)^gamma 这个调制因子。当一个样本已经被分得很准、p_t 接近 1 时调制因子趋近 0这条样本的损失被压低当一个样本分得很差、p_t 很小调制因子接近 1损失几乎不受影响。gamma 越大对容易样本的压制越狠。我记得第一次看到这个式子时的直观感受是它其实就是把困难样本挖掘的思想写成了可微的连续函数不用排序、不用截断、不用采样所有样本都参与梯度计算只是话语权不同。2.2 alpha 与 gamma 的分工一个平衡数量一个平衡难度alpha_t 和 gamma 很容易让人混淆但它们解决的问题完全不同。alpha_t 解决的是正负样本数量差。正样本几十个负样本几十万个光靠调制因子还不够因为即使单个背景样本被压得很低几十万条加起来仍可能盖过正样本。论文里取 alpha 0.25也就是正样本保留 0.25 的权重每个负样本只拿 0.75 的权重。看起来正样本权重更低但结合样本数量正样本的实际总贡献反而被抬上来了。这个值多少有点违反直觉我第一次看表格时也愣了一下alpha 给正样本 0.75 不是更合理吗实验结果却说明在 gamma 2 时正样本的难易分布已经主导了梯度alpha 不宜过大0.25 附近效果最好。gamma 解决的是难易样本的贡献分配。它把大量 easy negative 的损失压到几乎可以忽略。论文给的例子足够直观p_t 0.9 的简单样本gamma 2 时损失会被缩小 100 倍而 p_t 0.5 的模糊样本只缩小 4 倍。于是训练重心自然滑向那些分不清的框。所以正确的理解方式是alpha 调整正负两类的总体权重gamma 调整困难样本 vs 容易样本的权重。两者作用在不同维度上互相配合。只用 alpha 不加 gamma相当于把交叉熵的全局权重改了只用 gamma 不加 alpha再去掉数量不平衡的正负样本容易样本被压掉之后背景仍然可能靠数量取胜。2.3 为什么用连续调制而不是硬截断这是我觉得整个设计里最巧妙的地方。OHEM 的硬截断会在训练过程中造成样本集的骤变模型刚学到一点下一波样本又换了。Focal Loss 的调制因子是置信度 p_t 的连续函数不会把任何一条样本的梯度变成零只会让它越来越小。这保证了优化的平滑性。另外调制因子直接作用于梯度。对 sigmoid 输出求导后FL 的梯度里同样含有一个 (1 - p_t)^gamma 项也就是说梯度也会随置信度升高而衰减。高置信度的正样本不再持续提供大的更新方向模型不会反复调节那些已经学会的简单目标低置信度的困难目标始终保持较强的学习信号。这个特性让训练过程比交叉熵稳定得多。值得一提的是gamma 不是越大越好。gamma 太大简单样本几乎不贡献梯度而初期模型的预测能力很差几乎所有正样本的置信度都不高会同时压住正样本的优化同时 gamma 过大会让训练早期梯度信号极度稀疏收敛变慢。论文里默认 gamma 2在多个实验设置下都接近最优。2.4 数值实现里的两个细节实现 Focal Loss 本身不难但有两个细节容易踩坑。一是 p 必须经过 sigmoid 归一化后再算尤其要配合logits 稳定 log的实现避免 log(0)。二是多分类检测里每个锚框对每个类都独立算一个 sigmoid 二分类损失而不是对所有类做 softmax。原因在于背景类并不是一个真实的类而是不属于任何目标用 sigmoid 可以在每个类别维度上独立拉高或压低响应。论文里类别损失是逐类 sigmoid focal loss 的求和这一点和很多分类任务的 softmax 交叉熵不一样。提供一个便于理解的 PyTorch 实现import torch def focal_loss(logits, targets, alpha0.25, gamma2.0): # logits: [N, K], targets: [N, K], 0/1 标签 p torch.sigmoid(logits) p_t p * targets (1 - p) * (1 - targets) alpha_t alpha * targets (1 - alpha) * (1 - targets) loss -alpha_t * (1 - p_t) ** gamma * torch.log(p_t 1e-12) return loss.mean()生产环境建议用binary_cross_entropy_with_logits的reductionnone后再乘调制因子让 logits 在函数内部做数值稳定处理。3. RetinaNet把 Focal Loss 装进一个合理的目标检测器3.1 骨架与 FPN 多尺度从 P3 到 P7RetinaNet 本身没什么结构创新它的价值在于把 Focal Loss 验证得非常干净。骨干网络用的是带 FPN 的 ResNetFPN 输出五个金字塔层从 P3 到 P7每层对应的特征分辨率分别是原图的 1/8、1/16、1/32、1/64、1/128。P6 和 P7 由 P5 依次降采样得到主要覆盖大物体。每层特征图上的每个位置都预设锚框。RetinaNet 的锚框配置是 3 个宽高比1:2、1:1、2:1乘 3 个尺度2^(0/3)、2^(1/3)、2^(2/3)每层 9 个锚框。锚框的基础尺度从 P3 的 32 像素逐层翻倍到 P7 的 512 像素。算下来一张 800×800 的输入在五个金字塔层里总共会产生约十万个锚框。这就是训练时正负样本比例悬殊的物理来源。我把这组参数反复算过几遍它的核心思路是让不同层各管各的尺度范围。P3 层管小物体P7 层管大物体每层的特征感受野和锚框尺度大致对应。FPN 在这里不只是提升小目标检测更是在给每层限定可管范围降低后续分类头的负担。3.2 分类头与回归头两个平行的卷积子网络RetinaNet 在 FPN 每一层之后都接两个平行的子网络分类子网和回归子网。两个子网都是先过四层 3×3 卷积通道数 256每层带 ReLU分类子网最后再过一个 3×3 卷积输出 K×9 个通道K 是类别数回归子网最后输出 4×9 个通道4 代表框的中心偏移、宽高缩放。一个值得关注的细节是这两个子网刻意没有共享参数论文里的说法是分类和框回归关注的特征层次不同。我在实践中认同这一点分类容易受纹理和语义信息影响框回归更依赖边缘和空间结构硬共享参数反而两头都拖累。这两个子网在所有金字塔层之间是共享参数的这样可以控制参数量同时让各层学到统一语义。分类子网最后一层的初始化也很有讲究这个细节我放到训练部分专门讲。整个网络结构看下来没有任何花哨的模块所有创新都集中在损失函数这正是论文说服力的来源。3.3 锚框匹配规则与 ignore 区训练时锚框先和真实框做 IoU 匹配规则是三段式IoU 大于 0.5 的锚框视为正样本IoU 小于 0.4 的视为负样本介于 0.4 到 0.5 之间的直接忽略不参与损失计算。另外保证每个真实框至少匹配一个最高 IoU 的锚框防止某些目标没有正样本。这个 [0.4, 0.5) 的 ignore 区间不是随便划的。它是为了让分类头不用纠结那些沾到了一点边的模糊锚框。如果把这些框强行归为正样本噪声会很大归为负样本又会误伤正确的粗略定位。留一个缓冲区训练会稳很多。我在自己复现时曾经把 ignore 区改成 [0.3, 0.6]发现收敛速度没有明显差异但最终 AP 轻微下降。后来想通了ignore 区过宽会让大量信息被浪费模型学到的判别边界不够精细过窄又会让标签噪声变大。论文的默认值在多数数据集上是稳健的选择。4. 复现时最容易踩的坑和训练细节4.1 最后一层 bias 初始化一个让训练节省大量时间的技巧RetinaNet 对分类子网最后一层有一个神奇的初始化操作把偏置 b 初始化为b -log((1 - pi) / pi)pi 0.01pi 0.01 表示模型在训练开始时就认为每个锚框属于背景的概率是 99%。这个初始化的必要性在于训练初期交叉熵会猛烈推动模型把所有锚框往背景上推如果不加这个先验早期损失会非常大梯度容易不稳定。有了这个 bias模型起步时就假装已经学会了输出低置信度Focal Loss 的调制因子在早期也能直接生效。我在别处的项目里看到有人复现时漏掉这行初始化训练 loss 前期奇高需要额外多跑很多轮才能追上。这个三行代码的技巧性价比极高。4.2 alpha 与 gamma 的默认参数为什么靠谱论文用大量实验扫过 alpha 和 gamma 的组合经验结论很明确alpha 0.25、gamma 2 在多数任务里是最稳的组合。当 gamma 固定为 0也就是退化成带 alpha 的交叉熵时最优 alpha 会在 0.75 附近当 gamma 增大到 2最优 alpha 反而落到 0.25 附近。这两者之间存在明显的耦合关系。设置调参观察适用场景gamma 0等价于交叉熵 alpha 平衡类别不平衡不严重的小模型gamma 2, alpha 0.25论文默认组合全面均衡大多数检测任务起点gamma 2容易样本贡献极低早期收敛慢简单样本占比极大、噪声标注少alpha 0.25对正样本总权重的压制更明显正样本很多、难负样本也多的场景我不知道别人怎么调我自己复现时第一轮直接用了默认参数训练曲线很快就进入合理区间后续需要改的往往不是这两个数而是数据增强和学习率。4.3 实现里常见的三个 Bug第一个是 alpha 放反。很多实现里 alpha_t 的公式写成alpha * target (1 - alpha) * (1 - target)但如果你把 alpha 反过来定义成负样本权重整个训练方向就偏了。这个 bug 很隐蔽因为训练 loss 还是会下降最后的 AP 却低一个多点。第二个是标签维度。RetinaNet 分类头输出的是 [N, K] 的 logits其中 K 是类别数不包含背景类。每张特征图上的锚框如果和真实框匹配不上分类标签就是全 0 向量。有的实现为了方便把背景也当成一个类输出 [N, K1]再用 softmax结果和 sigmoid focal loss 的语义对不上训练出来的模型非常不稳定。第三个是调制因子的计算位置。如果先用binary_cross_entropy_with_logits得到 loss再乘(1 - p_t)^gamma功能上没有问题但要注意数值稳定性尤其是 p_t 接近 1 时 log 可能溢出。更稳妥的做法是先算 sigmoid 再算 log或者调用 PyTorch 的log_sum_exp。我见过一个项目因为 log(0) 导致早期 loss 出现 NaN就是这个原因。4.4 训练设置与推理后处理的默认值论文默认用 SGD初始学习率 0.01mini-batch 16动量 0.9权重衰减 0.0001总共训练约 90k 步前 500 步做线性 warmup。这个设置本身不神秘但它和 Focal Loss 的配合有个微妙的点warmup 阶段不用太长因为 bias 初始化已经让早期梯度很温和了warmup 主要是避免学习率突变。推理时模型先对每张特征图的锚框按分类置信度排序每一层保留排名前 1000 的锚框五层合并后按类别做 NMSIoU 阈值 0.5最后每张图保留最多 100 个检测框。分类阈值默认取 0.05比较低因为它后面还有 NMS 兜底。Focal Loss 训练出的模型在低阈值下依然不会输出太多虚警这也是它相对交叉熵训练出的模型更干净的原因之一。回归分支没有用 Focal Loss而是沿用 smooth L1。原因很简单框回归面对的正样本数量本身就少不存在类别不平衡问题而且回归误差不具备置信度这种天然的分级信号强行调制只会让回归头对大偏移的样本不敏感反而不利。5. 我的调参体会什么时候改 alpha什么时候改 gamma5.1 类别极度不平衡时先动 alpha 而不是 gamma我在一个业务项目里遇到过很极端的情况某个稀有类别在整个训练集里只有几百个实例而常见类别有几万个。直接用默认的 alpha 0.25、gamma 2稀有类别的 AP 几乎起不来。我给每个类别单独分配了一个 alpha 权重稀有类别调高、常见类别调低gamma 保持不变稀有类别的召回率明显上升。原因是 gamma 解决的是难易样本的分配但一个稀有类别的样本再难它在全部损失里的绝对数量也太小。alpha 是唯一能直接改变类别总量占比的手段。分开理解这两个参数比盲目搜参快得多。但要注意类别权重也不能调得太大。我试过把某个稀有类别的 alpha 调到 0.9发现它开始占用过多损失挤压了其他类别的优化整体 mAP 反而下降。类别权重本质上是在总量不变的预算里做再分配调成一个方向的代价是其他方向变弱。5.2 数据噪声大时gamma 反而要保守一点另一个反直觉的经验是当标注噪声比较大时gamma 不宜开太高。Focal Loss 会把模型注意力集中到那些 low p_t 的样本上而噪声标注恰恰容易产生 low p_t 的困难样本。gamma 2 时这些噪声样本的权重被放大模型会花大量精力去拟合错误标签。我在一个标注质量一般的数据集上把 gamma 降到 1.5AP 回升了约 0.5 个点。噪声大时模型需要更多普通样本来稳住整体方向过度关注难例并非总是好事。这也是为什么默认参数只在默认质量的数据集上成立实际工程里还是要根据标签质量灵活调整。5.3 和后来方法的对照GHM 等改进到底改了什么读这篇论文的时候可以顺带看一眼后续的 GHM梯度协调思路理解会更立体。Focal Loss 完全按置信度 p_t 降权但置信度低并不等于值得学某些标注错误或不可学的样本会持续产生小但稳定的梯度。GHM 改成按梯度密度来降权会同时压掉非常容易和梯度极大到像噪声两类样本。这个对照能帮你意识到Focal Loss 的调制因子是一个精心设计但并非完美的近似——它选择了可微、连续的数学形式牺牲了对噪声的区分能力。5.4 我的最后一条实操建议把这个模型用在自己的数据集上最省力的方式是从论文默认参数出发先不调任何东西完整跑一个基准。看训练曲线的时候重点观察正样本的平均 p_t 有没有逐步接近 0.7 以上负样本的损失有没有被压到接近零。如果这两个现象都有说明 Focal Loss 正常工作如果没有先查实现再查数据最后才动 alpha 和 gamma。我见过大量调参调不上去的情况最后都归因于初始化遗漏或者标签维度写错。过了这一关后如果 AP 仍然不满意我的建议顺序是先调分类阈值和 NMS 参数再调数据增强然后调 alpha最后才调 gamma。Focal Loss 的参数对最终 AP 的影响往往小于数据质量和增强方式它解决的是训练过程中的梯度分配不能凭空创造信息。Focal Loss 和 RetinaNet 这篇论文最值得学的地方是它把难例挖掘这个工程经验变成了一个漂亮、可微、可扩展的数学形式又用一个足够通用的检测器验证到极致。我后来在不止一个任务里借鉴了连续调制代替硬筛选的思路收益都不错。它的影响之所以持续到今天是因为它提供了一个真正可以复用的思想方法而不只是一组调好的数字。
我在读这篇论文之前一直有个疑惑当时单阶段检测器明显比两阶段检测器快精度却被压着打几乎成了行业共识。SSD 已经用多尺度特征做了很多努力Faster R-CNN 系的两阶段方法依然稳稳领先一到两个点。多数人把这个差距归因于两阶段有区域提议做粗筛单阶段直接回归太粗暴。直到我把 Focal Loss 和 RetinaNet 这篇论文真正读懂才发现差距的根源不在网络结构而在训练时正负样本的极端不平衡以及损失函数对困难样本的态度。这篇论文不长信息量却很大。Focal Loss 不是简单给损失加个权重而是从一个非常简单的问题出发重新设计了分类损失RetinaNet 也不是另起炉灶的新网络而是把一个标准 FPN 检测器认真组装了一遍用工程细节证明损失函数改对了结构不用太花哨也能追平甚至超过两阶段。今天不少分割、跟踪、文本检测任务里的损失函数改良追根溯源都能落到这篇论文上。如果你手头有检测模型想提点或者始终理解不了单阶段差口气的根因这篇文章值得反复读几遍。下面按我自己的理解从问题源头、数学设计、网络结构、训练细节一路拆到工程调参。1. 单阶段检测器被两阶段压着打的真正原因1.1 精度鸿沟到底差在哪里两阶段检测器的流程是先粗筛候选框再逐个精修。RPN 阶段会从几十万个锚框里筛出几百个候选这些候选已经过滤了绝大多数背景第二阶段分类器面对的是相对均衡的正负样本。单阶段检测器没有这个粗筛过程它直接在特征图的每个位置上预测所有锚框的类别和框偏移。在训练的时候这种结构差异会带来一个极其悬殊的数量对比一张图几十万个锚框里真正与物体相交的正样本可能只有几十个剩下全是背景。用当时的标准交叉熵损失训练模型梯度几乎被背景样本淹没。困难负样本和大量易分负样本混在一起网络很快学会了输出低置信度这个最优解——因为把所有框都判成背景损失反而最低。我当时在几个公开数据集上做过统计训练早期超过九成的分类损失都来自那些与物体无关的纯背景锚框。这些样本置信度很低但数量太大累计贡献的梯度足以主导优化方向。这跟网络不够深或者特征不够强没有关系纯粹是损失函数层面的失衡。1.2 为什么在线难例挖掘也救不回来在这篇论文之前业界的标准对策已经有两类一类是采样策略比如设定正负样本比例 1:3 或者做在线难例挖掘OHEM另一类是给损失函数直接加权重。OHEM 的做法是算完损失后只保留损失最大的那一批样本反向传播本质上是硬筛选。但 OHEM 有个明显的副作用它筛掉的是好分的样本思路偏极端容易在训练后期陷入抖动。更关键的是难例和正样本并不等价。大量背景框里也存在一些让模型困惑的难负样本它们确实值得重点学而正样本里也有不少已经分类正确且置信度很高的简单样本它们不应该继续霸占梯度。OHEM 只能按损失排序粗暴截取无法在难易和正负这两个维度上做精细区分。因此真正需要的是一个能对每一个样本按难易程度连续降权的损失而不是把样本切成两拨。Focal Loss 的思路恰好就是这个方向既然难例挖掘的本质是让容易样本少贡献梯度那干脆在损失公式里加一个随置信度连续衰减的调制因子。2. Focal Loss 的三个关键决策以及它们各自解决什么2.1 从交叉熵到调制因子公式变了一小步行为变了一大步二分类交叉熵的标准写法是CE(p, y) -log(p_t)其中 p_t 表示该样本被模型正确预测的概率正样本取 p负样本取 1-p。这个损失对难易样本一视同仁分类得很对的样本 p_t 接近 1损失趋近 0但它数量实在庞大总和起来仍然很大分类得差的硬样本 p_t 小损失大但数量少容易被淹没。Focal Loss 只做了一处修改FL(p_t) -alpha_t * (1 - p_t)^gamma * log(p_t)加号后面多了两项。alpha_t 是类别平衡权重属于常规操作真正决定行为的是 (1 - p_t)^gamma 这个调制因子。当一个样本已经被分得很准、p_t 接近 1 时调制因子趋近 0这条样本的损失被压低当一个样本分得很差、p_t 很小调制因子接近 1损失几乎不受影响。gamma 越大对容易样本的压制越狠。我记得第一次看到这个式子时的直观感受是它其实就是把困难样本挖掘的思想写成了可微的连续函数不用排序、不用截断、不用采样所有样本都参与梯度计算只是话语权不同。2.2 alpha 与 gamma 的分工一个平衡数量一个平衡难度alpha_t 和 gamma 很容易让人混淆但它们解决的问题完全不同。alpha_t 解决的是正负样本数量差。正样本几十个负样本几十万个光靠调制因子还不够因为即使单个背景样本被压得很低几十万条加起来仍可能盖过正样本。论文里取 alpha 0.25也就是正样本保留 0.25 的权重每个负样本只拿 0.75 的权重。看起来正样本权重更低但结合样本数量正样本的实际总贡献反而被抬上来了。这个值多少有点违反直觉我第一次看表格时也愣了一下alpha 给正样本 0.75 不是更合理吗实验结果却说明在 gamma 2 时正样本的难易分布已经主导了梯度alpha 不宜过大0.25 附近效果最好。gamma 解决的是难易样本的贡献分配。它把大量 easy negative 的损失压到几乎可以忽略。论文给的例子足够直观p_t 0.9 的简单样本gamma 2 时损失会被缩小 100 倍而 p_t 0.5 的模糊样本只缩小 4 倍。于是训练重心自然滑向那些分不清的框。所以正确的理解方式是alpha 调整正负两类的总体权重gamma 调整困难样本 vs 容易样本的权重。两者作用在不同维度上互相配合。只用 alpha 不加 gamma相当于把交叉熵的全局权重改了只用 gamma 不加 alpha再去掉数量不平衡的正负样本容易样本被压掉之后背景仍然可能靠数量取胜。2.3 为什么用连续调制而不是硬截断这是我觉得整个设计里最巧妙的地方。OHEM 的硬截断会在训练过程中造成样本集的骤变模型刚学到一点下一波样本又换了。Focal Loss 的调制因子是置信度 p_t 的连续函数不会把任何一条样本的梯度变成零只会让它越来越小。这保证了优化的平滑性。另外调制因子直接作用于梯度。对 sigmoid 输出求导后FL 的梯度里同样含有一个 (1 - p_t)^gamma 项也就是说梯度也会随置信度升高而衰减。高置信度的正样本不再持续提供大的更新方向模型不会反复调节那些已经学会的简单目标低置信度的困难目标始终保持较强的学习信号。这个特性让训练过程比交叉熵稳定得多。值得一提的是gamma 不是越大越好。gamma 太大简单样本几乎不贡献梯度而初期模型的预测能力很差几乎所有正样本的置信度都不高会同时压住正样本的优化同时 gamma 过大会让训练早期梯度信号极度稀疏收敛变慢。论文里默认 gamma 2在多个实验设置下都接近最优。2.4 数值实现里的两个细节实现 Focal Loss 本身不难但有两个细节容易踩坑。一是 p 必须经过 sigmoid 归一化后再算尤其要配合logits 稳定 log的实现避免 log(0)。二是多分类检测里每个锚框对每个类都独立算一个 sigmoid 二分类损失而不是对所有类做 softmax。原因在于背景类并不是一个真实的类而是不属于任何目标用 sigmoid 可以在每个类别维度上独立拉高或压低响应。论文里类别损失是逐类 sigmoid focal loss 的求和这一点和很多分类任务的 softmax 交叉熵不一样。提供一个便于理解的 PyTorch 实现import torch def focal_loss(logits, targets, alpha0.25, gamma2.0): # logits: [N, K], targets: [N, K], 0/1 标签 p torch.sigmoid(logits) p_t p * targets (1 - p) * (1 - targets) alpha_t alpha * targets (1 - alpha) * (1 - targets) loss -alpha_t * (1 - p_t) ** gamma * torch.log(p_t 1e-12) return loss.mean()生产环境建议用binary_cross_entropy_with_logits的reductionnone后再乘调制因子让 logits 在函数内部做数值稳定处理。3. RetinaNet把 Focal Loss 装进一个合理的目标检测器3.1 骨架与 FPN 多尺度从 P3 到 P7RetinaNet 本身没什么结构创新它的价值在于把 Focal Loss 验证得非常干净。骨干网络用的是带 FPN 的 ResNetFPN 输出五个金字塔层从 P3 到 P7每层对应的特征分辨率分别是原图的 1/8、1/16、1/32、1/64、1/128。P6 和 P7 由 P5 依次降采样得到主要覆盖大物体。每层特征图上的每个位置都预设锚框。RetinaNet 的锚框配置是 3 个宽高比1:2、1:1、2:1乘 3 个尺度2^(0/3)、2^(1/3)、2^(2/3)每层 9 个锚框。锚框的基础尺度从 P3 的 32 像素逐层翻倍到 P7 的 512 像素。算下来一张 800×800 的输入在五个金字塔层里总共会产生约十万个锚框。这就是训练时正负样本比例悬殊的物理来源。我把这组参数反复算过几遍它的核心思路是让不同层各管各的尺度范围。P3 层管小物体P7 层管大物体每层的特征感受野和锚框尺度大致对应。FPN 在这里不只是提升小目标检测更是在给每层限定可管范围降低后续分类头的负担。3.2 分类头与回归头两个平行的卷积子网络RetinaNet 在 FPN 每一层之后都接两个平行的子网络分类子网和回归子网。两个子网都是先过四层 3×3 卷积通道数 256每层带 ReLU分类子网最后再过一个 3×3 卷积输出 K×9 个通道K 是类别数回归子网最后输出 4×9 个通道4 代表框的中心偏移、宽高缩放。一个值得关注的细节是这两个子网刻意没有共享参数论文里的说法是分类和框回归关注的特征层次不同。我在实践中认同这一点分类容易受纹理和语义信息影响框回归更依赖边缘和空间结构硬共享参数反而两头都拖累。这两个子网在所有金字塔层之间是共享参数的这样可以控制参数量同时让各层学到统一语义。分类子网最后一层的初始化也很有讲究这个细节我放到训练部分专门讲。整个网络结构看下来没有任何花哨的模块所有创新都集中在损失函数这正是论文说服力的来源。3.3 锚框匹配规则与 ignore 区训练时锚框先和真实框做 IoU 匹配规则是三段式IoU 大于 0.5 的锚框视为正样本IoU 小于 0.4 的视为负样本介于 0.4 到 0.5 之间的直接忽略不参与损失计算。另外保证每个真实框至少匹配一个最高 IoU 的锚框防止某些目标没有正样本。这个 [0.4, 0.5) 的 ignore 区间不是随便划的。它是为了让分类头不用纠结那些沾到了一点边的模糊锚框。如果把这些框强行归为正样本噪声会很大归为负样本又会误伤正确的粗略定位。留一个缓冲区训练会稳很多。我在自己复现时曾经把 ignore 区改成 [0.3, 0.6]发现收敛速度没有明显差异但最终 AP 轻微下降。后来想通了ignore 区过宽会让大量信息被浪费模型学到的判别边界不够精细过窄又会让标签噪声变大。论文的默认值在多数数据集上是稳健的选择。4. 复现时最容易踩的坑和训练细节4.1 最后一层 bias 初始化一个让训练节省大量时间的技巧RetinaNet 对分类子网最后一层有一个神奇的初始化操作把偏置 b 初始化为b -log((1 - pi) / pi)pi 0.01pi 0.01 表示模型在训练开始时就认为每个锚框属于背景的概率是 99%。这个初始化的必要性在于训练初期交叉熵会猛烈推动模型把所有锚框往背景上推如果不加这个先验早期损失会非常大梯度容易不稳定。有了这个 bias模型起步时就假装已经学会了输出低置信度Focal Loss 的调制因子在早期也能直接生效。我在别处的项目里看到有人复现时漏掉这行初始化训练 loss 前期奇高需要额外多跑很多轮才能追上。这个三行代码的技巧性价比极高。4.2 alpha 与 gamma 的默认参数为什么靠谱论文用大量实验扫过 alpha 和 gamma 的组合经验结论很明确alpha 0.25、gamma 2 在多数任务里是最稳的组合。当 gamma 固定为 0也就是退化成带 alpha 的交叉熵时最优 alpha 会在 0.75 附近当 gamma 增大到 2最优 alpha 反而落到 0.25 附近。这两者之间存在明显的耦合关系。设置调参观察适用场景gamma 0等价于交叉熵 alpha 平衡类别不平衡不严重的小模型gamma 2, alpha 0.25论文默认组合全面均衡大多数检测任务起点gamma 2容易样本贡献极低早期收敛慢简单样本占比极大、噪声标注少alpha 0.25对正样本总权重的压制更明显正样本很多、难负样本也多的场景我不知道别人怎么调我自己复现时第一轮直接用了默认参数训练曲线很快就进入合理区间后续需要改的往往不是这两个数而是数据增强和学习率。4.3 实现里常见的三个 Bug第一个是 alpha 放反。很多实现里 alpha_t 的公式写成alpha * target (1 - alpha) * (1 - target)但如果你把 alpha 反过来定义成负样本权重整个训练方向就偏了。这个 bug 很隐蔽因为训练 loss 还是会下降最后的 AP 却低一个多点。第二个是标签维度。RetinaNet 分类头输出的是 [N, K] 的 logits其中 K 是类别数不包含背景类。每张特征图上的锚框如果和真实框匹配不上分类标签就是全 0 向量。有的实现为了方便把背景也当成一个类输出 [N, K1]再用 softmax结果和 sigmoid focal loss 的语义对不上训练出来的模型非常不稳定。第三个是调制因子的计算位置。如果先用binary_cross_entropy_with_logits得到 loss再乘(1 - p_t)^gamma功能上没有问题但要注意数值稳定性尤其是 p_t 接近 1 时 log 可能溢出。更稳妥的做法是先算 sigmoid 再算 log或者调用 PyTorch 的log_sum_exp。我见过一个项目因为 log(0) 导致早期 loss 出现 NaN就是这个原因。4.4 训练设置与推理后处理的默认值论文默认用 SGD初始学习率 0.01mini-batch 16动量 0.9权重衰减 0.0001总共训练约 90k 步前 500 步做线性 warmup。这个设置本身不神秘但它和 Focal Loss 的配合有个微妙的点warmup 阶段不用太长因为 bias 初始化已经让早期梯度很温和了warmup 主要是避免学习率突变。推理时模型先对每张特征图的锚框按分类置信度排序每一层保留排名前 1000 的锚框五层合并后按类别做 NMSIoU 阈值 0.5最后每张图保留最多 100 个检测框。分类阈值默认取 0.05比较低因为它后面还有 NMS 兜底。Focal Loss 训练出的模型在低阈值下依然不会输出太多虚警这也是它相对交叉熵训练出的模型更干净的原因之一。回归分支没有用 Focal Loss而是沿用 smooth L1。原因很简单框回归面对的正样本数量本身就少不存在类别不平衡问题而且回归误差不具备置信度这种天然的分级信号强行调制只会让回归头对大偏移的样本不敏感反而不利。5. 我的调参体会什么时候改 alpha什么时候改 gamma5.1 类别极度不平衡时先动 alpha 而不是 gamma我在一个业务项目里遇到过很极端的情况某个稀有类别在整个训练集里只有几百个实例而常见类别有几万个。直接用默认的 alpha 0.25、gamma 2稀有类别的 AP 几乎起不来。我给每个类别单独分配了一个 alpha 权重稀有类别调高、常见类别调低gamma 保持不变稀有类别的召回率明显上升。原因是 gamma 解决的是难易样本的分配但一个稀有类别的样本再难它在全部损失里的绝对数量也太小。alpha 是唯一能直接改变类别总量占比的手段。分开理解这两个参数比盲目搜参快得多。但要注意类别权重也不能调得太大。我试过把某个稀有类别的 alpha 调到 0.9发现它开始占用过多损失挤压了其他类别的优化整体 mAP 反而下降。类别权重本质上是在总量不变的预算里做再分配调成一个方向的代价是其他方向变弱。5.2 数据噪声大时gamma 反而要保守一点另一个反直觉的经验是当标注噪声比较大时gamma 不宜开太高。Focal Loss 会把模型注意力集中到那些 low p_t 的样本上而噪声标注恰恰容易产生 low p_t 的困难样本。gamma 2 时这些噪声样本的权重被放大模型会花大量精力去拟合错误标签。我在一个标注质量一般的数据集上把 gamma 降到 1.5AP 回升了约 0.5 个点。噪声大时模型需要更多普通样本来稳住整体方向过度关注难例并非总是好事。这也是为什么默认参数只在默认质量的数据集上成立实际工程里还是要根据标签质量灵活调整。5.3 和后来方法的对照GHM 等改进到底改了什么读这篇论文的时候可以顺带看一眼后续的 GHM梯度协调思路理解会更立体。Focal Loss 完全按置信度 p_t 降权但置信度低并不等于值得学某些标注错误或不可学的样本会持续产生小但稳定的梯度。GHM 改成按梯度密度来降权会同时压掉非常容易和梯度极大到像噪声两类样本。这个对照能帮你意识到Focal Loss 的调制因子是一个精心设计但并非完美的近似——它选择了可微、连续的数学形式牺牲了对噪声的区分能力。5.4 我的最后一条实操建议把这个模型用在自己的数据集上最省力的方式是从论文默认参数出发先不调任何东西完整跑一个基准。看训练曲线的时候重点观察正样本的平均 p_t 有没有逐步接近 0.7 以上负样本的损失有没有被压到接近零。如果这两个现象都有说明 Focal Loss 正常工作如果没有先查实现再查数据最后才动 alpha 和 gamma。我见过大量调参调不上去的情况最后都归因于初始化遗漏或者标签维度写错。过了这一关后如果 AP 仍然不满意我的建议顺序是先调分类阈值和 NMS 参数再调数据增强然后调 alpha最后才调 gamma。Focal Loss 的参数对最终 AP 的影响往往小于数据质量和增强方式它解决的是训练过程中的梯度分配不能凭空创造信息。Focal Loss 和 RetinaNet 这篇论文最值得学的地方是它把难例挖掘这个工程经验变成了一个漂亮、可微、可扩展的数学形式又用一个足够通用的检测器验证到极致。我后来在不止一个任务里借鉴了连续调制代替硬筛选的思路收益都不错。它的影响之所以持续到今天是因为它提供了一个真正可以复用的思想方法而不只是一组调好的数字。
