提升UniDetector开放世界检测指标的两大技巧β分数融合与γ频率校准完全指南【免费下载链接】UniDetectorCode release for our CVPR 2023 paper Detecting Everything in the Open World: Towards Universal Object Detection.项目地址: https://gitcode.com/gh_mirrors/un/UniDetectorUniDetector是 CVPR 2023 论文《Detecting Everything in the Open World》的开源实现一个真正什么都能检测的开放世界目标检测模型。本文用通俗语言讲透它的两大提分技巧β 分数融合与γ 频率校准——无需重新训练仅调整推理配置即可提升 LVIS v0.5 等开放世界榜单指标附完整操作步骤与配置文件位置。 UniDetector 能做什么传统检测器只能识别训练时见过的固定类别如 COCO 的 80 类。UniDetector 借助 CLIP 的图文对齐能力把检测器扩展到了任意类别、任意场景训练时只见过 person、car 等常见物体推理时却能检测出 violin、knee pad、ceiling 等上千个从未见过的类别。图源项目官方论文概念图展示通用物体检测器如何从异构标签空间泛化到开放世界。它的核心是解耦训练decoupled training第一阶段RegionCLIP / CLN只负责提出高质量的区域候选框第二阶段RoI 分类用 CLIP 语义特征对候选框做零样本分类。今天要讲的两大技巧都作用在第二阶段的推理打分环节代码位于mmdet/models/roi_heads/bbox_heads/bbox_head_clip.py中的BBoxHeadCLIPInference模块。 技巧一β 分数融合——让框准不准参与打分原理两个分数各有所长推理时每个候选框其实有两个证据分类分数CLIP 特征与文本嵌入的余弦相似度衡量框里是不是这个类别候选框分数第一阶段 RPN 给出的打分衡量这个框本身像不像一个真实物体。只靠分类分数模型容易给模糊的伪框打出高分只靠框分数又丢掉了类别语义。UniDetector 的做法是对两者做幂次加权融合最终分数 分类分数^β × 候选框分数^(1−β)默认配置取β 0.3即更信任 CLIP 的语义判断、同时保留约 7 成的框质量约束。这样能有效压制框得不准但分类分数虚高的误检直接改善开放世界场景下的 AP。如何开启只需在二阶段推理配置中给 bbox_head 加上beta参数即可默认推理配置已内置该技巧 配置文件configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage.pybeta0.3 技巧二γ 频率校准——给稀有类打回公正分原理频率越高分数越要打折开放世界数据集如 LVIS v0.5 的 1230 类中类别分布极度长尾person 出现在上万张图里而 accordion 可能只有几张。CLIP 的相似度分数天然偏向高频类——高频类分数普遍偏高稀有类则被系统性低估。UniDetector 的解法是基于检测频率的分数校准校准权重 1 / (该类别被检测次数)^γ 再除以全体均值做归一即某个类别在检测结果中出现得越多它的分数被压得越低稀有类的分数则被相对抬升。默认配置取γ 0.6。这一步相当于无监督地做了一次类别平衡对长尾类的召回尤其友好。图源mmdetection 标准数据流水线推理阶段同样按 Load → Resize → Normalize 等步骤处理图像。校准需要先跑一遍摸底推理校准权重依赖每个类别被检测到的次数因此流程分两步第 1 步普通推理导出原始结果使用二阶段配置正常推理并用--out raw_lvis_results.pkl把检测结果存成 pkl 文件README 默认文件名就是它。第 2 步加载原始结果开启校准再推理 配置文件configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage_withcalibration.py该配置在前者基础上增加了三个关键参数参数默认值作用withcalibrationTrue开启频率校准gamma0.6校准强度越大对高频类惩罚越重resultfileraw_lvis_results.pkl第 1 步导出的原始检测结果模型加载resultfile后自动统计各类别检测频次cnum推理时逐类校准分数最后再执行 β 融合输出最终结果。 最快上手从克隆到出分三步走第 1 步获取代码与模型权重git clone https://gitcode.com/gh_mirrors/un/UniDetector依赖基于 mmdetection v2.18.0并需要安装 CLIPCLIP 语言嵌入可直接使用仓库自带的clip_embeddings/目录含 LVIS v0.5、COCO、Objects365、OpenImages 四个数据集的预计算嵌入。第 2 步普通开放世界推理已含 β 融合bash tools/dist_test.sh configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage.py [模型权重路径] 8 --out raw_lvis_results.pkl --eval bbox第 3 步开启 γ 频率校准推理bash tools/dist_test.sh configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage_withcalibration.py [模型权重路径] 8 --eval bbox注意校准推理依赖预提取的区域候选文件rp_val_ow.pkl需先按 README 的Decoupled inference一节运行一阶段配置生成它。 想深入源码看这三个文件打分融合与校准核心实现mmdet/models/roi_heads/bbox_heads/bbox_head_clip.pyBBoxHeadCLIPInference.get_bboxesβ 融合与 γ 校准都在约 20 行内完成β 融合推理配置configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage.pyβ γ 完整校准配置configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage_withcalibration.py一阶段推理配置生成候选框configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_1ststage.py官方使用说明与命令示例README.md❓ 新手常见问题Q1β 和 γ 需要自己重新调参吗默认 β0.3、γ0.6 是论文在 LVIS v0.5 上验证过的取值直接沿用即可。若目标数据集的长尾程度不同可在 γ0.4~0.8 之间小幅搜索。Q2为什么校准要跑两遍推理因为校准权重来自模型自己检测到了多少次某类别必须先有一轮完整检测结果raw_lvis_results.pkl第二轮才能据此调整分数。两遍推理互不训练只是前向计算成本可控。Q3这两个技巧会影响 COCO 等封闭数据集指标吗它们主要用于开放世界评测。封闭数据集上类别分布均衡、候选框分数与分类分数更一致开启后收益有限甚至持平建议按需开关。 小结β 分数融合用分类分^β × 框分^(1−β)把候选框质量纳入最终打分压制误检β 默认 0.3γ 频率校准用1/频次^γ对类别分数做长尾平衡提升稀有类召回γ 默认 0.6两者都只改推理配置不换模型、不重训练是提升 UniDetector 开放世界指标性价比最高的两大技巧。按本文三步操作你即可在自己的环境上完整复现论文的最终评测流程 【免费下载链接】UniDetectorCode release for our CVPR 2023 paper Detecting Everything in the Open World: Towards Universal Object Detection.项目地址: https://gitcode.com/gh_mirrors/un/UniDetector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
提升UniDetector开放世界检测指标的两大技巧β分数融合与γ频率校准完全指南【免费下载链接】UniDetectorCode release for our CVPR 2023 paper Detecting Everything in the Open World: Towards Universal Object Detection.项目地址: https://gitcode.com/gh_mirrors/un/UniDetectorUniDetector是 CVPR 2023 论文《Detecting Everything in the Open World》的开源实现一个真正什么都能检测的开放世界目标检测模型。本文用通俗语言讲透它的两大提分技巧β 分数融合与γ 频率校准——无需重新训练仅调整推理配置即可提升 LVIS v0.5 等开放世界榜单指标附完整操作步骤与配置文件位置。 UniDetector 能做什么传统检测器只能识别训练时见过的固定类别如 COCO 的 80 类。UniDetector 借助 CLIP 的图文对齐能力把检测器扩展到了任意类别、任意场景训练时只见过 person、car 等常见物体推理时却能检测出 violin、knee pad、ceiling 等上千个从未见过的类别。图源项目官方论文概念图展示通用物体检测器如何从异构标签空间泛化到开放世界。它的核心是解耦训练decoupled training第一阶段RegionCLIP / CLN只负责提出高质量的区域候选框第二阶段RoI 分类用 CLIP 语义特征对候选框做零样本分类。今天要讲的两大技巧都作用在第二阶段的推理打分环节代码位于mmdet/models/roi_heads/bbox_heads/bbox_head_clip.py中的BBoxHeadCLIPInference模块。 技巧一β 分数融合——让框准不准参与打分原理两个分数各有所长推理时每个候选框其实有两个证据分类分数CLIP 特征与文本嵌入的余弦相似度衡量框里是不是这个类别候选框分数第一阶段 RPN 给出的打分衡量这个框本身像不像一个真实物体。只靠分类分数模型容易给模糊的伪框打出高分只靠框分数又丢掉了类别语义。UniDetector 的做法是对两者做幂次加权融合最终分数 分类分数^β × 候选框分数^(1−β)默认配置取β 0.3即更信任 CLIP 的语义判断、同时保留约 7 成的框质量约束。这样能有效压制框得不准但分类分数虚高的误检直接改善开放世界场景下的 AP。如何开启只需在二阶段推理配置中给 bbox_head 加上beta参数即可默认推理配置已内置该技巧 配置文件configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage.pybeta0.3 技巧二γ 频率校准——给稀有类打回公正分原理频率越高分数越要打折开放世界数据集如 LVIS v0.5 的 1230 类中类别分布极度长尾person 出现在上万张图里而 accordion 可能只有几张。CLIP 的相似度分数天然偏向高频类——高频类分数普遍偏高稀有类则被系统性低估。UniDetector 的解法是基于检测频率的分数校准校准权重 1 / (该类别被检测次数)^γ 再除以全体均值做归一即某个类别在检测结果中出现得越多它的分数被压得越低稀有类的分数则被相对抬升。默认配置取γ 0.6。这一步相当于无监督地做了一次类别平衡对长尾类的召回尤其友好。图源mmdetection 标准数据流水线推理阶段同样按 Load → Resize → Normalize 等步骤处理图像。校准需要先跑一遍摸底推理校准权重依赖每个类别被检测到的次数因此流程分两步第 1 步普通推理导出原始结果使用二阶段配置正常推理并用--out raw_lvis_results.pkl把检测结果存成 pkl 文件README 默认文件名就是它。第 2 步加载原始结果开启校准再推理 配置文件configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage_withcalibration.py该配置在前者基础上增加了三个关键参数参数默认值作用withcalibrationTrue开启频率校准gamma0.6校准强度越大对高频类惩罚越重resultfileraw_lvis_results.pkl第 1 步导出的原始检测结果模型加载resultfile后自动统计各类别检测频次cnum推理时逐类校准分数最后再执行 β 融合输出最终结果。 最快上手从克隆到出分三步走第 1 步获取代码与模型权重git clone https://gitcode.com/gh_mirrors/un/UniDetector依赖基于 mmdetection v2.18.0并需要安装 CLIPCLIP 语言嵌入可直接使用仓库自带的clip_embeddings/目录含 LVIS v0.5、COCO、Objects365、OpenImages 四个数据集的预计算嵌入。第 2 步普通开放世界推理已含 β 融合bash tools/dist_test.sh configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage.py [模型权重路径] 8 --out raw_lvis_results.pkl --eval bbox第 3 步开启 γ 频率校准推理bash tools/dist_test.sh configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage_withcalibration.py [模型权重路径] 8 --eval bbox注意校准推理依赖预提取的区域候选文件rp_val_ow.pkl需先按 README 的Decoupled inference一节运行一阶段配置生成它。 想深入源码看这三个文件打分融合与校准核心实现mmdet/models/roi_heads/bbox_heads/bbox_head_clip.pyBBoxHeadCLIPInference.get_bboxesβ 融合与 γ 校准都在约 20 行内完成β 融合推理配置configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage.pyβ γ 完整校准配置configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage_withcalibration.py一阶段推理配置生成候选框configs/inference/clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_1ststage.py官方使用说明与命令示例README.md❓ 新手常见问题Q1β 和 γ 需要自己重新调参吗默认 β0.3、γ0.6 是论文在 LVIS v0.5 上验证过的取值直接沿用即可。若目标数据集的长尾程度不同可在 γ0.4~0.8 之间小幅搜索。Q2为什么校准要跑两遍推理因为校准权重来自模型自己检测到了多少次某类别必须先有一轮完整检测结果raw_lvis_results.pkl第二轮才能据此调整分数。两遍推理互不训练只是前向计算成本可控。Q3这两个技巧会影响 COCO 等封闭数据集指标吗它们主要用于开放世界评测。封闭数据集上类别分布均衡、候选框分数与分类分数更一致开启后收益有限甚至持平建议按需开关。 小结β 分数融合用分类分^β × 框分^(1−β)把候选框质量纳入最终打分压制误检β 默认 0.3γ 频率校准用1/频次^γ对类别分数做长尾平衡提升稀有类召回γ 默认 0.6两者都只改推理配置不换模型、不重训练是提升 UniDetector 开放世界指标性价比最高的两大技巧。按本文三步操作你即可在自己的环境上完整复现论文的最终评测流程 【免费下载链接】UniDetectorCode release for our CVPR 2023 paper Detecting Everything in the Open World: Towards Universal Object Detection.项目地址: https://gitcode.com/gh_mirrors/un/UniDetector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
