DINOv3蒸馏训练7B教师到5个学生模型的3步跑通路径【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3DINOv3蒸馏说白了是租一个6.7B教师同时教五个更小的模型每个学生组各占一段GPU rank教师全程冻结。本文讲清配置链路和最小可执行路径。 它到底在解决什么问题先说清楚这套DINOv3蒸馏流程在回答什么7B好用但部署不起DINOv3家族在16.89亿张图上做自监督预训练让小模型从零复现这个过程成本远高于直接让训好的7B手把手教。一个教师带多个学生multidistillation机制让同一批数据、同一次教师前向同时训练ViT-S、S、B、L等采用不同超参配方mlp4_4、swiglu6_1等的学生教师推理成本只付一次。不止ViT仓库里有专门的distillation_convnext/目录正确路径为distillation_convnext/ConvNeXt Tiny到Large四个规格的学生也走同一条蒸馏链路。⚙️ 核心机制拆解冻结教师与四个损失的分工一个关键区别自监督预训练模式下教师是动量更新的EMA副本蒸馏模式下教师是冻结的预训练checkpoint由distillation.checkpoint_path指定学生纯粹靠模仿教师的输出分布来学。一次训练步的数据流如下原始图像 → 2个global crop256px 8个local crop112px局部块上生成iBOT掩码 → 教师前向冻结7B只处理global crop输出经温度软化0.04→0.07和Sinkhorn-Knopp中心对齐不回传梯度 → 学生前向当前GPU所属rank区间的学生模型处理global local crop → 损失组合DINO全局损失class token对教师 iBOT掩码损失patch级 KoLeo正则权重0.1防[CLS]塌缩 Gram锚定纯蒸馏默认关闭 → 只回传更新学生参数教师保持冻结 关键组件与配置教师三阶段与核心参数教师侧是三段式recipe都在dinov3/configs/train/下dinov3_vit7b16_pretrain.yamlSSLMetaArch自监督预训练FP8混精每卡161000 epochsdinov3_vit7b16_gram_anchor.yaml开启Gram损失img_level: truemax_updates: 3锚定特征统计量1200 epochsdinov3_vit7b16_high_res_adapt.yamlglobal crop从512阶梯升到768Gram教师裁剪最大115230 epochs学生侧以dinov3_vitl16_lvd1689m_distilled.yaml为基准关键参数参数默认值控制什么调优建议distillation.checkpoint_path占位符冻结教师权重位置必须指向真实文件否则setup即崩multidistillation.global_batch_size1920集群每步总批量调大更稳代价是数据吞吐更贵students[].ranks_range[0,48)等各学生组占用哪些GPU rank并集必须恰好铺满总卡数无重叠teacher_temp0.04→0.07教师输出softmax温度调小分布更尖锐按120 epoch warmup走别手改ibot.mask_ratio_min_max0.1–0.5iBOT的patch掩码比例调大加强局部监督调小偏全局train.batch_size_per_gpu3L学生每卡批量教师学生同卡OOM就调小或开checkpointing_fullgram.use_lossfalse是否启用特征相似度矩阵对齐单学生recipe默认关锚定在教师侧做 从零跑通8卡最小配置与启动命令用仓库自带的multi_distillation_test.yaml2个学生、8卡、批量256四步拉代码装依赖git clone https://gitcode.com/GitHub_Trending/di/dinov3 cd dinov3 pip install -e .预期import dinov3无报错torch版本冲突时按conda.yaml重建环境。核对配置里两处路径distillation.full_cfg_path指向教师完整配置测试配置用ViT-L教师checkpoint_path在测试配置中是ignore仅用于验证管线真实训练必须替换为教师权重实际路径。启动训练torchrun --nproc_per_node8 --standalone -m dinov3.train.train \ --config-file dinov3/configs/train/multi_distillation_test.yaml \ --multi-distillation预期vitsrank 0-3和vitbrank 4-7两组学生启动日志周期性打印loss_dict。若启动后卡住无报错九成是ranks_range没有恰好覆盖[0, 8)核对区间并集即可。 效果与取舍拿到什么数字、付出什么成本官方权重规格教师ViT-7B为6716M参数蒸馏出的学生ViT-S 21M / S 29M / B 86M / L 300M / H 840MConvNeXt 29M~198M。蒸馏ViT-L的linear probe在ImageNet-1k约83.4%vitl_im1k_lin834.yaml文件名即结果不微调就能用。代价要摊开看每步都要教师前向7B的FSDP unshard与broadcast吃掉吞吐ViT-L学生每卡批量也只有3学生特征质量上限就是教师上限超不过7B真正昂贵的是教师三阶段1000120030 epochs蒸馏本身只是便宜的后半段前提是教师已训完集群规模受rank切分约束官方四学生recipe需要296张卡 常见踩坑与调优rank切分、教师路径、温度三件套任务卡住无报错ranks_range并集必须严格等于[0, world_size)多一块少一块都会让集合通信干等。多机时world_size是全局总卡数别只算单机。setup阶段崩最常见是PATH/TO/...占位符没替换其次是把distillation.full_cfg_path指向了学生配置——它是教师的完整配置arch必须与教师权重一致。loss走平、学生偏弱先查是否手改了teacher_temp或momentum。学生recipe20 epochs、lr 2e-4和教师recipe1000 epochs、lr 5e-5的参数尺度不同超参不要跨阶段混抄。OOM优先降batch_size_per_gpu。想做自己的规模蒸馏先用测试配置验证8卡管线细节查MODEL_CARD.md的Distillation章节。【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
DINOv3蒸馏训练7B教师到5个学生模型的3步跑通路径【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3DINOv3蒸馏说白了是租一个6.7B教师同时教五个更小的模型每个学生组各占一段GPU rank教师全程冻结。本文讲清配置链路和最小可执行路径。 它到底在解决什么问题先说清楚这套DINOv3蒸馏流程在回答什么7B好用但部署不起DINOv3家族在16.89亿张图上做自监督预训练让小模型从零复现这个过程成本远高于直接让训好的7B手把手教。一个教师带多个学生multidistillation机制让同一批数据、同一次教师前向同时训练ViT-S、S、B、L等采用不同超参配方mlp4_4、swiglu6_1等的学生教师推理成本只付一次。不止ViT仓库里有专门的distillation_convnext/目录正确路径为distillation_convnext/ConvNeXt Tiny到Large四个规格的学生也走同一条蒸馏链路。⚙️ 核心机制拆解冻结教师与四个损失的分工一个关键区别自监督预训练模式下教师是动量更新的EMA副本蒸馏模式下教师是冻结的预训练checkpoint由distillation.checkpoint_path指定学生纯粹靠模仿教师的输出分布来学。一次训练步的数据流如下原始图像 → 2个global crop256px 8个local crop112px局部块上生成iBOT掩码 → 教师前向冻结7B只处理global crop输出经温度软化0.04→0.07和Sinkhorn-Knopp中心对齐不回传梯度 → 学生前向当前GPU所属rank区间的学生模型处理global local crop → 损失组合DINO全局损失class token对教师 iBOT掩码损失patch级 KoLeo正则权重0.1防[CLS]塌缩 Gram锚定纯蒸馏默认关闭 → 只回传更新学生参数教师保持冻结 关键组件与配置教师三阶段与核心参数教师侧是三段式recipe都在dinov3/configs/train/下dinov3_vit7b16_pretrain.yamlSSLMetaArch自监督预训练FP8混精每卡161000 epochsdinov3_vit7b16_gram_anchor.yaml开启Gram损失img_level: truemax_updates: 3锚定特征统计量1200 epochsdinov3_vit7b16_high_res_adapt.yamlglobal crop从512阶梯升到768Gram教师裁剪最大115230 epochs学生侧以dinov3_vitl16_lvd1689m_distilled.yaml为基准关键参数参数默认值控制什么调优建议distillation.checkpoint_path占位符冻结教师权重位置必须指向真实文件否则setup即崩multidistillation.global_batch_size1920集群每步总批量调大更稳代价是数据吞吐更贵students[].ranks_range[0,48)等各学生组占用哪些GPU rank并集必须恰好铺满总卡数无重叠teacher_temp0.04→0.07教师输出softmax温度调小分布更尖锐按120 epoch warmup走别手改ibot.mask_ratio_min_max0.1–0.5iBOT的patch掩码比例调大加强局部监督调小偏全局train.batch_size_per_gpu3L学生每卡批量教师学生同卡OOM就调小或开checkpointing_fullgram.use_lossfalse是否启用特征相似度矩阵对齐单学生recipe默认关锚定在教师侧做 从零跑通8卡最小配置与启动命令用仓库自带的multi_distillation_test.yaml2个学生、8卡、批量256四步拉代码装依赖git clone https://gitcode.com/GitHub_Trending/di/dinov3 cd dinov3 pip install -e .预期import dinov3无报错torch版本冲突时按conda.yaml重建环境。核对配置里两处路径distillation.full_cfg_path指向教师完整配置测试配置用ViT-L教师checkpoint_path在测试配置中是ignore仅用于验证管线真实训练必须替换为教师权重实际路径。启动训练torchrun --nproc_per_node8 --standalone -m dinov3.train.train \ --config-file dinov3/configs/train/multi_distillation_test.yaml \ --multi-distillation预期vitsrank 0-3和vitbrank 4-7两组学生启动日志周期性打印loss_dict。若启动后卡住无报错九成是ranks_range没有恰好覆盖[0, 8)核对区间并集即可。 效果与取舍拿到什么数字、付出什么成本官方权重规格教师ViT-7B为6716M参数蒸馏出的学生ViT-S 21M / S 29M / B 86M / L 300M / H 840MConvNeXt 29M~198M。蒸馏ViT-L的linear probe在ImageNet-1k约83.4%vitl_im1k_lin834.yaml文件名即结果不微调就能用。代价要摊开看每步都要教师前向7B的FSDP unshard与broadcast吃掉吞吐ViT-L学生每卡批量也只有3学生特征质量上限就是教师上限超不过7B真正昂贵的是教师三阶段1000120030 epochs蒸馏本身只是便宜的后半段前提是教师已训完集群规模受rank切分约束官方四学生recipe需要296张卡 常见踩坑与调优rank切分、教师路径、温度三件套任务卡住无报错ranks_range并集必须严格等于[0, world_size)多一块少一块都会让集合通信干等。多机时world_size是全局总卡数别只算单机。setup阶段崩最常见是PATH/TO/...占位符没替换其次是把distillation.full_cfg_path指向了学生配置——它是教师的完整配置arch必须与教师权重一致。loss走平、学生偏弱先查是否手改了teacher_temp或momentum。学生recipe20 epochs、lr 2e-4和教师recipe1000 epochs、lr 5e-5的参数尺度不同超参不要跨阶段混抄。OOM优先降batch_size_per_gpu。想做自己的规模蒸馏先用测试配置验证8卡管线细节查MODEL_CARD.md的Distillation章节。【免费下载链接】dinov3Reference PyTorch implementation and models for DINOv3项目地址: https://gitcode.com/GitHub_Trending/di/dinov3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
