做图像分类的朋友几乎都会撞上同一个坎标注不够。模型结构再先进训练技巧再花哨没有足够多的带标签数据一切归零。半监督图像分类这个方向本质就是回答一个非常现实的问题——手里只有千把张标注好的图片旁边还堆着几万张没标注的图能不能靠这些“沉默”的数据把分类准确率再顶上去一截很多算法工程师对伪标签、FixMatch、一致性正则这些词并不陌生但要真正搭一套能稳定跑在业务数据上的半监督训练管线中间踩过的坑远比论文里写的要多。这篇就用一次完整的模拟项目复盘把半监督图像分类从思路、方案选型到代码实现、踩坑排查讲透适合已经跑通监督分类训练、正愁标注数据不够用的开发者参考。1. 半监督图像分类到底在解决什么问题1.1 标注瓶颈是所有分类任务的真实痛处一个常规的监督分类项目最烧钱的环节往往不是模型训练而是数据标注。拿工业质检场景举例某产品缺陷可能本身就只占产量的千分之几要找全这些缺陷样本得拍上万张图片再由老师傅逐张框出来打标签。一两个月下去标注费花了不少模型上线后碰到新的缺陷形态照样抓瞎。医学影像、遥感识别、安防监控这些领域更夸张一个切片、一张遥感图让专家判读成本甚至比算力还高。与其守着“必须全部标注”的思路不如换个角度分类模型真正需要的是从大量样本里找出决策边界而很多决策边界其实藏在无标注样本的分布结构里。只要标注样本能提供“这几类是存在的、大致长什么样”的信息无标注样本就能帮助模型把类与类之间的分界线推得更准。这就是半监督学习能起作用的前提——它假设数据分布里存在可被挖掘的结构模型可以利用这些结构弥补标签数量的不足。1.2 半监督、自监督和迁移学习到底有什么区别很多人会把半监督学习和自监督学习搞混我也曾一度分不清。简单说自监督学习是设计一个代理任务比如旋转预测、对比学习让模型在完全无标签的数据上先学出一套通用的特征表示之后再用少量标注样本微调。半监督学习则是在训练过程中同时使用少量标注样本和大量无标注样本两者是同步进行的并不是先预训练再微调的两阶段流程。迁移学习和半监督更不一样。迁移学习是把在源域学到的知识搬到目标域比如用大规模通用数据预训练好的模型来做下游分类标签来自源域而非目标域。半监督学习的目标域本身就有少量标注只是不够用而已。实际工程里两种思路经常叠加使用先用自监督或大规模预训练初始化模型参数再在半监督框架里继续训练效果往往比单用任何一种都好。2. 主流方案横向拆解不是每种方法都适合你的数据2.1 伪标签最朴素但依旧能打的方法伪标签的思路简单到让人怀疑它是否有效先用标注数据训练一个模型再用这个模型去预测无标注数据把预测结果当成“伪标签”继续训练。最早的做法甚至不设过滤条件直接把所有无标注样本的模型输出当作硬标签损失函数与监督训练完全一致。问题很快就暴露了早期模型置信度普遍偏低错误预测会产生大量噪声标签模型直接学歪。现在主流的伪标签方案都会加置信度阈值过滤只有模型预测概率超过阈值比如0.95的样本才会被保留这背后的逻辑很直觉——模型都说自己“不自信”的样本放进训练集只会添乱。FlexMatch一类的方法甚至不把阈值固定死而是按每个类别的学习难度动态调整学得好的类阈值高一点学得差的类阈值低一点在长尾分类里这个改进非常明显。2.2 一致性正则让模型自己跟自己达成共识一致性正则的动机来自一个假设一个样本做轻微扰动后语义类别不应该改变因此模型对它的预测也应该保持一致。实现方式五花八门核心都是对同一个无标注样本做两次不同的数据增强分别得到两个预测然后让这两个预测尽量接近。这里有两个经典方向。一是Mean Teacher架构训练一个学生模型和一个教师模型学生模型通过梯度更新教师模型通过指数移动平均EMA从学生模型复制参数然后强制学生模型对同一输入的两种增强输出逼近教师模型。二是FixMatch它把弱增强和强增强结合弱增强样本的预测如果足够自信就以它为标准强制强增强样本的预测也必须符合这个标准。FixMatch的实现特别简洁但效果极好我在模拟项目里最终选的就是这个方向。一致性正则最大的优点是它对类别不均衡不那么敏感因为无标注样本的有效信息来自“这个样本和它的扰动版本应该同属一个类”即使某个类别样本很少只要样本本身存在就能一直提供这种约束。2.3 无监督预训练与半监督的配合把自监督预训练当作半监督训练的前置步骤在数据量足够大的时候能带来显著提升。比如先用SimCLR或MoCo这类对比学习方法在无标注数据上做一轮预训练让模型学会“什么是相似的、什么是不相似的”再进入半监督微调阶段。这时候模型初始特征已经很有判别性伪标签的置信度从一开始就不会太低一致性正则也能更快收敛。不过需要提醒的是预训练阶段消耗的算力相当可观如果无标注样本只有几万张对比学习带来的增益很可能不如直接训练半监督模型。我自己的经验是无标注数据少于5万张时预训练的收益不明显数据量超过20万张预训练的价值才开始显现。模拟项目里我按后者设计发现效果确实更稳。2.4 三种方案横向对比怎么选方案优点缺点适合场景伪标签实现简单、见效快噪声敏感、类别不均衡时容易崩标注样本量尚可快速迭代一致性正则对类别不均衡鲁棒、训练稳定需要设计增强策略、训练时间较长标注非常少无标注数据充足自监督预训练半监督特征表征好、迁移性最强算力开销大、流程复杂无标注数据量很大追求极致精度纯伪标签是兜底方案一致性正则才是半监督训练里最值得投入精力的环节。我在模拟项目里的最终架构也是“弱监督与强监督结合的一致性正则 置信度过滤”后面实操部分就按这个思路来写。3. 从零搭建一套可复现的半监督分类训练管线3.1 数据准备标注集、无标注集和验证集怎么划分模拟项目采用一个10类图像分类数据集按像素和内容分布做了数据增广后的通用处理。数据量设定为每类40张标注样本共400张标注图片无标注样本2万张另留1000张完全独立的测试图。标注集只占全部数据的约2%这正是半监督比较有挑战性的配置。划分数据时有一个很容易犯的错误验证集和测试集的污染。半监督训练中无标注集也会被模型反复预测如果验证集是从无标注集里抽出来的模型其实已经“见过”过验证集的分布信息评估结果会虚高。我的做法是先把有标注数据按七八二分成训练和验证剩下的全部归无标注集测试集单独留出整个过程在训练前一次性固定不做任何动态调整。3.2 增强策略是半监督的灵魂一致性正则依赖“两次增强”的设计增强的强弱直接影响训练效果。弱增强采用随机水平翻转和随机裁剪目的是保留图像语义的稳定强增强采用RandAugment从旋转、颜色抖动、缩放、锐化等操作里随机选几个组合让图像在被大幅扰动的同时保持类别语义可辨认。给一个直观对比一张汽车图片弱增强只是左右翻转一下等同于“多看了一眼”强增强可能把饱和度调低50%、旋转30度、再裁掉边缘10%模型必须学会在这些干扰下仍然认出汽车。FixMatch的成功很大程度上就是靠这个强弱增强的落差模型通过强增强学到更鲁棒的特征弱增强则提供一个相对可靠的学习目标。3.3 模型结构与损失函数设计骨干网络使用ResNet-50在图像分类任务里是个比较稳妥的选择。最后一层换成10分类全连接层训练时在特征层之后加一个不带额外参数的分类头即可不需要修改太多结构。损失函数分成两块。第一块是标准交叉熵损失作用在标注样本上第二块是无标注损失仅对置信度超过阈值的弱增强预测计算交叉熵。总损失表示为L L_supervised lambda * L_unsupervised其中lambda是平衡权重模拟项目里取1.0。L_unsupervised的这一段的计算思路是模型对弱增强样本输出概率取最大概率和对应类别如果最大概率超过阈值默认0.95就把该类别作为伪标签强制强增强样本的输出逼近这个伪标签。阈值设这么高是宁可多丢弃一些无标注样本也不能放进错误标签。训练初期模型置信度普遍不高这个过滤机制会自然地让大部分无标注样本被丢弃等到训练中后期置信度上来了才会有越来越多的无标注样本参与进来。3.4 完整训练流程的PyTorch风格伪代码下面这段伪代码基本模拟了FixMatch的核心流程去掉了很多工程细节但骨架是完整的。import torch import torch.nn.functional as F THRESHOLD 0.95 LAMBDA 1.0 EMA_DECAY 0.999 # model: ResNet-50 with 10 classes # labeled_loader, unlabeled_loader: DataLoader # optimizer: SGD with momentum 0.9, weight_decay 5e-4 for epoch in range(200): for (x_l, y_l), (x_uw, x_us) in zip(labeled_loader, unlabeled_loader): # x_uw: weak augmented unlabeled images # x_us: strong augmented unlabeled images # supervised loss on labeled data logits_l model(x_l) loss_sup F.cross_entropy(logits_l, y_l) # pseudo-label on weakly augmented unlabeled data logits_uw model(x_uw) prob_uw F.softmax(logits_uw, dim1) max_prob, pseudo_label torch.max(prob_uw, dim1) # confidence mask mask (max_prob THRESHOLD).float() # unsupervised loss on strongly augmented data logits_us model(x_us) loss_unsup F.cross_entropy(logits_us, pseudo_label, reductionnone) loss_unsup (loss_unsup * mask).mean() loss loss_sup LAMBDA * loss_unsup optimizer.zero_grad() loss.backward() optimizer.step()有一处容易忽略的细节loss_unsup里对无标注样本的交叉熵计算时pseudo_label后面不要做梯度截断因为伪标签本来就是来自当前模型的预测不涉及跨样本梯度传递PyTorch会自动把pseudo_label当作标量索引不会参与反向传播。3.5 超参配置与优化器调度超参是半监督训练里最容易被忽略的“隐藏精度”。我把模拟项目里的关键参数整理成一个速查表方便直接抄作业。参数取值说明优化器SGDmomentum0.9比Adam在长训练周期里更稳学习率初始0.03余弦退火到0.0001配合200轮训练weight decay5e-4防止伪标签过拟合标注batch size16不需要太大重点是无标注样本无标注batch size64与标注样本配比4比1阈值0.95伪标签置信度过滤线lambda1.0无标注损失权重EMA decay0.999可选用于构建更稳定的教师模型训练轮数200半监督训练需要足够长轮数学习率调度值得多说两句。如果直接从0.03开始训初期模型更新幅度太大伪标签质量会很差。更稳妥的做法是前10轮用warmup把学习率从0.0001线性提到0.03让模型先稳定学出一批相对可靠的伪标签再进入正式训练阶段。训练过程中监控无标注集的伪标签平均置信度你会发现它从前几轮的0.6左右慢慢爬到0.9以上这个过程本身就是模型在进步的标志。4. 实战中踩过的坑与排查实录4.1 伪标签全是“废标签”第一次把半监督框架跑通时我遇到的情况是标注集上的准确率98%无标注集被过滤出的样本占比只有2%几乎等于没用到无标注数据。问题出在阈值设太高而模型初期置信度普遍低大部分无标注样本都被挡在了门外。排查思路很简单打印训练过程中无标注集被选中的样本数变化曲线。如果发现过滤比例一直上不去先把阈值降到0.8试一周看看过滤比例是否提升如果提升明显说明模型能力还行只是阈值卡得太死如果过滤比例上去了但验证准确率不升反降说明伪标签错误率太高需要反过来提高阈值。最终我采用的方案是动态阈值训练前50轮用0.85之后每50轮提高0.05最后阶段固定到0.95。这种做法比固定阈值多出了大约3个点的验证准确率。4.2 模型退化成“只用标注样本”半监督训练里一个很隐蔽的失败模式是无标注损失几乎不产生梯度模型训练实际退化成监督训练。表面上看训练流程没报错公告的值也很稳定但无标注数据完全没有起作用。原因是伪标签置信度太低大量样本都被mask过滤掉或者无标注loss权重lambda太小被监督loss完全淹没。我排查这种问题时的习惯是每隔一定轮数统计三个数字无标注样本中有多少比例被选中、被选中样本的平均置信度、无标注loss的数值。理想状态下随着训练推进选中比例应该从20%逐步爬到80%以上平均置信度应该稳定在0.95上下无标注loss应该在波动中缓慢下降。如果选中比例始终低于10%且无标注loss几乎不变化问题基本出在阈值侧。如果选中比例正常但验证准确率没有同步上升问题大概率出在损失权重侧。4.3 类别极度不均衡时伪标签会“滚雪球”有些场景下标注样本里长尾类只有几张伪标签机制会形成恶性循环头部类样本多模型学得好置信度高被选中的无标注样本也多长尾类样本少置信度低被过滤掉导致模型越学越偏。我的测试里一个只有5张标注样本的长尾类在200轮训练后伪标签选中数量还不如头部类的零头。处理这个问题有几个实用招数。一是按类别调整阈值把长尾类的阈值降低比如头部类0.95、长尾类0.85让模型更容易从长尾类挖掘无标注样本。二是给每个类别设定伪标签数量上限防止头部类无限占用无标注数据。三是损失函数里给长尾类加权重让少数类的梯度贡献放大。最有效的是第一个和第二个组合使用实测下来长尾类准确率能提升接近10个百分点。4.4 训练崩了怎么急救训练崩溃在半监督里很常见尤其是引入强增强后模型的loss曲线经常出现突然飙升。我这里说几个实际用过的急救手段。如果loss升高发生在切换学习率调度阶段先把warmup轮数加长或者把峰值学习率调低一个量级。如果无标注loss出现NaN检查强增强里是否包含数值不稳定的操作比如极端调整对比度导致像素溢出可以在增强后做一次clip。如果模型在中期震荡剧烈打开EMA把teacher模型的更新延迟拉长学生模型的训练会明显更稳定。如果服务器显存不太够可以采用梯度累积把有效batch size不变的情况下减小单卡显存占用。4.5 常见问题速查表症状可能的诱因处理办法伪标签选中率极低阈值过高降低阈值或动态调整选中率正常但准确率不涨伪标签噪声大提高阈值、增加EMA长尾类完全学不到伪标签倾向头部类类别级阈值、数量上限无标注loss贡献近似为零lambda太小、阈值太严调大lambda、放宽mask训练后期loss突变学习率调度不合理延长warmup、降低峰值LR强增强后数据乱码增强操作数值溢出增强后做像素clip5. 半监督在真实业务里的落地经验5.1 哪些场景最值得上半监督图像分类并不是用来替代监督学习的而是专门用于标注成本高、无标注数据好得的场景。第一个典型是工业视觉质检产品线每天产生成千上万张图片缺陷种类多、样例少让老师傅一张张标注根本不现实利用每天新增的海量无标注图片做半监督训练可以持续提升缺陷召回率。第二个典型是医学影像辅助诊断这类数据涉及专家知识标注耗时长且受伦理限制但影像存档往往非常庞大半监督训练能在不额外请求专家标注的情况下榨取更多价值。第三个典型是遥感图像场景分类一张卫星图的标签可能依赖实地调研成本极高而无标注卫星影像几乎是无限的。5.2 什么时候不该硬上不是所有场景都适合硬套半监督。如果你的无标注数据和标注数据之间存在明显分布漂移比如标注数据是白天场景、无标注数据大量是夜间场景一致性正则反而会拖累模型。半监督的好处建立在“无标注数据和标注数据来自同一分布”这个前提上。另外如果你手里的标注样本实在太少比如每类只有5张模型连基本类别都学不明白伪标签的置信度自然无从谈起。这时的优先级应该是扩充标注样本或者先用大规模预训练模型做特征提取而不是指望半监督硬撑。我给团队的建议标准很简单每类标注样本少于20张时半监督收益有限每类20到100张时收益最明显每类超过200张时再堆无标注数据的边际收益就开始放缓。5.3 我个人的一点体会半监督图像分类理论门槛不高真正难的是对训练过程的感知。所谓“模型学到什么程度了”“伪标签质量够不够”“是不是在靠老本做监督”这些感知能力只能在反复跑实验中建立。我后来在每次训练里都会固化一套可视化监控模板把伪标签选中率、置信度分布、无标注loss、每类伪标签堆积情况全部画出来一有问题很快就能定位到具体环节。最后再分享一个小技巧。不要把伪标签阈值当作一个静态超参来调可以做一个很轻量的Adaptive Threshold每隔一定轮数统计当前无标注集在模型上的置信度分布取置信度排在前70%的样本中最低的那个置信度把它与预设的0.95做加权平均作为下一阶段的动态阈值。这个做法在类别不平衡和训练初期都能显著提升稳定性。实际测下来在模拟项目配置下相比固定阈值可以获得额外2到3个百分点的验证准确率而且基本没有引入额外代码复杂度。半监督这块技术的天花板不低但真正吃透阈值过滤、一致性约束和增强设计这三件事绝大多数业务场景都能拿到真金白银的提升。
做图像分类的朋友几乎都会撞上同一个坎标注不够。模型结构再先进训练技巧再花哨没有足够多的带标签数据一切归零。半监督图像分类这个方向本质就是回答一个非常现实的问题——手里只有千把张标注好的图片旁边还堆着几万张没标注的图能不能靠这些“沉默”的数据把分类准确率再顶上去一截很多算法工程师对伪标签、FixMatch、一致性正则这些词并不陌生但要真正搭一套能稳定跑在业务数据上的半监督训练管线中间踩过的坑远比论文里写的要多。这篇就用一次完整的模拟项目复盘把半监督图像分类从思路、方案选型到代码实现、踩坑排查讲透适合已经跑通监督分类训练、正愁标注数据不够用的开发者参考。1. 半监督图像分类到底在解决什么问题1.1 标注瓶颈是所有分类任务的真实痛处一个常规的监督分类项目最烧钱的环节往往不是模型训练而是数据标注。拿工业质检场景举例某产品缺陷可能本身就只占产量的千分之几要找全这些缺陷样本得拍上万张图片再由老师傅逐张框出来打标签。一两个月下去标注费花了不少模型上线后碰到新的缺陷形态照样抓瞎。医学影像、遥感识别、安防监控这些领域更夸张一个切片、一张遥感图让专家判读成本甚至比算力还高。与其守着“必须全部标注”的思路不如换个角度分类模型真正需要的是从大量样本里找出决策边界而很多决策边界其实藏在无标注样本的分布结构里。只要标注样本能提供“这几类是存在的、大致长什么样”的信息无标注样本就能帮助模型把类与类之间的分界线推得更准。这就是半监督学习能起作用的前提——它假设数据分布里存在可被挖掘的结构模型可以利用这些结构弥补标签数量的不足。1.2 半监督、自监督和迁移学习到底有什么区别很多人会把半监督学习和自监督学习搞混我也曾一度分不清。简单说自监督学习是设计一个代理任务比如旋转预测、对比学习让模型在完全无标签的数据上先学出一套通用的特征表示之后再用少量标注样本微调。半监督学习则是在训练过程中同时使用少量标注样本和大量无标注样本两者是同步进行的并不是先预训练再微调的两阶段流程。迁移学习和半监督更不一样。迁移学习是把在源域学到的知识搬到目标域比如用大规模通用数据预训练好的模型来做下游分类标签来自源域而非目标域。半监督学习的目标域本身就有少量标注只是不够用而已。实际工程里两种思路经常叠加使用先用自监督或大规模预训练初始化模型参数再在半监督框架里继续训练效果往往比单用任何一种都好。2. 主流方案横向拆解不是每种方法都适合你的数据2.1 伪标签最朴素但依旧能打的方法伪标签的思路简单到让人怀疑它是否有效先用标注数据训练一个模型再用这个模型去预测无标注数据把预测结果当成“伪标签”继续训练。最早的做法甚至不设过滤条件直接把所有无标注样本的模型输出当作硬标签损失函数与监督训练完全一致。问题很快就暴露了早期模型置信度普遍偏低错误预测会产生大量噪声标签模型直接学歪。现在主流的伪标签方案都会加置信度阈值过滤只有模型预测概率超过阈值比如0.95的样本才会被保留这背后的逻辑很直觉——模型都说自己“不自信”的样本放进训练集只会添乱。FlexMatch一类的方法甚至不把阈值固定死而是按每个类别的学习难度动态调整学得好的类阈值高一点学得差的类阈值低一点在长尾分类里这个改进非常明显。2.2 一致性正则让模型自己跟自己达成共识一致性正则的动机来自一个假设一个样本做轻微扰动后语义类别不应该改变因此模型对它的预测也应该保持一致。实现方式五花八门核心都是对同一个无标注样本做两次不同的数据增强分别得到两个预测然后让这两个预测尽量接近。这里有两个经典方向。一是Mean Teacher架构训练一个学生模型和一个教师模型学生模型通过梯度更新教师模型通过指数移动平均EMA从学生模型复制参数然后强制学生模型对同一输入的两种增强输出逼近教师模型。二是FixMatch它把弱增强和强增强结合弱增强样本的预测如果足够自信就以它为标准强制强增强样本的预测也必须符合这个标准。FixMatch的实现特别简洁但效果极好我在模拟项目里最终选的就是这个方向。一致性正则最大的优点是它对类别不均衡不那么敏感因为无标注样本的有效信息来自“这个样本和它的扰动版本应该同属一个类”即使某个类别样本很少只要样本本身存在就能一直提供这种约束。2.3 无监督预训练与半监督的配合把自监督预训练当作半监督训练的前置步骤在数据量足够大的时候能带来显著提升。比如先用SimCLR或MoCo这类对比学习方法在无标注数据上做一轮预训练让模型学会“什么是相似的、什么是不相似的”再进入半监督微调阶段。这时候模型初始特征已经很有判别性伪标签的置信度从一开始就不会太低一致性正则也能更快收敛。不过需要提醒的是预训练阶段消耗的算力相当可观如果无标注样本只有几万张对比学习带来的增益很可能不如直接训练半监督模型。我自己的经验是无标注数据少于5万张时预训练的收益不明显数据量超过20万张预训练的价值才开始显现。模拟项目里我按后者设计发现效果确实更稳。2.4 三种方案横向对比怎么选方案优点缺点适合场景伪标签实现简单、见效快噪声敏感、类别不均衡时容易崩标注样本量尚可快速迭代一致性正则对类别不均衡鲁棒、训练稳定需要设计增强策略、训练时间较长标注非常少无标注数据充足自监督预训练半监督特征表征好、迁移性最强算力开销大、流程复杂无标注数据量很大追求极致精度纯伪标签是兜底方案一致性正则才是半监督训练里最值得投入精力的环节。我在模拟项目里的最终架构也是“弱监督与强监督结合的一致性正则 置信度过滤”后面实操部分就按这个思路来写。3. 从零搭建一套可复现的半监督分类训练管线3.1 数据准备标注集、无标注集和验证集怎么划分模拟项目采用一个10类图像分类数据集按像素和内容分布做了数据增广后的通用处理。数据量设定为每类40张标注样本共400张标注图片无标注样本2万张另留1000张完全独立的测试图。标注集只占全部数据的约2%这正是半监督比较有挑战性的配置。划分数据时有一个很容易犯的错误验证集和测试集的污染。半监督训练中无标注集也会被模型反复预测如果验证集是从无标注集里抽出来的模型其实已经“见过”过验证集的分布信息评估结果会虚高。我的做法是先把有标注数据按七八二分成训练和验证剩下的全部归无标注集测试集单独留出整个过程在训练前一次性固定不做任何动态调整。3.2 增强策略是半监督的灵魂一致性正则依赖“两次增强”的设计增强的强弱直接影响训练效果。弱增强采用随机水平翻转和随机裁剪目的是保留图像语义的稳定强增强采用RandAugment从旋转、颜色抖动、缩放、锐化等操作里随机选几个组合让图像在被大幅扰动的同时保持类别语义可辨认。给一个直观对比一张汽车图片弱增强只是左右翻转一下等同于“多看了一眼”强增强可能把饱和度调低50%、旋转30度、再裁掉边缘10%模型必须学会在这些干扰下仍然认出汽车。FixMatch的成功很大程度上就是靠这个强弱增强的落差模型通过强增强学到更鲁棒的特征弱增强则提供一个相对可靠的学习目标。3.3 模型结构与损失函数设计骨干网络使用ResNet-50在图像分类任务里是个比较稳妥的选择。最后一层换成10分类全连接层训练时在特征层之后加一个不带额外参数的分类头即可不需要修改太多结构。损失函数分成两块。第一块是标准交叉熵损失作用在标注样本上第二块是无标注损失仅对置信度超过阈值的弱增强预测计算交叉熵。总损失表示为L L_supervised lambda * L_unsupervised其中lambda是平衡权重模拟项目里取1.0。L_unsupervised的这一段的计算思路是模型对弱增强样本输出概率取最大概率和对应类别如果最大概率超过阈值默认0.95就把该类别作为伪标签强制强增强样本的输出逼近这个伪标签。阈值设这么高是宁可多丢弃一些无标注样本也不能放进错误标签。训练初期模型置信度普遍不高这个过滤机制会自然地让大部分无标注样本被丢弃等到训练中后期置信度上来了才会有越来越多的无标注样本参与进来。3.4 完整训练流程的PyTorch风格伪代码下面这段伪代码基本模拟了FixMatch的核心流程去掉了很多工程细节但骨架是完整的。import torch import torch.nn.functional as F THRESHOLD 0.95 LAMBDA 1.0 EMA_DECAY 0.999 # model: ResNet-50 with 10 classes # labeled_loader, unlabeled_loader: DataLoader # optimizer: SGD with momentum 0.9, weight_decay 5e-4 for epoch in range(200): for (x_l, y_l), (x_uw, x_us) in zip(labeled_loader, unlabeled_loader): # x_uw: weak augmented unlabeled images # x_us: strong augmented unlabeled images # supervised loss on labeled data logits_l model(x_l) loss_sup F.cross_entropy(logits_l, y_l) # pseudo-label on weakly augmented unlabeled data logits_uw model(x_uw) prob_uw F.softmax(logits_uw, dim1) max_prob, pseudo_label torch.max(prob_uw, dim1) # confidence mask mask (max_prob THRESHOLD).float() # unsupervised loss on strongly augmented data logits_us model(x_us) loss_unsup F.cross_entropy(logits_us, pseudo_label, reductionnone) loss_unsup (loss_unsup * mask).mean() loss loss_sup LAMBDA * loss_unsup optimizer.zero_grad() loss.backward() optimizer.step()有一处容易忽略的细节loss_unsup里对无标注样本的交叉熵计算时pseudo_label后面不要做梯度截断因为伪标签本来就是来自当前模型的预测不涉及跨样本梯度传递PyTorch会自动把pseudo_label当作标量索引不会参与反向传播。3.5 超参配置与优化器调度超参是半监督训练里最容易被忽略的“隐藏精度”。我把模拟项目里的关键参数整理成一个速查表方便直接抄作业。参数取值说明优化器SGDmomentum0.9比Adam在长训练周期里更稳学习率初始0.03余弦退火到0.0001配合200轮训练weight decay5e-4防止伪标签过拟合标注batch size16不需要太大重点是无标注样本无标注batch size64与标注样本配比4比1阈值0.95伪标签置信度过滤线lambda1.0无标注损失权重EMA decay0.999可选用于构建更稳定的教师模型训练轮数200半监督训练需要足够长轮数学习率调度值得多说两句。如果直接从0.03开始训初期模型更新幅度太大伪标签质量会很差。更稳妥的做法是前10轮用warmup把学习率从0.0001线性提到0.03让模型先稳定学出一批相对可靠的伪标签再进入正式训练阶段。训练过程中监控无标注集的伪标签平均置信度你会发现它从前几轮的0.6左右慢慢爬到0.9以上这个过程本身就是模型在进步的标志。4. 实战中踩过的坑与排查实录4.1 伪标签全是“废标签”第一次把半监督框架跑通时我遇到的情况是标注集上的准确率98%无标注集被过滤出的样本占比只有2%几乎等于没用到无标注数据。问题出在阈值设太高而模型初期置信度普遍低大部分无标注样本都被挡在了门外。排查思路很简单打印训练过程中无标注集被选中的样本数变化曲线。如果发现过滤比例一直上不去先把阈值降到0.8试一周看看过滤比例是否提升如果提升明显说明模型能力还行只是阈值卡得太死如果过滤比例上去了但验证准确率不升反降说明伪标签错误率太高需要反过来提高阈值。最终我采用的方案是动态阈值训练前50轮用0.85之后每50轮提高0.05最后阶段固定到0.95。这种做法比固定阈值多出了大约3个点的验证准确率。4.2 模型退化成“只用标注样本”半监督训练里一个很隐蔽的失败模式是无标注损失几乎不产生梯度模型训练实际退化成监督训练。表面上看训练流程没报错公告的值也很稳定但无标注数据完全没有起作用。原因是伪标签置信度太低大量样本都被mask过滤掉或者无标注loss权重lambda太小被监督loss完全淹没。我排查这种问题时的习惯是每隔一定轮数统计三个数字无标注样本中有多少比例被选中、被选中样本的平均置信度、无标注loss的数值。理想状态下随着训练推进选中比例应该从20%逐步爬到80%以上平均置信度应该稳定在0.95上下无标注loss应该在波动中缓慢下降。如果选中比例始终低于10%且无标注loss几乎不变化问题基本出在阈值侧。如果选中比例正常但验证准确率没有同步上升问题大概率出在损失权重侧。4.3 类别极度不均衡时伪标签会“滚雪球”有些场景下标注样本里长尾类只有几张伪标签机制会形成恶性循环头部类样本多模型学得好置信度高被选中的无标注样本也多长尾类样本少置信度低被过滤掉导致模型越学越偏。我的测试里一个只有5张标注样本的长尾类在200轮训练后伪标签选中数量还不如头部类的零头。处理这个问题有几个实用招数。一是按类别调整阈值把长尾类的阈值降低比如头部类0.95、长尾类0.85让模型更容易从长尾类挖掘无标注样本。二是给每个类别设定伪标签数量上限防止头部类无限占用无标注数据。三是损失函数里给长尾类加权重让少数类的梯度贡献放大。最有效的是第一个和第二个组合使用实测下来长尾类准确率能提升接近10个百分点。4.4 训练崩了怎么急救训练崩溃在半监督里很常见尤其是引入强增强后模型的loss曲线经常出现突然飙升。我这里说几个实际用过的急救手段。如果loss升高发生在切换学习率调度阶段先把warmup轮数加长或者把峰值学习率调低一个量级。如果无标注loss出现NaN检查强增强里是否包含数值不稳定的操作比如极端调整对比度导致像素溢出可以在增强后做一次clip。如果模型在中期震荡剧烈打开EMA把teacher模型的更新延迟拉长学生模型的训练会明显更稳定。如果服务器显存不太够可以采用梯度累积把有效batch size不变的情况下减小单卡显存占用。4.5 常见问题速查表症状可能的诱因处理办法伪标签选中率极低阈值过高降低阈值或动态调整选中率正常但准确率不涨伪标签噪声大提高阈值、增加EMA长尾类完全学不到伪标签倾向头部类类别级阈值、数量上限无标注loss贡献近似为零lambda太小、阈值太严调大lambda、放宽mask训练后期loss突变学习率调度不合理延长warmup、降低峰值LR强增强后数据乱码增强操作数值溢出增强后做像素clip5. 半监督在真实业务里的落地经验5.1 哪些场景最值得上半监督图像分类并不是用来替代监督学习的而是专门用于标注成本高、无标注数据好得的场景。第一个典型是工业视觉质检产品线每天产生成千上万张图片缺陷种类多、样例少让老师傅一张张标注根本不现实利用每天新增的海量无标注图片做半监督训练可以持续提升缺陷召回率。第二个典型是医学影像辅助诊断这类数据涉及专家知识标注耗时长且受伦理限制但影像存档往往非常庞大半监督训练能在不额外请求专家标注的情况下榨取更多价值。第三个典型是遥感图像场景分类一张卫星图的标签可能依赖实地调研成本极高而无标注卫星影像几乎是无限的。5.2 什么时候不该硬上不是所有场景都适合硬套半监督。如果你的无标注数据和标注数据之间存在明显分布漂移比如标注数据是白天场景、无标注数据大量是夜间场景一致性正则反而会拖累模型。半监督的好处建立在“无标注数据和标注数据来自同一分布”这个前提上。另外如果你手里的标注样本实在太少比如每类只有5张模型连基本类别都学不明白伪标签的置信度自然无从谈起。这时的优先级应该是扩充标注样本或者先用大规模预训练模型做特征提取而不是指望半监督硬撑。我给团队的建议标准很简单每类标注样本少于20张时半监督收益有限每类20到100张时收益最明显每类超过200张时再堆无标注数据的边际收益就开始放缓。5.3 我个人的一点体会半监督图像分类理论门槛不高真正难的是对训练过程的感知。所谓“模型学到什么程度了”“伪标签质量够不够”“是不是在靠老本做监督”这些感知能力只能在反复跑实验中建立。我后来在每次训练里都会固化一套可视化监控模板把伪标签选中率、置信度分布、无标注loss、每类伪标签堆积情况全部画出来一有问题很快就能定位到具体环节。最后再分享一个小技巧。不要把伪标签阈值当作一个静态超参来调可以做一个很轻量的Adaptive Threshold每隔一定轮数统计当前无标注集在模型上的置信度分布取置信度排在前70%的样本中最低的那个置信度把它与预设的0.95做加权平均作为下一阶段的动态阈值。这个做法在类别不平衡和训练初期都能显著提升稳定性。实际测下来在模拟项目配置下相比固定阈值可以获得额外2到3个百分点的验证准确率而且基本没有引入额外代码复杂度。半监督这块技术的天花板不低但真正吃透阈值过滤、一致性约束和增强设计这三件事绝大多数业务场景都能拿到真金白银的提升。
![从问卷到目录不再崩：劳保毕业论文的 AI 辅助与自动排版指南 [特殊字符]](http://pic.xiahunao.cn/yaotu/从问卷到目录不再崩：劳保毕业论文的 AI 辅助与自动排版指南 [特殊字符])
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
