半监督学习在业内一直是个“听着冷门、用着真香”的方向。核心一句话手头只有少量带标签的数据却有大量没标签的数据怎么把模型练好这几乎是工业界默认的常态——标注贵、标注慢、标注还容易出错而最不缺的就是裸数据。这篇东西我结合自己实操过的几个项目经验把半监督学习从原理假设、主流算法到代码使用、场景选型、避坑记录一次说透。机器学习的半监督学习算法 使用说明和应用场景1. 为什么要盯上半监督学习1.1 有监督学习先遇到的坎做过落地项目的同学都有同感模型效果好坏在相当程度上取决于训练数据的质量与数量。常规的有监督学习路线要求每个样本都带精确标签但到了真实业务场景这个前提经常直接崩掉。举个例子我在前司参与过一个面向企业客户的文本分类系统。当时业务方给出的需求是把客服对话自动打上“咨询”“投诉”“售后”“闲聊”等几个标签。听起来不复杂真要落地才发现人工标注一条样本平均要花大半分钟遇到语义模糊的还得来回复核。最终我们攒了一个月也只拿到几千条高质量标注数据。可光数据库里躺着的未标注对话记录就有几十万条堆在存储里占着地方却对模型训练毫无贡献。这种“标注数据少、未标注数据极多”的困境在医疗影像分析、工业质检、遥感影像解译这类领域更明显。某医学影像项目里一位资深医生标注一张CT切片需要半小时以上标注成本动辄数十万元。等到标注完项目周期早就超过了产品上线的时间窗。1.2 半监督学习到底在解决什么问题半监督学习Semi-Supervised Learning就是冲着这个痛点来的。它的基本设定非常贴近现实训练集中只有一部分样本带有标签其余样本没有标签模型需要同时利用这两部分信息完成学习。注意这里不是简单地“扔掉没标签的数据”而是想方设法把未标注数据中隐含的结构信息榨出来。比如在文本分类场景里大量未标记的对话数据里天然存在某种语义聚团现象——提到“退款”“发票”“订单号”的句子就算没有标签它们大概率也属于同类话题。半监督算法就是尝试捕捉这类内在分布规律反过头来辅助有监督学习。和另外两条路线对比会更清楚范式标注数据未标注数据适用场景有监督学习全部需要基本不用数据标注充足无监督学习不需要全部使用对目标不明确以探索为主半监督学习少量需要大量使用标注成本高、未标注数据易得1.3 使用半监督学习的边界条件但半监督学习也不是万能灵药。根据我和同行交流的切身体会以下三个条件至少要满足两个这条路才值得走未标注数据和已标注数据要来自同一分布。如果生产环境的未标注数据分布已经漂了硬套半监督方法反而会把偏差进一步放大可能比只用少量标注数据的效果更差。任务本身的底层结构可以用来做聚类或流形假设。像图像、文本、语音这类高维数据比较合适而特征本身就极度稀疏且切割严重的数据算法收益会明显打折扣。标注数据的质量要足够可信。少量标签里若混入大量噪声在此基础上扩张出来的“伪标签”会像滚雪球一样把错误信号传下去。有一句话我特别认同半监督学习不是为了替代人工标注而是让每一份标注都发挥出数倍的杠杆效应。2. 半监督学习的思想基础与算法版图2.1 撑起半监督学习的三大假设要理解半监督为什么有效就不能绕开下面三个底层假设。半监督算法能用的核心也在于这些假设和现实任务是否匹配。第一个是聚类假设也是最直观的解释。它认为处于同一个聚类簇中的数据大概率共享同一个类别标签。比如电商评论中包含“质感很好”“穿上显瘦”“面料柔软”的评论虽然没标过“好评”但这些词天然聚集在一起和已标注的好评样本距离很近那它们被划为好评的置信度就很高。第二个是平滑性假设它隐含了一个限制更严格的判断如果两个样本在特征空间的高密度区域中是连通的那么它们很可能拥有相同标签。注意这里强调的是“高密度区域”不是所有距离近的样本。如果两个点分布在稀疏的狭长地带哪怕欧氏距离不远也不宜盲目认同。第三个是流形假设。意思是高维数据实际上分布在一个远低于原始维度的流形结构上类别区分主要沿着流形展开。这在图像和文本任务中特别好用因为像素级的原始特征空间极大但真正有意义的视觉语义只占一个很小的子空间。2.2 从方法论角度划分算法家族基于上述假设业界的半监督算法大致可以分为几个流派。选对流派比调参重要得多。第一类是生成式方法。它假设数据服从某个混合分布模型把未标注样本的隶属度当成隐变量来处理用EM算法估计模型参数。这类方法科研价值高但对模型结构的假设较强现实业务中用的频率相对低。第二类是自训练Self-training系列包括它衍生出的伪标签方法。思路很朴素先用有标注数据训练一个初始模型对未标注数据做预测把高置信度的预测结果当“伪标签”混入训练集迭代重复。第三类是协同训练Co-training方法。它要求特征可以被划分成多个充分且独立的视图不同视图分别训练模型互相为对方挑选置信样本加入训练集。经典场景是网页分类网页正文和锚文本就可以看成两个相对独立的视图。第四类是基于图的方法。把所有样本看作图的节点以样本间相似度作为边的权重通过标签传播Label Propagation或者图网络嵌入的方式让标签沿着图中的高权重边扩散到未标注节点。第五类是一致性正则化方法。它把“对同一输入做微小扰动后模型输出应保持一致”作为正则项。这一类是目前效果最猛、迭代最快的方向尤其在深度半监督领域基本已经是统治级的存在。3. 主流算法逐帧拆解3.1 自训练和伪标签技术自训练的理解门槛最低也最容易上手。我在给团队做新人培训时最常用它来引入半监督学习的概念。基本流程是这样的用有标签数据训练一个初始模型用这个模型预测所有无标签数据得到置信度分数挑选置信度高于某个阈值的样本把它连同“伪标签”一起加入训练集重新训练模型回到第2步反复迭代若干轮。伪标签技术可以看成自训练在深度网络上的简化形态。它在损失函数里直接加入了一项有监督交叉熵不过未标注样本的标签不是人工给的而是模型当前预测结果。这里有个关键细节伪标签样本和真实标签样本的损失权重通常不一样业界常用的做法是在训练初始阶段设置较低权重随着训练轮次逐渐提升。我们当时做图像分类验证时手动实现了伪标签逻辑import torch import torch.nn as nn import torch.nn.functional as F def semi_loss(outputs_labeled, labels, outputs_unlabeled, unlabeled_mask, lambda_t1.0): # 有标签部分标准交叉熵 labeled_loss F.cross_entropy(outputs_labeled, labels) # 无标签部分仅取模型置信度最高的类别作为伪标签 prob_unlabel, pseudo_label torch.max(F.softmax(outputs_unlabeled, dim-1), dim-1) # 置信度过滤只留下概率大于阈值的样本 threshold 0.95 mask prob_unlabel threshold if mask.sum() 0: unlabeled_loss F.cross_entropy( outputs_unlabeled[mask], pseudo_label[mask], reductionmean ) else: unlabeled_loss torch.tensor(0.0, deviceoutputs_unlabeled.device) return labeled_loss lambda_t * unlabeled_loss自训练最大的隐患在于错误放大。一旦某个高置信度的伪标签其实是错的后续训练就会在这个错上加错的方向上稳步前行而且很难自纠正。因此必须定期对伪标签做抽样检验观察错误率是否在可控范围内。3.2 协同训练的双视角博弈协同训练和自训练最大的不同是它需要把特征划分成两个“视角”。我早年在某公司接触过一个网页分类任务当时用的就是协同训练的思路——网络服务器日志里天然有链接锚文本和页面正文两个信息源这就是非常自然的两视图特征。训练时分别在两个视图上各训一个模型。在第 t 轮迭代中模型A挑出自己最有把握的未标注样本打上预测标签加到模型B的训练集模型B同样挑出自己最有把握的样本送给模型A。只要两个视图确实存在互补信息模型的泛化性能就能轮流被对方喂大。这里有个实操经验必须说明协同训练对“视图充分冗余”的要求挺苛刻的用不好就会出现两个模型互相催眠的情况。如果两个视图高度相关各自挑出的高置信样本很可能重合那这个方法的增益就非常有限了。现在不少现代算法应用场景其实已经把两个模型换成不同初始化或不同网络结构演变成了“双模型互相教学”的形式属于协同训练的变体思路。3.3 标签传播与图方法标签传播是这类算法的代表。它先把所有样本包括有标签和未标签的当图的节点利用RBF核函数这类相似度度量构造边的权重然后让节点标签沿着图的边反复传播直到稳定。我在用 Scikit-learn 做实验时最常用的接口是LabelPropagation和LabelSpreading实际效果后者通常更稳一些因为它对噪声更鲁棒。核心接口的调用方式非常简洁from sklearn.semi_supervised import LabelSpreading import numpy as np # X是特征y中带标签样本使用原始标签未标记样本标为-1 label_prop_model LabelSpreading(alpha0.2, max_iter100, kernelrbf, gamma20) # 将未标注样本的标签置为-1 y_train np.array([label if has_label[i] else -1 for i in range(len(X))]) label_prop_model.fit(X, y_train) # 预测未标注样本 pred_labels label_prop_model.transduction_图中一个容易被忽略的点是超参数 gamma 的选择。gamma设置过小节点之间的相似度区分不明显传播出来的标签基本是一锅粥设置过大又容易让每个节点只跟最近的一两个邻居抱团传播范围受限。我一般先做一次小规模的网格搜索再在大数据集上固定。基于图的方法还有个优点它对少量标注数据非常敏感哪怕只有50个标签样本也能通过结构关系提供可观增益。缺点是图构建和存储的复杂度较高样本量在十万级别以上时普通机器跑起来会有些吃力。3.4 半监督支持向量机半监督SVMS3VM的思路是想找到一个划分超平面使它同时穿过特征空间中密度最低的区域。这句话有点绕但道理很直观如果决策边界划在了样本稀疏区那它对未知数据的分类不确定性就最低也最符合聚类假设和低密度间隔假设。这里有一个我当年在论文复现时踩过的坑。S3VM的目标函数里未标注样本的标签是离散变量直接优化是个非凸问题很多优化器容易掉进局部最优。常用解法是连续松弛比较经典的是基于凹凸过程的优化算法把目标函数拆成一个凸函数加一个凹函数用迭代方式逼近。实际调包时可以用scikit-learn最近版本里加进来的SemiSupervisedSVC也可以借助一些研究组开源的SVMLight实现。但从投入产出比来说S3VM在小样本、低维特征的场景下表现还过得去到了高维图像或文本任务优势并不明显。3.5 一致性正则化与深度半监督现在提到深度半监督基本绕不开一致性正则化思路。它的理念是对未标注样本施加小的数据增强扰动后模型的预测结果不应该发生显著变化。模型越大、增强越狠这种自洽约束带来的泛化提升就越明显。这一派的典型代表包括时序集成模型、Mean Teacher、MixMatch、FixMatch、FlexMatch 等。其中FixMatch是我在多个项目里实践过且效果比较稳的方案。它巧妙地把两种一致性正则机制结合在一起对弱增强样本生成伪标签反过来监督强增强样本的输出只用了一个统一的置信度阈值。核心逻辑用伪代码表示大概是这样# FixMatch 伪代码示意只展示了核心训练步骤 for step in range(max_steps): # 取一批有标签数据和无标签数据 x_l, y labeled_batch x_u unlabeled_batch # 对无标签数据做两种增强 x_u_weak weak_augment(x_u) x_u_strong strong_augment(x_u) with torch.no_grad(): logits_weak model(x_u_weak) probs softmax(logits_weak) # 置信度过滤 生成伪标签 mask probs.max(dim1).values 0.95 pseudo_label probs.argmax(dim1) loss_sup cross_entropy(model(x_l), y) loss_unsup cross_entropy(model(x_u_strong), pseudo_label, maskmask) loss loss_sup lambda_u * loss_unsup loss.backward() optimizer.step()实操中 FixMatch 对强增强的选择特别敏感在图像任务里 RandomAugment 和 CutOut 效果很突出但到了文本任务如何设计“强增强”本身就是个难题这也导致它在NLP领域的适配不如在CV领域那么顺滑。4. 从零开始跑通一个半监督任务4.1 环境准备与数据准备工具链方面我一直推荐从简单到复杂演进。第一版实验尽量用轻量工具避免一上来就把工程复杂度拉满。原型验证阶段Scikit-learn 自带的半监督算法接口配合 NumPy 和 Pandas足够应对中小规模实验。深度模型阶段PyTorch 是当前社区生态最活跃的选择配合 HuggingFace 的 Transformers 可以直接处理文本类任务。调参辅助使用 Optuna 可以自动化搜索阈值、学习率、损失权重等关键超参。数据准备这块我需要敲黑板强调半监督数据集的切分逻辑和有监督不完全相同。传统做法是随机把数据分成训练/验证/测试集半监督则需要专门拿出一个有标签子集和大量无标签子集但无标签子集不能混入验证集或测试集信息。如果在验证集上做早停无标签数据的分布信息可能与验证集重叠造成效果虚高上线后打回原形。4.2 手把手实现一个自训练分类器下面以一个文本情感分类为例走一遍完整流程。先加载数据和打标签import numpy as np from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score, classification_report from scipy.special import softmax # 假设已经通过数据管道拿到了 # X_text_all: 全部文本列表 # y_all_origin: 部分样本有标签其余为-1 # has_label: bool数组 texts X_text_all y_train y_all_origin # -1 代表无标签样本 vectorizer TfidfVectorizer(max_features50000, ngram_range(1, 2), sublinear_tfTrue) X_all vectorizer.fit_transform(texts) # 有标签部分 labeled_idx np.where(y_train ! -1)[0] X_labeled X_all[labeled_idx] y_labeled y_train[labeled_idx]然后写自训练迭代循环unlabeled_idx np.where(y_train -1)[0] pseudo_y y_train.copy() base_model LogisticRegression(max_iter1000, C1.0) for it in range(10): # 用当前训练集拟合模型 cur_labeled_idx np.where(pseudo_y ! -1)[0] base_model.fit(X_all[cur_labeled_idx], pseudo_y[cur_labeled_idx]) # 预测未标注样本置信度 prob_unlabeled base_model.predict_proba(X_all[unlabeled_idx]) conf np.max(prob_unlabeled, axis1) pred_class np.argmax(prob_unlabeled, axis1) # 筛选高置信度样本加入训练集 threshold 0.9 0.005 * it # 阈值随迭代逐渐提高 high_conf_mask conf threshold new_indices unlabeled_idx[high_conf_mask] pseudo_y[new_indices] pred_class[high_conf_mask] print(fIter {it}: added {new_indices.shape[0]} samples, current labeled size {cur_labeled_idx.shape[0] new_indices.shape[0]})这个流程里有几个细节直接决定成败。阈值系数刚开始不能设太低否则第一轮就会引入大量噪声也不能太高否则加入的样本太少迭代效率低。另外我把阈值设计成了随迭代增长的形式——刚开始模型置信度普遍虚高后期随着训练集变大、模型更稳对置信度的要求也更高一来可以控制系统噪声二来避免模型过早“锁定”错误区域。4.3 用半监督为深度学习模型提效在文本情感分类这种任务上换成深度学习模型效果会更明显。我个人的习惯是在预训练语言模型的微调阶段引入伪标签。具体操作为先用标注数据微调一个较弱的BERT分类器对无标注数据预测按置信度排序取前20%把高置信伪标签数据和原始标注数据混合重新微调重复两轮就停住避免噪声累积。我在某电商评论分类项目里做过统计当时有5000条人工标注数据加上20万条无标签评论采用上述流程后分类效果比只用5000条标注数据的基线模型提升了大约6到8个百分点。而且这些提升主要集中在长尾的、语义不那么明确的评论上恰好是人工标注最难覆盖的部分。4.4 评估半监督模型的正确姿势评估这一步容易出问题我需要单独提一下。半监督模型的评估绝不是仅仅看“总准确率”这一个数。第一要把测试集按置信度难度分层。把模型在无标签样本上的置信度分为高、中、低三档分别统计准确率。如果一个半监督模型的整体准确率提升了但细看发现提升集中在高置信区中低置信区反而下降那说明模型其实是更“自信”了而不是更“准”了。第二关注标签分布。未标注数据通常类别不均衡如果某类样本数量极少伪标签方法很容易直接把这个类别忽略掉导致模型变成“多数类机器”。针对这种情形我建议每轮迭代时强行保证每个类别都有一定比例的新增伪标签宁可牺牲一点整体置信度也要保住稀有类别的召回率。第三做一次人工抽样检验。让业务方抽看50到100条新增伪标签样本写一个简单反馈表判断模型自判的信息是否可用。这一步既能评估数据质量也能帮助团队积累后续迭代所需的校验集。5. 半监督算法的真实应用场景5.1 文本分类与信息抽取这是半监督学习落地最成熟的领域之一。原因很直接文本数据量大、标注贵而且语义结构天然适合聚类假设。典型场景是客服工单自动分类。某电商平台的客服系统每天新增数千张工单头部类别咨询、物流样本充足但长尾问题类别账号盗用、发票申请、优惠券异常数量稀少人工标注成本又高。用半监督方式先在少量标注类别上训练一个种子分类器再对历史未标注工单做高置信度筛选并扩展训练集往往只需要一到两轮迭代就能明显改善长尾类别的召回。在信息抽取任务里半监督也常用于实体识别和关系抽取的预标注阶段。先对少量句子做精细标注训练模型后让其自动标注海量无标记文本得到候选集合后再交给人工复核。这个“模型预标、人工终审”的流程比全人工标注至少节省一半的工作量。5.2 图像分类与目标检测CV领域是深度半监督的主战场。原因是图像数据的增强策略非常成熟随机裁剪、旋转、色彩抖动、剪切混合等都可以作为强增强方式一致性正则化在图像上很好用。最典型的场景是医学影像。在某个眼底图像筛查项目中一批视网膜图像只有约2%经过专家标注剩下98%都是无标签数据。专家标注一张图像可能需要细致的逐区域观察无法规模化放量。后来我们采用了一个类似Mean Teacher的时序平均集成方案让两个分支模型互相提供伪标签约束硬生生把筛查模型的约登指数提升了0.05抵得上专家继续标注上千张图像的效果。工业质检也是一个重灾区。生产线上每天产出几十万张产品图像良品率极高次品类型又五花八门坏样本的收集和标注代价高昂。用无监督预训练加少量人工标注坏样本做半监督微调能比人工规则检测更快适配新产线。5.3 语音识别与自动标注语音领域有个普遍的“富人愈富”现象大规模语音识别系统需要上万小时标注语音但人工转写音频每小时的成本约数百元。半监督学习在这个领域的主要打法是用一个在通用领域效果不错的种子模型去自动转写目标领域的无标注语音再按置信度筛选把高置信预测结果作为训练数据。实际落地时有一种做法非常取巧先把无标注音频转成文本再用文本语义相似度去匹配已有的高置信文本用匹配结果作为该音频的伪标注。这本质上是把音频问题转换成了文本问题来打辅助。5.4 推荐系统与用户行为建模推荐系统里用户行为数据的“标签”定义本身就模糊。点击、收藏、购买这些行为并不等价于用户兴趣标签少而精的正反馈信号往往最宝贵而大量的未反馈数据则隐含了负样本和未探索的兴趣空间。半监督在这个领域的典型用法不是直接预测标签而是做用户或物品的嵌入学习。先用少量有强信号的交互数据训练一个基础模型再利用大量弱反馈数据做一致性约束让相似用户或相似物品在嵌入空间的距离更近。这能显著提升冷启动场景下新物品的推荐效果因为新物品虽然没有足够交互数据但它的内容特征可以和无标签样本建立语义邻接关系。5.5 其他应用场景一览这里我还想举几个不太热门但非常实际的场景。异常检测与安全审计少数异常样本人工标注成本高大量正常日志数据获取便宜。半监督能帮助模型在只有少量异常样本的情况下把决策边界划得更加精确。自然语言理解中的意图识别智能音箱和对话助手的用户query长尾化严重每年新增的未标注query量级极大半监督扩展意图类别是常规手段。遥感图像地物分类遥感图像标注需要专业知识和大量时间一个县的标注可能就要数周。结合半监督可以大大压缩专家标注范围。6. 使用半监督学习时的常见问题与调试手册6.1 伪标签噪声失控怎么处理排查思路分三步。第一步看伪标签的置信度分布。正常情况下置信度直方图应该呈现“U型”或集中在高位。如果看到大量样本置信度聚集在阈值附近那很可能是模型校准出了问题。第二步检查添加伪标签后的训练集分布。把有标签样本和新增伪标签样本的特征空间可视化看是否出现明显的分布错位。第三步对症下药。惩罚错误最简单的方法是降低伪标签损失权重高端一点的方法是采用“课程伪标签”策略让模型先从简单、高置信的样本学起再逐步纳入低置信样本。另一个常用手段是引入类别均衡采样保证每个类别的伪标签数量不过度膨胀。问题表现可能原因推荐方案准确率不涨反而降伪标签错误过多提高阈值、降低lambda_u训练初期下降、后期反弹阈值增长过快减少阈值递增幅度某类别被完全忽略类别不均衡分类别设置动态阈值模型置信度虚高校准不良增加温度缩放或标签平滑6.2 类别不平衡在半监督中的放大效应多数真实数据集天然不均衡而半监督方法会把这种不平衡变成一个恶性循环多数类样本多模型对多数类预测置信度高于是被挑入训练集的伪标签也以多数类为主模型对少数类的学习越来越差。我常用的策略是动态阈值法。每个类别都有独立的置信度阈值样本多的类别阈值设高一点样本少的类别阈值设低一点这样才能让少数类样本也有机会进入训练集。还可以借助数据增强对少数类样本做更强的扰动提升模型在这些区域的鲁棒性。不要忘记在评估指标里多关注各类别的F1分数而不是只看宏观准确率。6.3 图方法在大规模数据上的工程化问题标签传播类方法在超过十万级节点时邻接矩阵的构建会迅速吃掉内存。常规解法是用近似最近邻搜索比如用nmslib或faiss先找出每个节点的近邻再只在这些近邻之间构造边权重。这样做既保留了局部图结构又避免了全图邻接矩阵的爆炸。还有一个容易被忽视的问题图结构中的孤立子图。如果某簇未标注样本和所有有标签样本都不连通标签根本传不进去。处理办法是给图增加一个虚拟的全局节点让簇间保留弱连接但要注意把虚拟节点的传播系数调低避免过度平滑。6.4 算法选型速查基于我踩过的坑我总结出一个选型倾向数据规模小、特征是表格型优先试标签传播 简单分类器数据规模大、特征是图像优先上一致性正则化如FixMatch特征天然多视图协同训练可以一试文本数据且有预训练模型先用伪标签微调再用自训练扩展目标函数需要低密度间隔S3VM但对调参要有心理准备。7. 写在最后的实操心得如果让我从这么多项目里提炼一句给新手的建议那就是不要一开始就沉迷在复杂算法的细节里先把数据分布、标签质量、评估维度这三样基础性工作做到位。我自己在第一次用半监督做项目时犯过一个典型的错。当时模型在验证集上的准确率从82%提到了91%我一度以为大功告成。后来把预测结果拿到业务方那边做人工抽查才发现模型只是把大量原本不确定的样本往多数类上推少数类别的召回率反而掉了快10个点。从那以后我每次做半监督实验都会强制自己分层查看各类别的具体表现也会专门抽几百条新增伪标签做人工复核。再分享一个细节技巧半监督训练过程中的模型参数不要直接拿最后一轮的结果。实践中在迭代过程中对模型权重做指数滑动平均EMA往往能得到更平滑、更稳定的预测结果尤其在伪标签噪声阶段性扰动较大的场景下这种做法的优势特别明显。许多主流半监督方法内部都内置了类似机制如果你手写自训练流程建议也把这个机制加上效果差距常常就在这里拉开。最后想说的是半监督学习不是和人工标注唱对台戏而是把机器学习模型对数据的利用效率推到更高水位。在真金白银的落地环境中“标注不够、数据来凑”不是一句空话只要算法选型、阈值控制、评估口径这三关都过了半监督完全可以成为工程工具箱里那把高频使用的螺丝刀。
半监督学习在业内一直是个“听着冷门、用着真香”的方向。核心一句话手头只有少量带标签的数据却有大量没标签的数据怎么把模型练好这几乎是工业界默认的常态——标注贵、标注慢、标注还容易出错而最不缺的就是裸数据。这篇东西我结合自己实操过的几个项目经验把半监督学习从原理假设、主流算法到代码使用、场景选型、避坑记录一次说透。机器学习的半监督学习算法 使用说明和应用场景1. 为什么要盯上半监督学习1.1 有监督学习先遇到的坎做过落地项目的同学都有同感模型效果好坏在相当程度上取决于训练数据的质量与数量。常规的有监督学习路线要求每个样本都带精确标签但到了真实业务场景这个前提经常直接崩掉。举个例子我在前司参与过一个面向企业客户的文本分类系统。当时业务方给出的需求是把客服对话自动打上“咨询”“投诉”“售后”“闲聊”等几个标签。听起来不复杂真要落地才发现人工标注一条样本平均要花大半分钟遇到语义模糊的还得来回复核。最终我们攒了一个月也只拿到几千条高质量标注数据。可光数据库里躺着的未标注对话记录就有几十万条堆在存储里占着地方却对模型训练毫无贡献。这种“标注数据少、未标注数据极多”的困境在医疗影像分析、工业质检、遥感影像解译这类领域更明显。某医学影像项目里一位资深医生标注一张CT切片需要半小时以上标注成本动辄数十万元。等到标注完项目周期早就超过了产品上线的时间窗。1.2 半监督学习到底在解决什么问题半监督学习Semi-Supervised Learning就是冲着这个痛点来的。它的基本设定非常贴近现实训练集中只有一部分样本带有标签其余样本没有标签模型需要同时利用这两部分信息完成学习。注意这里不是简单地“扔掉没标签的数据”而是想方设法把未标注数据中隐含的结构信息榨出来。比如在文本分类场景里大量未标记的对话数据里天然存在某种语义聚团现象——提到“退款”“发票”“订单号”的句子就算没有标签它们大概率也属于同类话题。半监督算法就是尝试捕捉这类内在分布规律反过头来辅助有监督学习。和另外两条路线对比会更清楚范式标注数据未标注数据适用场景有监督学习全部需要基本不用数据标注充足无监督学习不需要全部使用对目标不明确以探索为主半监督学习少量需要大量使用标注成本高、未标注数据易得1.3 使用半监督学习的边界条件但半监督学习也不是万能灵药。根据我和同行交流的切身体会以下三个条件至少要满足两个这条路才值得走未标注数据和已标注数据要来自同一分布。如果生产环境的未标注数据分布已经漂了硬套半监督方法反而会把偏差进一步放大可能比只用少量标注数据的效果更差。任务本身的底层结构可以用来做聚类或流形假设。像图像、文本、语音这类高维数据比较合适而特征本身就极度稀疏且切割严重的数据算法收益会明显打折扣。标注数据的质量要足够可信。少量标签里若混入大量噪声在此基础上扩张出来的“伪标签”会像滚雪球一样把错误信号传下去。有一句话我特别认同半监督学习不是为了替代人工标注而是让每一份标注都发挥出数倍的杠杆效应。2. 半监督学习的思想基础与算法版图2.1 撑起半监督学习的三大假设要理解半监督为什么有效就不能绕开下面三个底层假设。半监督算法能用的核心也在于这些假设和现实任务是否匹配。第一个是聚类假设也是最直观的解释。它认为处于同一个聚类簇中的数据大概率共享同一个类别标签。比如电商评论中包含“质感很好”“穿上显瘦”“面料柔软”的评论虽然没标过“好评”但这些词天然聚集在一起和已标注的好评样本距离很近那它们被划为好评的置信度就很高。第二个是平滑性假设它隐含了一个限制更严格的判断如果两个样本在特征空间的高密度区域中是连通的那么它们很可能拥有相同标签。注意这里强调的是“高密度区域”不是所有距离近的样本。如果两个点分布在稀疏的狭长地带哪怕欧氏距离不远也不宜盲目认同。第三个是流形假设。意思是高维数据实际上分布在一个远低于原始维度的流形结构上类别区分主要沿着流形展开。这在图像和文本任务中特别好用因为像素级的原始特征空间极大但真正有意义的视觉语义只占一个很小的子空间。2.2 从方法论角度划分算法家族基于上述假设业界的半监督算法大致可以分为几个流派。选对流派比调参重要得多。第一类是生成式方法。它假设数据服从某个混合分布模型把未标注样本的隶属度当成隐变量来处理用EM算法估计模型参数。这类方法科研价值高但对模型结构的假设较强现实业务中用的频率相对低。第二类是自训练Self-training系列包括它衍生出的伪标签方法。思路很朴素先用有标注数据训练一个初始模型对未标注数据做预测把高置信度的预测结果当“伪标签”混入训练集迭代重复。第三类是协同训练Co-training方法。它要求特征可以被划分成多个充分且独立的视图不同视图分别训练模型互相为对方挑选置信样本加入训练集。经典场景是网页分类网页正文和锚文本就可以看成两个相对独立的视图。第四类是基于图的方法。把所有样本看作图的节点以样本间相似度作为边的权重通过标签传播Label Propagation或者图网络嵌入的方式让标签沿着图中的高权重边扩散到未标注节点。第五类是一致性正则化方法。它把“对同一输入做微小扰动后模型输出应保持一致”作为正则项。这一类是目前效果最猛、迭代最快的方向尤其在深度半监督领域基本已经是统治级的存在。3. 主流算法逐帧拆解3.1 自训练和伪标签技术自训练的理解门槛最低也最容易上手。我在给团队做新人培训时最常用它来引入半监督学习的概念。基本流程是这样的用有标签数据训练一个初始模型用这个模型预测所有无标签数据得到置信度分数挑选置信度高于某个阈值的样本把它连同“伪标签”一起加入训练集重新训练模型回到第2步反复迭代若干轮。伪标签技术可以看成自训练在深度网络上的简化形态。它在损失函数里直接加入了一项有监督交叉熵不过未标注样本的标签不是人工给的而是模型当前预测结果。这里有个关键细节伪标签样本和真实标签样本的损失权重通常不一样业界常用的做法是在训练初始阶段设置较低权重随着训练轮次逐渐提升。我们当时做图像分类验证时手动实现了伪标签逻辑import torch import torch.nn as nn import torch.nn.functional as F def semi_loss(outputs_labeled, labels, outputs_unlabeled, unlabeled_mask, lambda_t1.0): # 有标签部分标准交叉熵 labeled_loss F.cross_entropy(outputs_labeled, labels) # 无标签部分仅取模型置信度最高的类别作为伪标签 prob_unlabel, pseudo_label torch.max(F.softmax(outputs_unlabeled, dim-1), dim-1) # 置信度过滤只留下概率大于阈值的样本 threshold 0.95 mask prob_unlabel threshold if mask.sum() 0: unlabeled_loss F.cross_entropy( outputs_unlabeled[mask], pseudo_label[mask], reductionmean ) else: unlabeled_loss torch.tensor(0.0, deviceoutputs_unlabeled.device) return labeled_loss lambda_t * unlabeled_loss自训练最大的隐患在于错误放大。一旦某个高置信度的伪标签其实是错的后续训练就会在这个错上加错的方向上稳步前行而且很难自纠正。因此必须定期对伪标签做抽样检验观察错误率是否在可控范围内。3.2 协同训练的双视角博弈协同训练和自训练最大的不同是它需要把特征划分成两个“视角”。我早年在某公司接触过一个网页分类任务当时用的就是协同训练的思路——网络服务器日志里天然有链接锚文本和页面正文两个信息源这就是非常自然的两视图特征。训练时分别在两个视图上各训一个模型。在第 t 轮迭代中模型A挑出自己最有把握的未标注样本打上预测标签加到模型B的训练集模型B同样挑出自己最有把握的样本送给模型A。只要两个视图确实存在互补信息模型的泛化性能就能轮流被对方喂大。这里有个实操经验必须说明协同训练对“视图充分冗余”的要求挺苛刻的用不好就会出现两个模型互相催眠的情况。如果两个视图高度相关各自挑出的高置信样本很可能重合那这个方法的增益就非常有限了。现在不少现代算法应用场景其实已经把两个模型换成不同初始化或不同网络结构演变成了“双模型互相教学”的形式属于协同训练的变体思路。3.3 标签传播与图方法标签传播是这类算法的代表。它先把所有样本包括有标签和未标签的当图的节点利用RBF核函数这类相似度度量构造边的权重然后让节点标签沿着图的边反复传播直到稳定。我在用 Scikit-learn 做实验时最常用的接口是LabelPropagation和LabelSpreading实际效果后者通常更稳一些因为它对噪声更鲁棒。核心接口的调用方式非常简洁from sklearn.semi_supervised import LabelSpreading import numpy as np # X是特征y中带标签样本使用原始标签未标记样本标为-1 label_prop_model LabelSpreading(alpha0.2, max_iter100, kernelrbf, gamma20) # 将未标注样本的标签置为-1 y_train np.array([label if has_label[i] else -1 for i in range(len(X))]) label_prop_model.fit(X, y_train) # 预测未标注样本 pred_labels label_prop_model.transduction_图中一个容易被忽略的点是超参数 gamma 的选择。gamma设置过小节点之间的相似度区分不明显传播出来的标签基本是一锅粥设置过大又容易让每个节点只跟最近的一两个邻居抱团传播范围受限。我一般先做一次小规模的网格搜索再在大数据集上固定。基于图的方法还有个优点它对少量标注数据非常敏感哪怕只有50个标签样本也能通过结构关系提供可观增益。缺点是图构建和存储的复杂度较高样本量在十万级别以上时普通机器跑起来会有些吃力。3.4 半监督支持向量机半监督SVMS3VM的思路是想找到一个划分超平面使它同时穿过特征空间中密度最低的区域。这句话有点绕但道理很直观如果决策边界划在了样本稀疏区那它对未知数据的分类不确定性就最低也最符合聚类假设和低密度间隔假设。这里有一个我当年在论文复现时踩过的坑。S3VM的目标函数里未标注样本的标签是离散变量直接优化是个非凸问题很多优化器容易掉进局部最优。常用解法是连续松弛比较经典的是基于凹凸过程的优化算法把目标函数拆成一个凸函数加一个凹函数用迭代方式逼近。实际调包时可以用scikit-learn最近版本里加进来的SemiSupervisedSVC也可以借助一些研究组开源的SVMLight实现。但从投入产出比来说S3VM在小样本、低维特征的场景下表现还过得去到了高维图像或文本任务优势并不明显。3.5 一致性正则化与深度半监督现在提到深度半监督基本绕不开一致性正则化思路。它的理念是对未标注样本施加小的数据增强扰动后模型的预测结果不应该发生显著变化。模型越大、增强越狠这种自洽约束带来的泛化提升就越明显。这一派的典型代表包括时序集成模型、Mean Teacher、MixMatch、FixMatch、FlexMatch 等。其中FixMatch是我在多个项目里实践过且效果比较稳的方案。它巧妙地把两种一致性正则机制结合在一起对弱增强样本生成伪标签反过来监督强增强样本的输出只用了一个统一的置信度阈值。核心逻辑用伪代码表示大概是这样# FixMatch 伪代码示意只展示了核心训练步骤 for step in range(max_steps): # 取一批有标签数据和无标签数据 x_l, y labeled_batch x_u unlabeled_batch # 对无标签数据做两种增强 x_u_weak weak_augment(x_u) x_u_strong strong_augment(x_u) with torch.no_grad(): logits_weak model(x_u_weak) probs softmax(logits_weak) # 置信度过滤 生成伪标签 mask probs.max(dim1).values 0.95 pseudo_label probs.argmax(dim1) loss_sup cross_entropy(model(x_l), y) loss_unsup cross_entropy(model(x_u_strong), pseudo_label, maskmask) loss loss_sup lambda_u * loss_unsup loss.backward() optimizer.step()实操中 FixMatch 对强增强的选择特别敏感在图像任务里 RandomAugment 和 CutOut 效果很突出但到了文本任务如何设计“强增强”本身就是个难题这也导致它在NLP领域的适配不如在CV领域那么顺滑。4. 从零开始跑通一个半监督任务4.1 环境准备与数据准备工具链方面我一直推荐从简单到复杂演进。第一版实验尽量用轻量工具避免一上来就把工程复杂度拉满。原型验证阶段Scikit-learn 自带的半监督算法接口配合 NumPy 和 Pandas足够应对中小规模实验。深度模型阶段PyTorch 是当前社区生态最活跃的选择配合 HuggingFace 的 Transformers 可以直接处理文本类任务。调参辅助使用 Optuna 可以自动化搜索阈值、学习率、损失权重等关键超参。数据准备这块我需要敲黑板强调半监督数据集的切分逻辑和有监督不完全相同。传统做法是随机把数据分成训练/验证/测试集半监督则需要专门拿出一个有标签子集和大量无标签子集但无标签子集不能混入验证集或测试集信息。如果在验证集上做早停无标签数据的分布信息可能与验证集重叠造成效果虚高上线后打回原形。4.2 手把手实现一个自训练分类器下面以一个文本情感分类为例走一遍完整流程。先加载数据和打标签import numpy as np from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score, classification_report from scipy.special import softmax # 假设已经通过数据管道拿到了 # X_text_all: 全部文本列表 # y_all_origin: 部分样本有标签其余为-1 # has_label: bool数组 texts X_text_all y_train y_all_origin # -1 代表无标签样本 vectorizer TfidfVectorizer(max_features50000, ngram_range(1, 2), sublinear_tfTrue) X_all vectorizer.fit_transform(texts) # 有标签部分 labeled_idx np.where(y_train ! -1)[0] X_labeled X_all[labeled_idx] y_labeled y_train[labeled_idx]然后写自训练迭代循环unlabeled_idx np.where(y_train -1)[0] pseudo_y y_train.copy() base_model LogisticRegression(max_iter1000, C1.0) for it in range(10): # 用当前训练集拟合模型 cur_labeled_idx np.where(pseudo_y ! -1)[0] base_model.fit(X_all[cur_labeled_idx], pseudo_y[cur_labeled_idx]) # 预测未标注样本置信度 prob_unlabeled base_model.predict_proba(X_all[unlabeled_idx]) conf np.max(prob_unlabeled, axis1) pred_class np.argmax(prob_unlabeled, axis1) # 筛选高置信度样本加入训练集 threshold 0.9 0.005 * it # 阈值随迭代逐渐提高 high_conf_mask conf threshold new_indices unlabeled_idx[high_conf_mask] pseudo_y[new_indices] pred_class[high_conf_mask] print(fIter {it}: added {new_indices.shape[0]} samples, current labeled size {cur_labeled_idx.shape[0] new_indices.shape[0]})这个流程里有几个细节直接决定成败。阈值系数刚开始不能设太低否则第一轮就会引入大量噪声也不能太高否则加入的样本太少迭代效率低。另外我把阈值设计成了随迭代增长的形式——刚开始模型置信度普遍虚高后期随着训练集变大、模型更稳对置信度的要求也更高一来可以控制系统噪声二来避免模型过早“锁定”错误区域。4.3 用半监督为深度学习模型提效在文本情感分类这种任务上换成深度学习模型效果会更明显。我个人的习惯是在预训练语言模型的微调阶段引入伪标签。具体操作为先用标注数据微调一个较弱的BERT分类器对无标注数据预测按置信度排序取前20%把高置信伪标签数据和原始标注数据混合重新微调重复两轮就停住避免噪声累积。我在某电商评论分类项目里做过统计当时有5000条人工标注数据加上20万条无标签评论采用上述流程后分类效果比只用5000条标注数据的基线模型提升了大约6到8个百分点。而且这些提升主要集中在长尾的、语义不那么明确的评论上恰好是人工标注最难覆盖的部分。4.4 评估半监督模型的正确姿势评估这一步容易出问题我需要单独提一下。半监督模型的评估绝不是仅仅看“总准确率”这一个数。第一要把测试集按置信度难度分层。把模型在无标签样本上的置信度分为高、中、低三档分别统计准确率。如果一个半监督模型的整体准确率提升了但细看发现提升集中在高置信区中低置信区反而下降那说明模型其实是更“自信”了而不是更“准”了。第二关注标签分布。未标注数据通常类别不均衡如果某类样本数量极少伪标签方法很容易直接把这个类别忽略掉导致模型变成“多数类机器”。针对这种情形我建议每轮迭代时强行保证每个类别都有一定比例的新增伪标签宁可牺牲一点整体置信度也要保住稀有类别的召回率。第三做一次人工抽样检验。让业务方抽看50到100条新增伪标签样本写一个简单反馈表判断模型自判的信息是否可用。这一步既能评估数据质量也能帮助团队积累后续迭代所需的校验集。5. 半监督算法的真实应用场景5.1 文本分类与信息抽取这是半监督学习落地最成熟的领域之一。原因很直接文本数据量大、标注贵而且语义结构天然适合聚类假设。典型场景是客服工单自动分类。某电商平台的客服系统每天新增数千张工单头部类别咨询、物流样本充足但长尾问题类别账号盗用、发票申请、优惠券异常数量稀少人工标注成本又高。用半监督方式先在少量标注类别上训练一个种子分类器再对历史未标注工单做高置信度筛选并扩展训练集往往只需要一到两轮迭代就能明显改善长尾类别的召回。在信息抽取任务里半监督也常用于实体识别和关系抽取的预标注阶段。先对少量句子做精细标注训练模型后让其自动标注海量无标记文本得到候选集合后再交给人工复核。这个“模型预标、人工终审”的流程比全人工标注至少节省一半的工作量。5.2 图像分类与目标检测CV领域是深度半监督的主战场。原因是图像数据的增强策略非常成熟随机裁剪、旋转、色彩抖动、剪切混合等都可以作为强增强方式一致性正则化在图像上很好用。最典型的场景是医学影像。在某个眼底图像筛查项目中一批视网膜图像只有约2%经过专家标注剩下98%都是无标签数据。专家标注一张图像可能需要细致的逐区域观察无法规模化放量。后来我们采用了一个类似Mean Teacher的时序平均集成方案让两个分支模型互相提供伪标签约束硬生生把筛查模型的约登指数提升了0.05抵得上专家继续标注上千张图像的效果。工业质检也是一个重灾区。生产线上每天产出几十万张产品图像良品率极高次品类型又五花八门坏样本的收集和标注代价高昂。用无监督预训练加少量人工标注坏样本做半监督微调能比人工规则检测更快适配新产线。5.3 语音识别与自动标注语音领域有个普遍的“富人愈富”现象大规模语音识别系统需要上万小时标注语音但人工转写音频每小时的成本约数百元。半监督学习在这个领域的主要打法是用一个在通用领域效果不错的种子模型去自动转写目标领域的无标注语音再按置信度筛选把高置信预测结果作为训练数据。实际落地时有一种做法非常取巧先把无标注音频转成文本再用文本语义相似度去匹配已有的高置信文本用匹配结果作为该音频的伪标注。这本质上是把音频问题转换成了文本问题来打辅助。5.4 推荐系统与用户行为建模推荐系统里用户行为数据的“标签”定义本身就模糊。点击、收藏、购买这些行为并不等价于用户兴趣标签少而精的正反馈信号往往最宝贵而大量的未反馈数据则隐含了负样本和未探索的兴趣空间。半监督在这个领域的典型用法不是直接预测标签而是做用户或物品的嵌入学习。先用少量有强信号的交互数据训练一个基础模型再利用大量弱反馈数据做一致性约束让相似用户或相似物品在嵌入空间的距离更近。这能显著提升冷启动场景下新物品的推荐效果因为新物品虽然没有足够交互数据但它的内容特征可以和无标签样本建立语义邻接关系。5.5 其他应用场景一览这里我还想举几个不太热门但非常实际的场景。异常检测与安全审计少数异常样本人工标注成本高大量正常日志数据获取便宜。半监督能帮助模型在只有少量异常样本的情况下把决策边界划得更加精确。自然语言理解中的意图识别智能音箱和对话助手的用户query长尾化严重每年新增的未标注query量级极大半监督扩展意图类别是常规手段。遥感图像地物分类遥感图像标注需要专业知识和大量时间一个县的标注可能就要数周。结合半监督可以大大压缩专家标注范围。6. 使用半监督学习时的常见问题与调试手册6.1 伪标签噪声失控怎么处理排查思路分三步。第一步看伪标签的置信度分布。正常情况下置信度直方图应该呈现“U型”或集中在高位。如果看到大量样本置信度聚集在阈值附近那很可能是模型校准出了问题。第二步检查添加伪标签后的训练集分布。把有标签样本和新增伪标签样本的特征空间可视化看是否出现明显的分布错位。第三步对症下药。惩罚错误最简单的方法是降低伪标签损失权重高端一点的方法是采用“课程伪标签”策略让模型先从简单、高置信的样本学起再逐步纳入低置信样本。另一个常用手段是引入类别均衡采样保证每个类别的伪标签数量不过度膨胀。问题表现可能原因推荐方案准确率不涨反而降伪标签错误过多提高阈值、降低lambda_u训练初期下降、后期反弹阈值增长过快减少阈值递增幅度某类别被完全忽略类别不均衡分类别设置动态阈值模型置信度虚高校准不良增加温度缩放或标签平滑6.2 类别不平衡在半监督中的放大效应多数真实数据集天然不均衡而半监督方法会把这种不平衡变成一个恶性循环多数类样本多模型对多数类预测置信度高于是被挑入训练集的伪标签也以多数类为主模型对少数类的学习越来越差。我常用的策略是动态阈值法。每个类别都有独立的置信度阈值样本多的类别阈值设高一点样本少的类别阈值设低一点这样才能让少数类样本也有机会进入训练集。还可以借助数据增强对少数类样本做更强的扰动提升模型在这些区域的鲁棒性。不要忘记在评估指标里多关注各类别的F1分数而不是只看宏观准确率。6.3 图方法在大规模数据上的工程化问题标签传播类方法在超过十万级节点时邻接矩阵的构建会迅速吃掉内存。常规解法是用近似最近邻搜索比如用nmslib或faiss先找出每个节点的近邻再只在这些近邻之间构造边权重。这样做既保留了局部图结构又避免了全图邻接矩阵的爆炸。还有一个容易被忽视的问题图结构中的孤立子图。如果某簇未标注样本和所有有标签样本都不连通标签根本传不进去。处理办法是给图增加一个虚拟的全局节点让簇间保留弱连接但要注意把虚拟节点的传播系数调低避免过度平滑。6.4 算法选型速查基于我踩过的坑我总结出一个选型倾向数据规模小、特征是表格型优先试标签传播 简单分类器数据规模大、特征是图像优先上一致性正则化如FixMatch特征天然多视图协同训练可以一试文本数据且有预训练模型先用伪标签微调再用自训练扩展目标函数需要低密度间隔S3VM但对调参要有心理准备。7. 写在最后的实操心得如果让我从这么多项目里提炼一句给新手的建议那就是不要一开始就沉迷在复杂算法的细节里先把数据分布、标签质量、评估维度这三样基础性工作做到位。我自己在第一次用半监督做项目时犯过一个典型的错。当时模型在验证集上的准确率从82%提到了91%我一度以为大功告成。后来把预测结果拿到业务方那边做人工抽查才发现模型只是把大量原本不确定的样本往多数类上推少数类别的召回率反而掉了快10个点。从那以后我每次做半监督实验都会强制自己分层查看各类别的具体表现也会专门抽几百条新增伪标签做人工复核。再分享一个细节技巧半监督训练过程中的模型参数不要直接拿最后一轮的结果。实践中在迭代过程中对模型权重做指数滑动平均EMA往往能得到更平滑、更稳定的预测结果尤其在伪标签噪声阶段性扰动较大的场景下这种做法的优势特别明显。许多主流半监督方法内部都内置了类似机制如果你手写自训练流程建议也把这个机制加上效果差距常常就在这里拉开。最后想说的是半监督学习不是和人工标注唱对台戏而是把机器学习模型对数据的利用效率推到更高水位。在真金白银的落地环境中“标注不够、数据来凑”不是一句空话只要算法选型、阈值控制、评估口径这三关都过了半监督完全可以成为工程工具箱里那把高频使用的螺丝刀。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
