Cleanlab 多标注者数据分析指南CROWDLAB 标签质量评估与 ActiveLab 主动学习实战【免费下载链接】cleanlabCleanlabs open-source library is the standard>项目地址: https://gitcode.com/GitHub_Trending/cl/cleanlab本指南基于 cleanlab 开源仓库中的cleanlab.multiannotator模块文档源文件为 docs/source/cleanlab/multiannotator.rst该文档通过automodule自动收录 cleanlab/multiannotator.py 中全部公开函数的完整 docstring系统讲解多标注者multiple annotators场景下的标签质量分析与主动学习选样。你将掌握两套核心 API用于评估既有数据标注质量的 CROWDLAB 方法get_label_quality_multiannotator和用于决定接下来该为哪些样本补标的 ActiveLab 方法get_active_learning_scores并能结合源码理解其加权聚合、概率校准与集成的底层原理。一、模块定位多标注者数据的两大类问题cleanlab.multiannotator模块面向所有一条样本被多个标注者人/众包工人/模型独立打标的分类任务。它把多标注者问题划分为两种不同的使用场景对应两套算法固定数据集分析CROWDLAB数据集已经标注完成每个样本可能由不同数量的标注者打标。使用get_label_quality_multiannotator估计每个样本的共识标签consensus label该聚合比简单的多数投票majority vote或其他众包聚合算法如 Dawid-Skene更准确每个共识标签的质量分数度量该标签为正确的置信度每个标注者为某样本所给的单个标签的质量分数每个标注者的整体质量分数度量该标注者所给标签整体正确的置信度。其算法细节来源于 CROWDLAB 论文arXiv:2210.06812。主动学习ActiveLab部分样本已有标签、部分样本尚无标签甚至可能全部无标签需要决定接下来为哪些样本收集额外标签最划算。使用get_active_learning_scores为每个样本估计 ActiveLab 质量分数分数越低代表当前数据下对该样本真实标签越不确定为其补标的信息增益越大。其算法细节来源于 ActiveLab 论文arXiv:2301.11856。此外模块还提供了基于**多模型集成ensemble**的变体函数适用于已训练多个分类器模型的场景。二、数据格式如何组织多标注者标签2.1 宽表格式wide format两个主函数get_label_quality_multiannotator、get_active_learning_scores要求labels_multiannotator为形状(N, M)的二维 pandas DataFrame 或 NumPy 数组N为样本数M为标注者数labels_multiannotator[n][m]表示第m个标注者给第n个样本的标签每个标签必须是0, 1, ..., K-1的整数K 为类别数如果该标注者没有标注该样本则填NaN若使用 pandas DataFrame列名应对应每个标注者的 ID允许非数值 ID测试test_multiannotator.py中用labels.add_prefix(anno_)验证了字符串列名场景每个样本的标注者数量可以不同函数通过np.sum(~np.isnan(labels), axis1)统计每个样本的num_annotations。如果标签是字符串或其他格式可通过 cleanlab/internal/multiannotator_utils.py 中的format_multiannotator_labels转换为正确格式。2.2 长表转宽表实际生产环境中的标注数据通常以**长表long format**存储每条记录一行包含task样本 ID、annotator标注者 ID、label该标注者给出的标签三列。模块提供convert_long_to_wide_dataset直接完成转换from cleanlab.multiannotator import convert_long_to_wide_dataset, get_label_quality_multiannotator labels_multiannotator_wide convert_long_to_wide_dataset(labels_multiannotator_long) # 内部实现等价于: labels_multiannotator_long.pivot(indextask, columnsannotator, valueslabel)其源码cleanlab/multiannotator.py 中convert_long_to_wide_dataset要求输入 DataFrame 必须包含名为task、annotator、label的三列返回的宽表即可直接作为labels_multiannotator传入其他函数。三、CROWDLAB固定多标注数据集的标签质量评估3.1 函数签名与参数详解from cleanlab.multiannotator import get_label_quality_multiannotator labels_info get_label_quality_multiannotator( labels_multiannotator, # (N, M) 的多标注者标签pd.DataFrame 或 np.ndarray pred_probs, # (N, K) 的分类器预测概率格式与 cleanlab.rank.get_label_quality_scores 一致 consensus_methodbest_quality, # str 或 List[str]共识标签的聚合方法 quality_methodcrowdlab, # crowdlab 或 agreement calibrate_probsFalse, # 是否对 pred_probs 做温度缩放校准 return_detailed_qualityTrue, # 是否返回 detailed_label_quality return_annotator_statsTrue, # 是否返回 annotator_stats return_weightsFalse, # 是否返回 model_weight 与 annotator_weight verboseTrue, # 是否打印重要警告 label_quality_score_kwargs{}, # 透传给 cleanlab.rank.get_label_quality_scores 的关键字参数 )各参数核心要点源码 docstring 与实现双重印证consensus_method默认best_quality指定聚合共识标签的方法。majority_vote简单多数投票平局时用pred_probs破平best_quality选择标签质量最高的类别作为共识质量由quality_method决定可传入列表以同时计算多种方法列表第 0 个元素作为主方法产出consensus_label、consensus_quality_score、annotator_agreement三列其余元素以consensus_label_SUFFIX、consensus_quality_score_SUFFIX等后缀列输出。quality_method默认crowdlab计算共识标签质量的方法。crowdlab集成方法同时权衡标注者标签与模型预测agreement与共识标签一致的标注者比例即annotator_agreement本身。calibrate_probs默认False是否用温度缩放将pred_probs重校准以匹配标注者经验标签分布。主动学习场景强烈建议置为True可防止过于自信overconfident的模型推荐错误的待补标样本。源码中通过find_best_temp_scaler搜索最优温度、temp_scale_pred_probs执行缩放。return_weights默认False是否返回model_weight与annotator_weight仅对quality_method crowdlab有效其他 quality 方法下返回None。若在非 crowdlab 下置 True源码会抛出ValueError。label_quality_score_kwargs透传给cleanlab.rank.get_label_quality_scores例如{method: normalized_margin}测试tests/test_multiannotator.py中对此有明确用例。3.2 返回值结构函数返回字典labels_info包含最多 5 个键键类型内容label_qualitypd.DataFrame每行一个样本列num_annotations该样本被标注的次数、consensus_label共识标签、annotator_agreement与共识一致的标注者比例仅统计标注过该样本的人、consensus_quality_score共识标签质量分数detailed_label_qualitypd.DataFrame仅当return_detailed_qualityTrue列名为quality_annotator_1…quality_annotator_M每个条目是某标注者对某样本所给标签的质量分数未标注处为NaNannotator_statspd.DataFrame仅当return_annotator_statsTrue每行一个标注者行索引为标注者 ID按annotator_quality升序排列列annotator_quality、num_examples_labeled、agreement_with_consensus、worst_class该标注者最常标错的类别model_weightfloat仅当return_weightsTrue模型在加权平均中的权重是对模型相对标注者有多可信的估计annotator_weightnp.ndarray仅当return_weightsTrue形状(M,)每个标注者在加权平均中的权重是对各标注者相对彼此有多可信的估计所有质量分数取值都在[0, 1]之间分数越低表示标签/标注者越可能出错测试tests/test_multiannotator.py中test_label_quality_scores_multiannotator专门断言了这些分数与annotator_agreement的取值区间。3.3 CROWDLAB 加权后验的核心机制源码级原理从源码_get_consensus_stats→_get_post_pred_probs_and_weights的调用链可以看到quality_methodcrowdlab时标签质量估计的核心是计算后验预测概率post_pred_probs一致性似然估计计算标注者与共识标签一致的平均比例consensus_likelihood以及非一致似然(1 - consensus_likelihood) / (K - 1)作为任意标注者标注某类的似然建模。最可能类别错误率在num_annotations ! 1的子集上用np.clip(..., a_minCLIPPING_LOWER_BOUND)防止除零常量定义于 cleanlab/internal/constants.py。调整后的标注者一致性先算每个标注者与其他标注者的平均一致性_get_annotator_agreement_with_annotators再除以最可能类别错误率得到adjusted_annotator_agreement即标注者权重annotator_weight若某标注者与其他人无重叠样本则用全体平均一致性填补并打印警告。模型权重model_weight max(1 - model_error / most_likely_class_error, CLIPPING_LOWER_BOUND) * sqrt(mean(num_annotations))即模型相对最可能类别错误的准确度并乘以平均标注人数的平方根。加权平均post_pred_probs由prior_pred_probs * model_weight与各标注者标签的似然项加权求和后归一化得到随后_get_consensus_quality_score调用cleanlab.rank.get_label_quality_scores(consensus_label, post_pred_probs)计算共识质量分数。这解释了为何 CROWDLAB 能同时利用模型预测与标注者信息每个样本的后验同时受模型先验和加权后的标注者标签约束。quality_methodagreement则更简单后验直接取label_counts / num_annotations各类标注计数占比共识质量分数直接等于annotator_agreement。3.4 共识标签的生成与破平逻辑get_majority_vote_label独立公开返回每个样本的多数投票标签其破平顺序源码 cleanlab/multiannotator.py 第 980-1050 行为若提供pred_probs选模型预测概率最高的候选类若仍平局选经验类别频率最低的类偏向防止扩大类别不平衡若仍平局基于初始标注者质量用非平局样本统计的各标注者与共识一致性均值选分最高的类最后用随机选择破平并warnings.warn提示设置随机种子以保证可复现。best_quality共识标签则是取后验MV_post_pred_probs中概率最大的类别作为共识仅当最大值唯一时否则回退到多数投票标签。注意当某个类别在共识标签中完全消失时check_consensus_label_classes会发出警告verboseTrue时。四、ActiveLab决定接下来为哪些样本补标4.1 函数签名与参数详解from cleanlab.multiannotator import get_active_learning_scores active_learning_scores, active_learning_scores_unlabeled get_active_learning_scores( labels_multiannotatorNone, # (N, M) 已标注样本的标签只算无标签样本时可省略 pred_probsNone, # (N, K) 已标注样本的模型预测概率 pred_probs_unlabeledNone, # (N, K) 无标签样本的模型预测概率 )该函数专为主动学习设计支持三种调用组合只传labels_multiannotatorpred_probs得到已标注样本的 ActiveLab 分数只传pred_probs_unlabeled得到无标签样本的分数三者全传同时得到两类分数且两者可直接比较源码注释明确说明。若两个pred_probs都为None或传了pred_probs却没传labels_multiannotator源码会抛出ValueError。另外该函数也支持**只有一个标注者M1**的数据集此时不做温度缩放optimal_temp 1.0共识质量直接用get_label_quality_scores(consensus_label, pred_probs)计算。4.2 返回分数与使用建议active_learning_scores形状(N,)若未提供已标注数据则为空数组。active_learning_scores_unlabeled形状(N,)若未提供无标签数据则为空数组。分数取值在[0, 1]分数越低越值得优先补标。源码显示分数的计算方式是对已标注样本将共识质量分数与随机猜测基准1 / num_classes做加权平均权重分别为(该样本标注者权重之和 模型权重)与平均标注者权重对无标签样本则将max(pred_probs_unlabeled, axis1)模型对最高置信类别的概率与1 / num_classes做同样加权平均。因此 ActiveLab 分数本质上是模型与标注者加权后的标签可信度与随机猜测之间的折中越低说明越需要额外标注来消除不确定性。使用预算的推荐循环来自模块 docstring选一批分数最低的样本为每个样本收集一条额外标签重训分类器后重复此过程即可用最少的标注预算最大化模型收益。模块还提到一个使用 ActiveLab 做重标注的官方示例 notebookactive_learning_multiannotator/active_learning.ipynb。4.3 主动学习中的概率校准get_active_learning_scores在标注者数大于 1 时会自动执行温度缩放先find_best_temp_scaler(labels_multiannotator, pred_probs)找到最优温度再temp_scale_pred_probs重校准概率再用校准后的概率进入 CROWDLAB 流程取consensus_quality_score与权重。这正是 docstring 建议在主动学习中开启calibrate_probsTrue对应 CROWDLAB 场景的原因——避免过自信模型的预测概率误导补标选择。五、集成Ensemble变体当你有P个已训练好的分类器时使用两个 ensemble 变体源码 cleanlab/multiannotator.py 中get_label_quality_multiannotator_ensemble与get_active_learning_scores_ensembleget_label_quality_multiannotator_ensemble(labels_multiannotator, pred_probs, ...)pred_probs形状为(P, N, K)。内部先对P个模型求平均预测概率再走多数投票与 CROWDLAB 加权流程model_weight返回形状(P,)的数组每个模型一个权重annotator_stats评分时使用np.mean(model_weight)源码第 542 行校准概率时对每个模型分别求最优温度。get_active_learning_scores_ensemble(...)同样的(P, N, K)格式对无标签数据用get_label_quality_scores(consensus_label_unlabeled, modified_pred_probs_unlabeled)计算分数其中modified_pred_probs_unlabeled将模型预测与1/num_classes基准按(model_weight, avg_annotator_weight)加权拼接后取平均。集成场景下的注意点多数投票破平与加权逻辑均在模型平均预测上执行因此 ensemble 版本输出的共识标签与权重更能抵抗单一模型的偏差。六、输入校验与常见报错模块依赖 cleanlab/internal/multiannotator_utils.py 中的assert_valid_inputs_multiannotator与assert_valid_pred_probs做输入校验。常见报错与原因均有测试覆盖于 tests/test_multiannotator.pylabels_multiannotator must be either a NumPy array or Pandas DataFrame传入类型不合法pred_probs and pred_probs_unlabeled cannot both be NoneActiveLab 至少需提供一种预测概率labels_multiannotator cannot be None when passing in pred_probsActiveLab 传了已标注预测却没传标签... is not a valid consensus method!/... is not a valid quality method!consensus_method只接受majority_vote/best_qualityquality_method只接受crowdlab/agreementModel and annotator weights are only applicable to the crowdlab quality methodreturn_weightsTrue时quality_method必须为crowdlab平局随机破平时会warnings.warn提示设置随机种子。七、最小可运行示例以下示例将两个 API 串联使用数据组织、评估与补标决策一体化import numpy as np import pandas as pd from cleanlab.multiannotator import ( convert_long_to_wide_dataset, get_label_quality_multiannotator, get_active_learning_scores, ) # 1) 长表标注数据 → 宽表 labels_long pd.DataFrame({ task: [0, 0, 1, 1, 1, 2], annotator: [A, B, A, B, C, A], label: [1, 1, 0, 1, 0, 2], }) labels_multiannotator convert_long_to_wide_dataset(labels_long) # 2) 已训练分类器对 3 个样本的预测概率 (N3, K3) pred_probs np.array([ [0.05, 0.90, 0.05], [0.60, 0.30, 0.10], [0.10, 0.20, 0.70], ]) # 3) CROWDLAB评估既有标注质量 labels_info get_label_quality_multiannotator( labels_multiannotator, pred_probs, consensus_methodbest_quality, quality_methodcrowdlab, return_weightsTrue, ) print(labels_info[label_quality]) # num_annotations / consensus_label / consensus_quality_score / annotator_agreement print(labels_info[annotator_stats]) # 每位标注者的质量、标注数、与共识一致性、最常标错类别 print(labels_info[model_weight], labels_info[annotator_weight]) # 4) ActiveLab决定为哪些新样本补标pred_probs_unlabeled 为 3 个无标签样本的预测 pred_probs_unlabeled np.array([ [0.40, 0.35, 0.25], [0.20, 0.20, 0.60], [0.55, 0.30, 0.15], ]) scores_labeled, scores_unlabeled get_active_learning_scores( labels_multiannotator, pred_probs, pred_probs_unlabeled ) # 分数越低越值得优先补标两类分数可直接比较 print(scores_labeled, scores_unlabeled)上述数据经过温度缩放与加权后验计算consensus_label、consensus_quality_score与 ActiveLab 分数即可用于数据清洗与补标排期。八、小结cleanlab.multiannotator将多标注者这一现实高频问题收敛为两条清晰的技术路线CROWDLAB 负责看清现状——用模型先验与标注者一致性加权产出共识标签、标签质量分数与标注者画像annotator_stats中的worst_class甚至能直接指出某标注者最常标错的类别可用于针对性培训或降权ActiveLab 负责规划未来——在预算约束下选出最值得补标的样本。两个方向都提供了单模型与多模型集成两种实现且集成变体的model_weight数组可分别刻画每个模型的可靠性。结合 cleanlab/rank.py 的get_label_quality_scores与 cleanlab/internal/multiannotator_utils.py 的校准工具你可以把多标注者数据质量分析完整接入自己的数据流水线。【免费下载链接】cleanlabCleanlabs open-source library is the standard>项目地址: https://gitcode.com/GitHub_Trending/cl/cleanlab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Cleanlab 多标注者数据分析指南CROWDLAB 标签质量评估与 ActiveLab 主动学习实战【免费下载链接】cleanlabCleanlabs open-source library is the standard>项目地址: https://gitcode.com/GitHub_Trending/cl/cleanlab本指南基于 cleanlab 开源仓库中的cleanlab.multiannotator模块文档源文件为 docs/source/cleanlab/multiannotator.rst该文档通过automodule自动收录 cleanlab/multiannotator.py 中全部公开函数的完整 docstring系统讲解多标注者multiple annotators场景下的标签质量分析与主动学习选样。你将掌握两套核心 API用于评估既有数据标注质量的 CROWDLAB 方法get_label_quality_multiannotator和用于决定接下来该为哪些样本补标的 ActiveLab 方法get_active_learning_scores并能结合源码理解其加权聚合、概率校准与集成的底层原理。一、模块定位多标注者数据的两大类问题cleanlab.multiannotator模块面向所有一条样本被多个标注者人/众包工人/模型独立打标的分类任务。它把多标注者问题划分为两种不同的使用场景对应两套算法固定数据集分析CROWDLAB数据集已经标注完成每个样本可能由不同数量的标注者打标。使用get_label_quality_multiannotator估计每个样本的共识标签consensus label该聚合比简单的多数投票majority vote或其他众包聚合算法如 Dawid-Skene更准确每个共识标签的质量分数度量该标签为正确的置信度每个标注者为某样本所给的单个标签的质量分数每个标注者的整体质量分数度量该标注者所给标签整体正确的置信度。其算法细节来源于 CROWDLAB 论文arXiv:2210.06812。主动学习ActiveLab部分样本已有标签、部分样本尚无标签甚至可能全部无标签需要决定接下来为哪些样本收集额外标签最划算。使用get_active_learning_scores为每个样本估计 ActiveLab 质量分数分数越低代表当前数据下对该样本真实标签越不确定为其补标的信息增益越大。其算法细节来源于 ActiveLab 论文arXiv:2301.11856。此外模块还提供了基于**多模型集成ensemble**的变体函数适用于已训练多个分类器模型的场景。二、数据格式如何组织多标注者标签2.1 宽表格式wide format两个主函数get_label_quality_multiannotator、get_active_learning_scores要求labels_multiannotator为形状(N, M)的二维 pandas DataFrame 或 NumPy 数组N为样本数M为标注者数labels_multiannotator[n][m]表示第m个标注者给第n个样本的标签每个标签必须是0, 1, ..., K-1的整数K 为类别数如果该标注者没有标注该样本则填NaN若使用 pandas DataFrame列名应对应每个标注者的 ID允许非数值 ID测试test_multiannotator.py中用labels.add_prefix(anno_)验证了字符串列名场景每个样本的标注者数量可以不同函数通过np.sum(~np.isnan(labels), axis1)统计每个样本的num_annotations。如果标签是字符串或其他格式可通过 cleanlab/internal/multiannotator_utils.py 中的format_multiannotator_labels转换为正确格式。2.2 长表转宽表实际生产环境中的标注数据通常以**长表long format**存储每条记录一行包含task样本 ID、annotator标注者 ID、label该标注者给出的标签三列。模块提供convert_long_to_wide_dataset直接完成转换from cleanlab.multiannotator import convert_long_to_wide_dataset, get_label_quality_multiannotator labels_multiannotator_wide convert_long_to_wide_dataset(labels_multiannotator_long) # 内部实现等价于: labels_multiannotator_long.pivot(indextask, columnsannotator, valueslabel)其源码cleanlab/multiannotator.py 中convert_long_to_wide_dataset要求输入 DataFrame 必须包含名为task、annotator、label的三列返回的宽表即可直接作为labels_multiannotator传入其他函数。三、CROWDLAB固定多标注数据集的标签质量评估3.1 函数签名与参数详解from cleanlab.multiannotator import get_label_quality_multiannotator labels_info get_label_quality_multiannotator( labels_multiannotator, # (N, M) 的多标注者标签pd.DataFrame 或 np.ndarray pred_probs, # (N, K) 的分类器预测概率格式与 cleanlab.rank.get_label_quality_scores 一致 consensus_methodbest_quality, # str 或 List[str]共识标签的聚合方法 quality_methodcrowdlab, # crowdlab 或 agreement calibrate_probsFalse, # 是否对 pred_probs 做温度缩放校准 return_detailed_qualityTrue, # 是否返回 detailed_label_quality return_annotator_statsTrue, # 是否返回 annotator_stats return_weightsFalse, # 是否返回 model_weight 与 annotator_weight verboseTrue, # 是否打印重要警告 label_quality_score_kwargs{}, # 透传给 cleanlab.rank.get_label_quality_scores 的关键字参数 )各参数核心要点源码 docstring 与实现双重印证consensus_method默认best_quality指定聚合共识标签的方法。majority_vote简单多数投票平局时用pred_probs破平best_quality选择标签质量最高的类别作为共识质量由quality_method决定可传入列表以同时计算多种方法列表第 0 个元素作为主方法产出consensus_label、consensus_quality_score、annotator_agreement三列其余元素以consensus_label_SUFFIX、consensus_quality_score_SUFFIX等后缀列输出。quality_method默认crowdlab计算共识标签质量的方法。crowdlab集成方法同时权衡标注者标签与模型预测agreement与共识标签一致的标注者比例即annotator_agreement本身。calibrate_probs默认False是否用温度缩放将pred_probs重校准以匹配标注者经验标签分布。主动学习场景强烈建议置为True可防止过于自信overconfident的模型推荐错误的待补标样本。源码中通过find_best_temp_scaler搜索最优温度、temp_scale_pred_probs执行缩放。return_weights默认False是否返回model_weight与annotator_weight仅对quality_method crowdlab有效其他 quality 方法下返回None。若在非 crowdlab 下置 True源码会抛出ValueError。label_quality_score_kwargs透传给cleanlab.rank.get_label_quality_scores例如{method: normalized_margin}测试tests/test_multiannotator.py中对此有明确用例。3.2 返回值结构函数返回字典labels_info包含最多 5 个键键类型内容label_qualitypd.DataFrame每行一个样本列num_annotations该样本被标注的次数、consensus_label共识标签、annotator_agreement与共识一致的标注者比例仅统计标注过该样本的人、consensus_quality_score共识标签质量分数detailed_label_qualitypd.DataFrame仅当return_detailed_qualityTrue列名为quality_annotator_1…quality_annotator_M每个条目是某标注者对某样本所给标签的质量分数未标注处为NaNannotator_statspd.DataFrame仅当return_annotator_statsTrue每行一个标注者行索引为标注者 ID按annotator_quality升序排列列annotator_quality、num_examples_labeled、agreement_with_consensus、worst_class该标注者最常标错的类别model_weightfloat仅当return_weightsTrue模型在加权平均中的权重是对模型相对标注者有多可信的估计annotator_weightnp.ndarray仅当return_weightsTrue形状(M,)每个标注者在加权平均中的权重是对各标注者相对彼此有多可信的估计所有质量分数取值都在[0, 1]之间分数越低表示标签/标注者越可能出错测试tests/test_multiannotator.py中test_label_quality_scores_multiannotator专门断言了这些分数与annotator_agreement的取值区间。3.3 CROWDLAB 加权后验的核心机制源码级原理从源码_get_consensus_stats→_get_post_pred_probs_and_weights的调用链可以看到quality_methodcrowdlab时标签质量估计的核心是计算后验预测概率post_pred_probs一致性似然估计计算标注者与共识标签一致的平均比例consensus_likelihood以及非一致似然(1 - consensus_likelihood) / (K - 1)作为任意标注者标注某类的似然建模。最可能类别错误率在num_annotations ! 1的子集上用np.clip(..., a_minCLIPPING_LOWER_BOUND)防止除零常量定义于 cleanlab/internal/constants.py。调整后的标注者一致性先算每个标注者与其他标注者的平均一致性_get_annotator_agreement_with_annotators再除以最可能类别错误率得到adjusted_annotator_agreement即标注者权重annotator_weight若某标注者与其他人无重叠样本则用全体平均一致性填补并打印警告。模型权重model_weight max(1 - model_error / most_likely_class_error, CLIPPING_LOWER_BOUND) * sqrt(mean(num_annotations))即模型相对最可能类别错误的准确度并乘以平均标注人数的平方根。加权平均post_pred_probs由prior_pred_probs * model_weight与各标注者标签的似然项加权求和后归一化得到随后_get_consensus_quality_score调用cleanlab.rank.get_label_quality_scores(consensus_label, post_pred_probs)计算共识质量分数。这解释了为何 CROWDLAB 能同时利用模型预测与标注者信息每个样本的后验同时受模型先验和加权后的标注者标签约束。quality_methodagreement则更简单后验直接取label_counts / num_annotations各类标注计数占比共识质量分数直接等于annotator_agreement。3.4 共识标签的生成与破平逻辑get_majority_vote_label独立公开返回每个样本的多数投票标签其破平顺序源码 cleanlab/multiannotator.py 第 980-1050 行为若提供pred_probs选模型预测概率最高的候选类若仍平局选经验类别频率最低的类偏向防止扩大类别不平衡若仍平局基于初始标注者质量用非平局样本统计的各标注者与共识一致性均值选分最高的类最后用随机选择破平并warnings.warn提示设置随机种子以保证可复现。best_quality共识标签则是取后验MV_post_pred_probs中概率最大的类别作为共识仅当最大值唯一时否则回退到多数投票标签。注意当某个类别在共识标签中完全消失时check_consensus_label_classes会发出警告verboseTrue时。四、ActiveLab决定接下来为哪些样本补标4.1 函数签名与参数详解from cleanlab.multiannotator import get_active_learning_scores active_learning_scores, active_learning_scores_unlabeled get_active_learning_scores( labels_multiannotatorNone, # (N, M) 已标注样本的标签只算无标签样本时可省略 pred_probsNone, # (N, K) 已标注样本的模型预测概率 pred_probs_unlabeledNone, # (N, K) 无标签样本的模型预测概率 )该函数专为主动学习设计支持三种调用组合只传labels_multiannotatorpred_probs得到已标注样本的 ActiveLab 分数只传pred_probs_unlabeled得到无标签样本的分数三者全传同时得到两类分数且两者可直接比较源码注释明确说明。若两个pred_probs都为None或传了pred_probs却没传labels_multiannotator源码会抛出ValueError。另外该函数也支持**只有一个标注者M1**的数据集此时不做温度缩放optimal_temp 1.0共识质量直接用get_label_quality_scores(consensus_label, pred_probs)计算。4.2 返回分数与使用建议active_learning_scores形状(N,)若未提供已标注数据则为空数组。active_learning_scores_unlabeled形状(N,)若未提供无标签数据则为空数组。分数取值在[0, 1]分数越低越值得优先补标。源码显示分数的计算方式是对已标注样本将共识质量分数与随机猜测基准1 / num_classes做加权平均权重分别为(该样本标注者权重之和 模型权重)与平均标注者权重对无标签样本则将max(pred_probs_unlabeled, axis1)模型对最高置信类别的概率与1 / num_classes做同样加权平均。因此 ActiveLab 分数本质上是模型与标注者加权后的标签可信度与随机猜测之间的折中越低说明越需要额外标注来消除不确定性。使用预算的推荐循环来自模块 docstring选一批分数最低的样本为每个样本收集一条额外标签重训分类器后重复此过程即可用最少的标注预算最大化模型收益。模块还提到一个使用 ActiveLab 做重标注的官方示例 notebookactive_learning_multiannotator/active_learning.ipynb。4.3 主动学习中的概率校准get_active_learning_scores在标注者数大于 1 时会自动执行温度缩放先find_best_temp_scaler(labels_multiannotator, pred_probs)找到最优温度再temp_scale_pred_probs重校准概率再用校准后的概率进入 CROWDLAB 流程取consensus_quality_score与权重。这正是 docstring 建议在主动学习中开启calibrate_probsTrue对应 CROWDLAB 场景的原因——避免过自信模型的预测概率误导补标选择。五、集成Ensemble变体当你有P个已训练好的分类器时使用两个 ensemble 变体源码 cleanlab/multiannotator.py 中get_label_quality_multiannotator_ensemble与get_active_learning_scores_ensembleget_label_quality_multiannotator_ensemble(labels_multiannotator, pred_probs, ...)pred_probs形状为(P, N, K)。内部先对P个模型求平均预测概率再走多数投票与 CROWDLAB 加权流程model_weight返回形状(P,)的数组每个模型一个权重annotator_stats评分时使用np.mean(model_weight)源码第 542 行校准概率时对每个模型分别求最优温度。get_active_learning_scores_ensemble(...)同样的(P, N, K)格式对无标签数据用get_label_quality_scores(consensus_label_unlabeled, modified_pred_probs_unlabeled)计算分数其中modified_pred_probs_unlabeled将模型预测与1/num_classes基准按(model_weight, avg_annotator_weight)加权拼接后取平均。集成场景下的注意点多数投票破平与加权逻辑均在模型平均预测上执行因此 ensemble 版本输出的共识标签与权重更能抵抗单一模型的偏差。六、输入校验与常见报错模块依赖 cleanlab/internal/multiannotator_utils.py 中的assert_valid_inputs_multiannotator与assert_valid_pred_probs做输入校验。常见报错与原因均有测试覆盖于 tests/test_multiannotator.pylabels_multiannotator must be either a NumPy array or Pandas DataFrame传入类型不合法pred_probs and pred_probs_unlabeled cannot both be NoneActiveLab 至少需提供一种预测概率labels_multiannotator cannot be None when passing in pred_probsActiveLab 传了已标注预测却没传标签... is not a valid consensus method!/... is not a valid quality method!consensus_method只接受majority_vote/best_qualityquality_method只接受crowdlab/agreementModel and annotator weights are only applicable to the crowdlab quality methodreturn_weightsTrue时quality_method必须为crowdlab平局随机破平时会warnings.warn提示设置随机种子。七、最小可运行示例以下示例将两个 API 串联使用数据组织、评估与补标决策一体化import numpy as np import pandas as pd from cleanlab.multiannotator import ( convert_long_to_wide_dataset, get_label_quality_multiannotator, get_active_learning_scores, ) # 1) 长表标注数据 → 宽表 labels_long pd.DataFrame({ task: [0, 0, 1, 1, 1, 2], annotator: [A, B, A, B, C, A], label: [1, 1, 0, 1, 0, 2], }) labels_multiannotator convert_long_to_wide_dataset(labels_long) # 2) 已训练分类器对 3 个样本的预测概率 (N3, K3) pred_probs np.array([ [0.05, 0.90, 0.05], [0.60, 0.30, 0.10], [0.10, 0.20, 0.70], ]) # 3) CROWDLAB评估既有标注质量 labels_info get_label_quality_multiannotator( labels_multiannotator, pred_probs, consensus_methodbest_quality, quality_methodcrowdlab, return_weightsTrue, ) print(labels_info[label_quality]) # num_annotations / consensus_label / consensus_quality_score / annotator_agreement print(labels_info[annotator_stats]) # 每位标注者的质量、标注数、与共识一致性、最常标错类别 print(labels_info[model_weight], labels_info[annotator_weight]) # 4) ActiveLab决定为哪些新样本补标pred_probs_unlabeled 为 3 个无标签样本的预测 pred_probs_unlabeled np.array([ [0.40, 0.35, 0.25], [0.20, 0.20, 0.60], [0.55, 0.30, 0.15], ]) scores_labeled, scores_unlabeled get_active_learning_scores( labels_multiannotator, pred_probs, pred_probs_unlabeled ) # 分数越低越值得优先补标两类分数可直接比较 print(scores_labeled, scores_unlabeled)上述数据经过温度缩放与加权后验计算consensus_label、consensus_quality_score与 ActiveLab 分数即可用于数据清洗与补标排期。八、小结cleanlab.multiannotator将多标注者这一现实高频问题收敛为两条清晰的技术路线CROWDLAB 负责看清现状——用模型先验与标注者一致性加权产出共识标签、标签质量分数与标注者画像annotator_stats中的worst_class甚至能直接指出某标注者最常标错的类别可用于针对性培训或降权ActiveLab 负责规划未来——在预算约束下选出最值得补标的样本。两个方向都提供了单模型与多模型集成两种实现且集成变体的model_weight数组可分别刻画每个模型的可靠性。结合 cleanlab/rank.py 的get_label_quality_scores与 cleanlab/internal/multiannotator_utils.py 的校准工具你可以把多标注者数据质量分析完整接入自己的数据流水线。【免费下载链接】cleanlabCleanlabs open-source library is the standard>项目地址: https://gitcode.com/GitHub_Trending/cl/cleanlab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
