简介《阿里研究院2024大模型训练数据白皮书》以PDF形式呈现面向大模型研发、数据治理与政策研究读者系统梳理训练数据从重要性、类型划分到高质量标准、合成数据供给及合规治理的完整议题。压缩包内共1个PDF文件大小约11.93MB便于检索、批注与团队传阅。已有323人学习下载适合作为语言模型数据工作的参考范文与素材。内容围绕训练数据对大模型发展的基础作用、大语言模型与多模态模型的数据特征、中文语料短缺等常见误解展开并讨论高质量数据的三重不确定性、合成数据的定义生成方法与在预训练和对齐中的作用后段比较中美训练数据生态结合阿里巴巴集团实践提出以更开放务实方式解决高质量数据供给。读者可据此快速建立大模型数据治理框架理解合成数据方案与政企协同路径并获取可用于汇报、立项和合规讨论的目录化知识线索。1. 一份把“训练数据”讲透的行业白皮书写方案时能直接引用的那几页上周有同行问我语言模型项目的数据方案里语料那一页怎么写才不像硬凑——列几个来源、写个 TB 数、再补一句持续扩充评审一追问就露怯。这份由某头部互联网研究院发布的大模型训练数据白皮书正好补的就是这一页它不谈模型结构只拆数据从训练三个阶段各自的语料画像到高质量为什么没法用一套前置标准定义再到合成数据怎么补供给缺口八个章节基本把训练数据的选型、评估、治理讲完了。适合三类人要给模型项目写数据方案的算法与数据工程同学、需要向非技术方解释为什么不用你的个人数据的产品同学以及要写汇报材料、找现成论述框架和素材模板的人。它不是操作手册但给出了足够多的判断依据让你在配比、清洗、合成这几步上不靠拍脑袋。2. 三个阶段三种语料预训练求“广”、对齐求“齐”、领域求“专”的落表方法2.1 先分清阶段再谈语料好坏很多人一上来就问什么语料算高质量这个问题在阶段没定之前没有答案。白皮书把大模型训练切成预训练、监督微调、基于人类反馈的强化学习三段后两段合称对齐。这三段对语料的要求是三个方向预训练要广吃的是世界知识网页、书籍、新闻、论文期刊、对话文本、代码都算目标是让模型建立起对客观世界规律的基础理解对齐要齐数据量可以很小但必须来自人类的高质量反馈微调阶段是人工设计问答、编写标准答案强化学习阶段是人对多个回答做打分和排序让模型知道怎么说更好落到行业模型上还要专工业、金融、医疗这类场景需要专业数据库、专业文档、专业站点做继续预训练和对齐深度比广度重要。把这三段混着谈最常见的后果是拿预训练的思路去做对齐——堆几十万条问答对结果模型回答变得又长又空。白皮书里给了一个很值得记住的例子有研究从技术问答社区里精选高赞语料配上手工整理的问答对拢共约一千条高质量微调数据在模型对齐能力上效果很好。一千条这个量级放在预训练里连零头都算不上但在对齐阶段就是有效投入。多模态是另一条线。图像-文本对让模型学像素之间以及文字与图像之间的关联视频-文本对还要额外学时间序列和动态变化所以视频数据的标注成本远高于图片清洗时也不能只按清晰度打分得看事件描述的完整度。这一段落到方案里最实用的做法是把语料按阶段和模态拆成矩阵而不是拉一张大清单。训练阶段语料特征典型来源规模量级质量门槛常见误用预训练广覆盖世界知识网页、书籍、论文、代码、对话百 GB 到数十 TB去重、去噪、语言识别拿未清洗原始抓取直接灌监督微调齐指令-答案成对人工编写、高赞问答、合成指令千条到十万条答案正确性、格式一致性用预训练语料凑数强化学习对齐齐同一问题的多回答排序人工打分、模型辅助评分万级偏好对标注一致性、评分标准统一只做单回答评分不做排序领域继续训练专行业深度行业库、专业文档、内部工艺数据十 GB 到 TB 级领域专家抽检通用语料比例过高冲淡领域特征这张表的作用不是背下来而是在评审会上被问你这个阶段为什么用这类数据时能立刻答上。参数上我一般会记三个数预训练阶段通用语料与领域语料的比例、微调阶段人工数据与合成数据的比例、强化学习阶段偏好对的一致性抽检通过率。这三个数一摆方案的可信度就上来了。2.2 把语料盘成一张能评审的表方案里最容易被挑毛病的是语料清单只有名字没有属性。我在实际项目里会把清单固定成九个字段缺一个就不让进池子。字段说明取值示例source_id来源唯一标识用于血缘回溯web_crawl_0031modality模态text / image-text / video-textcollect_method采集方式公开抓取 / 授权采购 / 内部沉淀 / 合成license_status授权状态公开可商用 / 仅研究 / 内部受限raw_size原始体量400TB / 1.2GBclean_tokens清洗后有效 token 数305GB 对应估算值lang语言分布zh 0.62 / en 0.35 / other 0.03domain_tag领域标签通用 / 工业 / 金融 / 代码stage阶段归属pretrain / sft / rlhf先说授权状态这一列它是后面所有讨论的前提。公开可商用、仅研究、内部受限这三类混在一个池子里训练出问题时你连哪条数据惹的麻烦都说不清。再说 clean_tokens 这一列很多团队只填原始体量结果一算配比全是虚的——400TB 的原始网页抓取清洗完剩 305GB 是白皮书里明确给出的对比这个留存率放在今天的抓取质量下也不算夸张。清单里必须写清洗后的量配比才有意义。盘点顺序建议是先把已经有的存量按九个字段填完再看缺口。缺口分两种一种是类型缺口比如完全没有代码语料一种是规模缺口有但不够。这两类缺口的补法完全不同前者要找新来源或走合成后者靠扩充采集或数据增强。如果不做这一步盘点直接开会讨论我们要不要买数据基本讨论不出结论。2.3 配比与数据课程把“感觉”写成可改的配置配比这件事最怕写在 PPT 里。写进配置文件才能被复现、被对比、被回滚。我一般用一个 YAML 管住三件事不同来源的采样权重、训练阶段的顺序、以及稀有域的上采样倍率。# corpus_mix.yaml —— 语料配比与课程配置示例值按项目实际调整 pretrain: total_tokens: 300B # 本阶段目标 token 总量 sources: web_clean: {weight: 0.55, min_quality: 0.6} # 清洗后网页质量分下限 books: {weight: 0.12, min_quality: 0.8} # 书籍长依赖能力强 papers: {weight: 0.10, min_quality: 0.8} code: {weight: 0.15, min_quality: 0.7} # 代码提升条件推理 qa_dialog: {weight: 0.08, min_quality: 0.5} curriculum: # 数据课程从通用到专精的先后顺序 - {stage: 1, mix: general, ratio: 0.7} - {stage: 2, mix: general_plus_domain, ratio: 0.3} oversample: rare_domain: 3.0 # 稀有领域上采样倍率防止被主流量淹没 sft: total_samples: 20000 sources: human_written: {weight: 0.7} synthetic: {weight: 0.3, max_ratio: 0.5} # 合成占比硬上限 rlhf: total_pairs: 30000 annotator_agreement_min: 0.75 # 标注一致性低于此值整批退回三个参数值得单独说。min_quality是入池门槛不是排序依据设太低等于没设设太高会把领域语料全挡在外面所以按来源分别设而不是全局一个值。max_ratio给合成数据设硬上限是因为合成数据一旦占比失控模型输出会明显带上老师模型的口癖这个后面第 5 章会细讲。annotator_agreement_min管的是强化学习阶段偏好标注一致性不到 0.75 的批次直接退回重标比训完再发现模型偏好跑偏便宜得多。数据课程这一块白皮书里的说法是按技能集合的顺序组织预训练语料从基础技能到目标技能比直接从专注目标技能的语料库学更有效。翻译成工程动作就是——前段用通用语料把基础能力铺开后段逐步提高领域语料占比而不是一开始就灌满专业文档。我见过反着做的项目前期 loss 掉得飞快中期直接卡住原因就是模型过早收敛到窄分布上去了。3. 高质量数据的判定三重不确定性与质量、规模、多样性三维打分3.1 三重不确定性为什么“高质量标准”注定定不死白皮书里我认为最值钱的一段是把高质量数据的不确定性拆成三层。第一层是语料种类不确定它由人类对模型能力的需求决定而需求本身在变。早期大家觉得对话文本最重要因为目标是连贯对话后来发现通用上下文理解更关键书籍和论文的占比被提上来用来增强长距离依赖再往后大家盯上推理能力代码和教材就成了香饽饽——代码里有大量 if-then-else 的条件控制结构教材里有详细的数学推理链条。这条演进线说明你今天定的高质量清单两年后可能就不适用。第二层是语料形态在演化。同一类语料形态升级后价值完全不同代码从能跑通单个任务的片段升级到仓库级代码模型学的就从单模块实现变成整体架构教材从中小学级别升到大学级别复杂场景下的推理表现跟着变。多模态这边更明显仿真数据、领域知识加工都属于形态改造。第三层是搭配的不确定性也就是数据混合和数据课程。不同类型数据对能力的提升侧重点不一样配比一变泛化能力和下游表现都跟着变。白皮书里那句高质量更多是一种主观判断标准取决于模型的应用目的——因时而动、因人而异、因效而定这句话在评审会上非常好用它能解释为什么你没法交出一份通用高质量数据标准。理解了这三层方案里的写法就要改不要再写我们采用高质量语料而要写针对本次任务的推理能力目标我们提高了代码与教材类语料占比并用小规模消融验证了增益。3.2 质量、规模、多样性三个维度怎么落到指标上同类型语料的质量评估白皮书给了三个维度质量、规模、多样性。质量上优先看来源经过专业标准筛选的内容天然占优——新闻和论文有同行评审在线百科有一群专注编辑者把关对话内容可以看点赞这类积极互动信号多模态素材平台会有设计师对光照、构图、艺术性的专业标注。来源判断不了的用评估模型打分先人工标一小批样本定义可读性、帮助性、安全性几个指标训一个评估模型再把标准推到全量网页上。规模这一维度有个反直觉的点不是越大越好而是高信息密度的语料规模越大越好。白皮书用原始抓取集和清洗集的对比说明了这件事——清洗后的子集体量小了一个数量级但基于它训练的模型性能反而更好。这意味着我们有多少 TB 语料这句话在方案里几乎没有说服力得换成清洗后有效 token 数和单位 token 信息密度。多样性要分两面看。一面是公平性网络采集的信息对某些群体存在系统性不平衡需要在筛选时保证分布的广度和均衡。另一面是安全能力——这一条我踩过坑早期做安全语料习惯把不良样本一删了之结果模型对隐晦的风险表达识别能力很差。白皮书的建议是给这些样本打安全标签而不是删掉让模型见过才认得出。真实世界里的隐患本来就是偶发事件删掉等于把负样本清空了。维度可落指标采集方式建议阈值不达标处理质量来源可信等级、可读性分、重复率来源白名单 评估模型打分重复率 5%可读性分 ≥ 0.6降权或剔除规模清洗后 token 数、单位 token 信息密度清洗流水线统计按阶段目标定扩充采集或增强多样性领域覆盖数、语言分布熵、群体均衡度标签统计覆盖目标领域 100%定向补齐安全风险样本标签覆盖率分类模型 人工抽检覆盖 3 级以上风险打标保留不删这张表我一般直接放进数据卡里作为验收依据。阈值那一列不要照抄按你的任务目标和已有语料水平调宁可先宽松再收紧一开始卡太死会导致语料池直接空掉。3.3 四百 TB 到三百 GB清洗流水线里每一步该留多少白皮书给的这个对比落地时要拆成一条可复现的流水线而不是一句做了清洗。我通常按五步走每步都记留存率最后汇总成一张漏斗表。第一步语言识别与编码归一剔除非目标语言和乱码页这一步留存通常在七到九成。第二步正文抽取去掉导航、广告、评论区模板模板页是最大的隐形重复源同一个站点几万个页面正文一模一样。第三步精确去重加近似去重精确去重用哈希近似去重用 n-gram 或向量相似度阈值一般设在 0.8 到 0.9 之间太低会误杀改写内容。第四步质量打分规则分长度、标点比例、停用词密度加模型分双路。第五步安全分级只打标签不删除。# quality_filter.py —— 语料打分与过滤的最小实现 import hashlib, re from collections import Counter MIN_LEN 200 # 最短正文长度低于此值视为无效页 MAX_REPEAT_RATIO 0.3 # 单句重复占比上限 MIN_UNIQUE_RATIO 0.4 # 去重后唯一词占比下限 def rule_score(text: str) - dict: tokens re.findall(r\w, text.lower()) if not tokens: return {pass: False, reason: empty} # 句级重复模板页和机器生成的典型特征 sents [s.strip() for s in re.split(r[。.!?], text) if len(s.strip()) 10] repeat_ratio 0.0 if sents: cnt Counter(sents) repeat_ratio 1 - len(cnt) / len(sents) unique_ratio len(set(tokens)) / len(tokens) ok (len(text) MIN_LEN and repeat_ratio MAX_REPEAT_RATIO and unique_ratio MIN_UNIQUE_RATIO) return {pass: ok, repeat_ratio: round(repeat_ratio, 3), unique_ratio: round(unique_ratio, 3)} def dedup_key(text: str) - str: # 精确去重键按段落哈希段级去重比整篇更细 norm re.sub(r\s, , text) return hashlib.md5(norm.encode(utf-8)).hexdigest()这段代码只做两件事规则打分和去重键生成。MIN_LEN卡掉短页和抓取残片MAX_REPEAT_RATIO是模板页检测的核心同一句话反复出现超过三成基本可以判死MIN_UNIQUE_RATIO防止同一段话换个说法堆十遍这种伪长文。dedup_key用段级哈希而不是整篇哈希是因为整篇哈希对轻微改动完全失效段级去重能多捞出一批近重复内容。上线时这两个函数跑在全量语料上输出一张带分值的清单后续按分值分桶而不是二值过滤——分桶的好处是低分语料还能在数据课程后段作为补充不至于一次性扔掉。4. 合成数据怎么真用起来从生成路径到 RLAIF 过滤流水线4.1 两条生成路径适用场景完全不同白皮书把合成数据的生成方法分成两大类。第一类基于真实数据集先建一个模型去刻画真实数据的分布特性和结构特征把多变量关系学出来再从这个分布里采样生成新数据。这类合成的保真度取决于你对真实分布的刻画有多准刻画不准就会引入系统性偏差。第二类是压根不依赖真实数据靠现有模型、统计模型、仿真引擎或人类专业知识生成——主流游戏引擎合成的视频数据拿去训练文生视频模型就是这个路子目的是把真实世界里拍不到、拍不全的场景补齐。按训练目标还能再分一层给生成式模型用的多是媒体合成数据图像、视频、音频和文本合成数据给判别式模型分类、回归用的多是表格合成数据形态接近真实的记录表。分类的意义在于选评估方法媒体合成数据要看视觉真实感和物理合理性文本合成数据要看事实准确性和表达自然度表格合成数据要看字段间相关性是否保住了。混着评估结论一定错。什么情况下该上合成本质上都是真实数据获取遇到了困难。真实世界难以观测的比如极端天气、罕见工况、长尾的复杂路况合成可以做 Corner Case 模拟还能对罕见事件做过采样——随机复制少数样例放大规模保证模型面对异常输入时保持鲁棒。获取成本高的比如对齐训练要海量人工反馈合成能把人工标注几乎全省掉。涉及个人信息的用差分隐私加噪声的方式模拟分布而不复现个体实现去标识化。这三条对上你的项目合成才有必要对不上还硬上就是给自己找麻烦。4.2 RLAIF 流水线老师模型产出、规则过滤、学生模型收敛对齐语料自动化的核心思路是从 AI 反馈里做强化学习业界常写作 RLAIF。做法是让一个规模较大的模型产出合成数据——生成指令、输入和输出样本——过滤掉无效和重复部分再自动化微调出性能不错的小模型全程几乎不需要人类标注。白皮书里提到的那条 70 亿参数对话模型用的就是自我指导self-instruct的方法由大模型接口自动生成指令数据做微调。还有两条更激进的探索自我对局让第 t1 代模型去区分第 t 代输出与真人输出条件满足时效果比传统人类反馈强化学习还好以及宪法式路线让模型在预设原则下用自身生成的反馈和修正意见自我改进既生成无害内容又不因为怕出错而对有害问题一律拒答。落到工程上这条流水线有五个环节每个都要有可监控的指标环节动作关键参数监控指标采样老师模型批量生成指令与回答温度 0.7~1.0、每指令采样 3~5 条采样成功率规则过滤去重、长度、格式、拒答剔除相似度阈值 0.85、最短长度 20过滤后留存率打分奖励模型或规则打分器排序分数分位截断取前 30%分数分布漂移微调学生模型在合成集上训练学习率约为预训练的 1/10验证集 loss评测与真实标注测试集对比固定测试集、固定解码参数真实集指标不降# rlaif_filter.py —— 合成指令数据的过滤与配比控制 import re from difflib import SequenceMatcher MAX_SYNTH_RATIO 0.5 # 合成数据在微调集中的硬上限 MIN_OUT_LEN, MAX_OUT_LEN 20, 2048 BAN_PATTERNS [r作为(一个)?(AI|人工智能), r我无法, r抱歉我不能] # 拒答模板 def is_refusal(text: str) - bool: # 老师模型拒答样本必须剔除否则学生会学成一问三不知 return any(re.search(p, text) for p in BAN_PATTERNS) def near_dup(a: str, b: str, thr: float 0.85) - bool: return SequenceMatcher(None, a, b).ratio() thr def filter_batch(samples, existing: list, synth_ratio: float): kept, pool [], list(existing) for s in samples: out s.get(output, ) if not (MIN_OUT_LEN len(out) MAX_OUT_LEN): continue if is_refusal(out): continue if any(near_dup(out, p) for p in pool[-2000:]): # 只看最近窗口控内存 continue kept.append(s) pool.append(out) # 配比控制超出上限就按质量分截断保证真实数据占主导 allowed int(len(existing) * synth_ratio / (1 - synth_ratio)) return kept[:min(len(kept), max(allowed, 0))]三个参数是这套东西的命门。MAX_SYNTH_RATIO卡在 0.5意思是微调集里合成数据最多占一半真实数据永远是主体理由在第 5 章展开。thr0.85的近似去重阈值比清洗网页时略低因为老师模型生成的句式高度相似阈值设高了会漏掉大量换皮样本。pool[-2000:]这个窗口是性能妥协全量两两比对是平方复杂度实际项目中不可能这么跑。拒答模板那一组正则尤其重要——老师模型遇到敏感问题会输出我无法回答这类内容如果不过滤学生模型会把这套话术学过去表现为无缘无故地推脱这是自动化对齐最常见的能力倒退。4.3 领域知识合成Data 到 Information 到 Knowledge 的三步走预训练语料里的领域知识合成白皮书给了一个很清晰的三段式我觉得这是整份文档里最可以直接抄作业的部分。第一步原始数据转信息。工业制造场景里工艺生产中的操作行为、时序数据这类非自然语言描述的内容先要转成大模型可读的结构化信息比如操作记录。这一步的关键是保留上下文——温度、压力、时长这些字段不能丢丢了后面就拼不出知识。第二步信息提炼知识。光有操作记录不构成知识得把多条结构化信息和行业知识图谱、专家经验结合起来产出在什么温度下应该怎么操作、好处是什么这类可执行知识。这一步必须有领域专家参与抽检模型自己提炼出来的因果关系经常是相关而非因果。第三步知识泛化。用大模型的推理能力把相对单一的知识做多样性拓展积累成更丰富的行业语料。注意这一步是精而不是多白皮书判断这条路线的趋势是对语料质量要求高且不可或缺——因为模型只有在预训练阶段学过领域知识后期用行业语料做监督微调时才能被激发出来否则就是无源之水。这套流程的验收标准我一般设三条抽取字段完整率、专家抽检通过率、泛化后语料在下游任务上的增益。前两条卡质量第三条卡价值三条都过才允许进预训练池。4.4 合成数据的天花板在哪白皮书的判断是合成数据在预训练阶段占比还不高但潜力大属于新物种尤其值得盯住多模态数据和领域知识生成两个方向。同时它也点出了风险生成过程设计不当会缺乏保真度对客观世界的模拟出现偏差。工程上最需要防的是自我循环。模型生成数据、数据再训模型一轮两轮看不出问题三到五轮之后初始偏差会被不断放大表现为输出越来越同质化、句式越来越固定、对真实分布的覆盖越来越窄。防线有两条一是恒定比例的真实数据锚点任何一轮训练里真实语料占比不低于某个下限二是用固定的真实测试集做每轮评估指标一旦出现单调下降就停。第二条第 5 章会展开讲因为它比第一条更容易被忽略。5. 落地避坑五条从真实项目里摔出来的教训5.1 语料侧的三个坑坑一把多当好全量灌原始抓取。现象训练 loss 平稳下降看起来一切正常但下游评测集分数趴着不动长文本任务还略有退化。原因原始抓取里模板页和重复内容的占比远超直觉同一个站点几万个页面的正文完全一样。模型在这些重复样本上反复学习等于把大量算力花在了记住同一段话上。模型参数与训练语料之间确有比例关系但那是针对高信息密度语料说的不是针对原始体量。解决清洗流水线必须前置且以清洗后有效 token作为配比依据。落到具体动作就是给每条语料算信息密度分唯一词占比、句级重复率、去重后长度低于阈值的降权而不是立刻删。白皮书里原始抓取集清洗后体量缩了一个数量级、效果反而更好的对比说的就是这件事。坑二一刀切删掉不良样本安全能力反而掉。现象安全测试集上的漏判率高于预期模型对隐晦的诱导性提问识别不出来但对明显的敏感词又过度拒答。原因把风险样本全删了等于把负样本清空。模型没见过这类表达自然学不会识别而明显的敏感词因为反复出现在拒答训练里反而被过度关联形成看到词就躲的机械反应。解决改成打安全标签保留标签分等级训练时按等级控制采样权重。真实世界里的隐患本来就是偶发事件保留少量带标签的样本比事后补规则有效得多。这件事我吃过一次亏后来所有安全语料流程里都加了一条硬规则只打标不删除删除必须走审批。坑三迷信一套统一的高质量标准领域语料被误杀。现象按通用质量分筛完工业、医疗这类领域语料剩下不到两成模型在专业问答上的表现明显不足。原因通用质量打分器是在网页、新闻这类语料上训出来的它偏好的表达方式跟专业文档不一样。专业文档术语密度高、句式短、缺连接词在可读性维度上天然吃亏但这恰恰是它的价值所在。解决分类型设阈值预训练通用语料一套、领域语料一套、代码一套各套的指标权重不同。领域语料的准入以专家抽检为准模型打分只做参考。白皮书讲的三重不确定性第一重就是语料种类随任务变化标准自然不能统一。5.2 流程侧的两个坑坑四合成数据占比失控模型开口就是AI 腔。现象微调后模型回答变得很长、很客气、结构高度雷同开头必称首先结尾必说希望对你有帮助实际信息量反而下降。原因合成数据全部来自同一个老师模型句式分布高度集中。当它在微调集里占比过半学生模型学到的就不只是知识还有老师模型的口癖。这个问题在小模型上尤其明显因为小模型容量有限学说话方式比学知识容易得多。解决给合成数据设硬上限微调阶段不超过一半且必须混入足量人工撰写样本生成时提高采样温度、增加指令模板多样性每轮训练后在固定的真实测试集上跑一遍对比人工样本与合成样本的增益差异。配置文件里那个max_ratio不是摆设是踩过之后加的。坑五只记数据量不记数据血缘。现象模型上线后某个场景输出异常想回查是哪批语料导致的发现只能查到用了 300B token具体来源、版本、清洗参数全无记录。原因数据流水线每次迭代都在覆盖没有快照也没有版本号出了问题只能重跑。解决给每个语料版本建一张数据卡记录来源清单、清洗参数、去重阈值、各环节留存率、质量分分布、版本号和生成时间。训练时把数据卡版本写进训练日志出问题按版本回滚。这件事的性价比极高做一次之后所有排查都快一个数量级。6. 把白皮书变成数据卡一份可交付的语料验收清单读这类白皮书最容易犯的错是读完点头、合上就忘。我后来的习惯是每读一份就往自己的验收清单里加一条攒到现在这份数据卡模板每次立项直接套。它比方案正文短但每一格都对应一个会被追问的问题。数据卡条目填写要求对应追问版本与时间语义化版本号 生成时间这批数据什么时候的来源清单按 source_id 列全标授权状态数据哪来的能不能商用阶段归属pretrain / sft / rlhf 明确标注这批是喂哪个阶段的清洗参数去重阈值、语言识别、质量分下限清洗做到什么程度漏斗留存每一步的输入输出量为什么只剩这么点质量分布分位数而非平均值长尾有多差多样性统计领域覆盖、语言分布会不会偏科安全标签覆盖各风险等级的样本量安全能力怎么保证已知缺陷主动写明缺什么有什么风险表格里我最看重已知缺陷这一行。多数人写数据卡只写优点评审时被问出短板整份材料的可信度就崩了。主动写本批语料缺少代码仓库级数据长上下文代码任务预期偏弱反而会让评审相信你清楚边界在哪后续的资源申请也更顺。验收环节我会跑三个固定动作。第一个是抽样人工核验每个来源随机抽 50 条看正文是否完整、语言是否正确、领域标签是否贴错错标率超过 5% 整批退回。第二个是重复率复算用独立的去重脚本重新跑一遍防止流水线里某个环节被跳过。第三个是对照消融用这批数据训一个小规模模型和上一版数据在同一测试集上比指标不涨就要查原因——是数据问题还是配比问题这一步能把两者分开。最后一个技巧关于引用。写方案时引用白皮书的结论别只写某白皮书指出要把结论和你的场景绑在一起比如参照三重不确定性的判断本次任务以推理能力为目标因此把代码与教材类语料占比从 8% 提到 15%并用 1B 规模消融验证了增益。这样写评审看到的不只是一句引用而是一次可验证的决策。从那以后我每次启动新的语料工程都会强制走一遍数据卡和三个验收动作哪怕时间再紧也不跳。跳过的那次教训很直接模型效果不达标团队花了三周排查最后发现问题出在某个来源的编码错误上而那批数据连版本号都没有。希望帮到你。本文还有配套的精品资源点击获取
简介《阿里研究院2024大模型训练数据白皮书》以PDF形式呈现面向大模型研发、数据治理与政策研究读者系统梳理训练数据从重要性、类型划分到高质量标准、合成数据供给及合规治理的完整议题。压缩包内共1个PDF文件大小约11.93MB便于检索、批注与团队传阅。已有323人学习下载适合作为语言模型数据工作的参考范文与素材。内容围绕训练数据对大模型发展的基础作用、大语言模型与多模态模型的数据特征、中文语料短缺等常见误解展开并讨论高质量数据的三重不确定性、合成数据的定义生成方法与在预训练和对齐中的作用后段比较中美训练数据生态结合阿里巴巴集团实践提出以更开放务实方式解决高质量数据供给。读者可据此快速建立大模型数据治理框架理解合成数据方案与政企协同路径并获取可用于汇报、立项和合规讨论的目录化知识线索。1. 一份把“训练数据”讲透的行业白皮书写方案时能直接引用的那几页上周有同行问我语言模型项目的数据方案里语料那一页怎么写才不像硬凑——列几个来源、写个 TB 数、再补一句持续扩充评审一追问就露怯。这份由某头部互联网研究院发布的大模型训练数据白皮书正好补的就是这一页它不谈模型结构只拆数据从训练三个阶段各自的语料画像到高质量为什么没法用一套前置标准定义再到合成数据怎么补供给缺口八个章节基本把训练数据的选型、评估、治理讲完了。适合三类人要给模型项目写数据方案的算法与数据工程同学、需要向非技术方解释为什么不用你的个人数据的产品同学以及要写汇报材料、找现成论述框架和素材模板的人。它不是操作手册但给出了足够多的判断依据让你在配比、清洗、合成这几步上不靠拍脑袋。2. 三个阶段三种语料预训练求“广”、对齐求“齐”、领域求“专”的落表方法2.1 先分清阶段再谈语料好坏很多人一上来就问什么语料算高质量这个问题在阶段没定之前没有答案。白皮书把大模型训练切成预训练、监督微调、基于人类反馈的强化学习三段后两段合称对齐。这三段对语料的要求是三个方向预训练要广吃的是世界知识网页、书籍、新闻、论文期刊、对话文本、代码都算目标是让模型建立起对客观世界规律的基础理解对齐要齐数据量可以很小但必须来自人类的高质量反馈微调阶段是人工设计问答、编写标准答案强化学习阶段是人对多个回答做打分和排序让模型知道怎么说更好落到行业模型上还要专工业、金融、医疗这类场景需要专业数据库、专业文档、专业站点做继续预训练和对齐深度比广度重要。把这三段混着谈最常见的后果是拿预训练的思路去做对齐——堆几十万条问答对结果模型回答变得又长又空。白皮书里给了一个很值得记住的例子有研究从技术问答社区里精选高赞语料配上手工整理的问答对拢共约一千条高质量微调数据在模型对齐能力上效果很好。一千条这个量级放在预训练里连零头都算不上但在对齐阶段就是有效投入。多模态是另一条线。图像-文本对让模型学像素之间以及文字与图像之间的关联视频-文本对还要额外学时间序列和动态变化所以视频数据的标注成本远高于图片清洗时也不能只按清晰度打分得看事件描述的完整度。这一段落到方案里最实用的做法是把语料按阶段和模态拆成矩阵而不是拉一张大清单。训练阶段语料特征典型来源规模量级质量门槛常见误用预训练广覆盖世界知识网页、书籍、论文、代码、对话百 GB 到数十 TB去重、去噪、语言识别拿未清洗原始抓取直接灌监督微调齐指令-答案成对人工编写、高赞问答、合成指令千条到十万条答案正确性、格式一致性用预训练语料凑数强化学习对齐齐同一问题的多回答排序人工打分、模型辅助评分万级偏好对标注一致性、评分标准统一只做单回答评分不做排序领域继续训练专行业深度行业库、专业文档、内部工艺数据十 GB 到 TB 级领域专家抽检通用语料比例过高冲淡领域特征这张表的作用不是背下来而是在评审会上被问你这个阶段为什么用这类数据时能立刻答上。参数上我一般会记三个数预训练阶段通用语料与领域语料的比例、微调阶段人工数据与合成数据的比例、强化学习阶段偏好对的一致性抽检通过率。这三个数一摆方案的可信度就上来了。2.2 把语料盘成一张能评审的表方案里最容易被挑毛病的是语料清单只有名字没有属性。我在实际项目里会把清单固定成九个字段缺一个就不让进池子。字段说明取值示例source_id来源唯一标识用于血缘回溯web_crawl_0031modality模态text / image-text / video-textcollect_method采集方式公开抓取 / 授权采购 / 内部沉淀 / 合成license_status授权状态公开可商用 / 仅研究 / 内部受限raw_size原始体量400TB / 1.2GBclean_tokens清洗后有效 token 数305GB 对应估算值lang语言分布zh 0.62 / en 0.35 / other 0.03domain_tag领域标签通用 / 工业 / 金融 / 代码stage阶段归属pretrain / sft / rlhf先说授权状态这一列它是后面所有讨论的前提。公开可商用、仅研究、内部受限这三类混在一个池子里训练出问题时你连哪条数据惹的麻烦都说不清。再说 clean_tokens 这一列很多团队只填原始体量结果一算配比全是虚的——400TB 的原始网页抓取清洗完剩 305GB 是白皮书里明确给出的对比这个留存率放在今天的抓取质量下也不算夸张。清单里必须写清洗后的量配比才有意义。盘点顺序建议是先把已经有的存量按九个字段填完再看缺口。缺口分两种一种是类型缺口比如完全没有代码语料一种是规模缺口有但不够。这两类缺口的补法完全不同前者要找新来源或走合成后者靠扩充采集或数据增强。如果不做这一步盘点直接开会讨论我们要不要买数据基本讨论不出结论。2.3 配比与数据课程把“感觉”写成可改的配置配比这件事最怕写在 PPT 里。写进配置文件才能被复现、被对比、被回滚。我一般用一个 YAML 管住三件事不同来源的采样权重、训练阶段的顺序、以及稀有域的上采样倍率。# corpus_mix.yaml —— 语料配比与课程配置示例值按项目实际调整 pretrain: total_tokens: 300B # 本阶段目标 token 总量 sources: web_clean: {weight: 0.55, min_quality: 0.6} # 清洗后网页质量分下限 books: {weight: 0.12, min_quality: 0.8} # 书籍长依赖能力强 papers: {weight: 0.10, min_quality: 0.8} code: {weight: 0.15, min_quality: 0.7} # 代码提升条件推理 qa_dialog: {weight: 0.08, min_quality: 0.5} curriculum: # 数据课程从通用到专精的先后顺序 - {stage: 1, mix: general, ratio: 0.7} - {stage: 2, mix: general_plus_domain, ratio: 0.3} oversample: rare_domain: 3.0 # 稀有领域上采样倍率防止被主流量淹没 sft: total_samples: 20000 sources: human_written: {weight: 0.7} synthetic: {weight: 0.3, max_ratio: 0.5} # 合成占比硬上限 rlhf: total_pairs: 30000 annotator_agreement_min: 0.75 # 标注一致性低于此值整批退回三个参数值得单独说。min_quality是入池门槛不是排序依据设太低等于没设设太高会把领域语料全挡在外面所以按来源分别设而不是全局一个值。max_ratio给合成数据设硬上限是因为合成数据一旦占比失控模型输出会明显带上老师模型的口癖这个后面第 5 章会细讲。annotator_agreement_min管的是强化学习阶段偏好标注一致性不到 0.75 的批次直接退回重标比训完再发现模型偏好跑偏便宜得多。数据课程这一块白皮书里的说法是按技能集合的顺序组织预训练语料从基础技能到目标技能比直接从专注目标技能的语料库学更有效。翻译成工程动作就是——前段用通用语料把基础能力铺开后段逐步提高领域语料占比而不是一开始就灌满专业文档。我见过反着做的项目前期 loss 掉得飞快中期直接卡住原因就是模型过早收敛到窄分布上去了。3. 高质量数据的判定三重不确定性与质量、规模、多样性三维打分3.1 三重不确定性为什么“高质量标准”注定定不死白皮书里我认为最值钱的一段是把高质量数据的不确定性拆成三层。第一层是语料种类不确定它由人类对模型能力的需求决定而需求本身在变。早期大家觉得对话文本最重要因为目标是连贯对话后来发现通用上下文理解更关键书籍和论文的占比被提上来用来增强长距离依赖再往后大家盯上推理能力代码和教材就成了香饽饽——代码里有大量 if-then-else 的条件控制结构教材里有详细的数学推理链条。这条演进线说明你今天定的高质量清单两年后可能就不适用。第二层是语料形态在演化。同一类语料形态升级后价值完全不同代码从能跑通单个任务的片段升级到仓库级代码模型学的就从单模块实现变成整体架构教材从中小学级别升到大学级别复杂场景下的推理表现跟着变。多模态这边更明显仿真数据、领域知识加工都属于形态改造。第三层是搭配的不确定性也就是数据混合和数据课程。不同类型数据对能力的提升侧重点不一样配比一变泛化能力和下游表现都跟着变。白皮书里那句高质量更多是一种主观判断标准取决于模型的应用目的——因时而动、因人而异、因效而定这句话在评审会上非常好用它能解释为什么你没法交出一份通用高质量数据标准。理解了这三层方案里的写法就要改不要再写我们采用高质量语料而要写针对本次任务的推理能力目标我们提高了代码与教材类语料占比并用小规模消融验证了增益。3.2 质量、规模、多样性三个维度怎么落到指标上同类型语料的质量评估白皮书给了三个维度质量、规模、多样性。质量上优先看来源经过专业标准筛选的内容天然占优——新闻和论文有同行评审在线百科有一群专注编辑者把关对话内容可以看点赞这类积极互动信号多模态素材平台会有设计师对光照、构图、艺术性的专业标注。来源判断不了的用评估模型打分先人工标一小批样本定义可读性、帮助性、安全性几个指标训一个评估模型再把标准推到全量网页上。规模这一维度有个反直觉的点不是越大越好而是高信息密度的语料规模越大越好。白皮书用原始抓取集和清洗集的对比说明了这件事——清洗后的子集体量小了一个数量级但基于它训练的模型性能反而更好。这意味着我们有多少 TB 语料这句话在方案里几乎没有说服力得换成清洗后有效 token 数和单位 token 信息密度。多样性要分两面看。一面是公平性网络采集的信息对某些群体存在系统性不平衡需要在筛选时保证分布的广度和均衡。另一面是安全能力——这一条我踩过坑早期做安全语料习惯把不良样本一删了之结果模型对隐晦的风险表达识别能力很差。白皮书的建议是给这些样本打安全标签而不是删掉让模型见过才认得出。真实世界里的隐患本来就是偶发事件删掉等于把负样本清空了。维度可落指标采集方式建议阈值不达标处理质量来源可信等级、可读性分、重复率来源白名单 评估模型打分重复率 5%可读性分 ≥ 0.6降权或剔除规模清洗后 token 数、单位 token 信息密度清洗流水线统计按阶段目标定扩充采集或增强多样性领域覆盖数、语言分布熵、群体均衡度标签统计覆盖目标领域 100%定向补齐安全风险样本标签覆盖率分类模型 人工抽检覆盖 3 级以上风险打标保留不删这张表我一般直接放进数据卡里作为验收依据。阈值那一列不要照抄按你的任务目标和已有语料水平调宁可先宽松再收紧一开始卡太死会导致语料池直接空掉。3.3 四百 TB 到三百 GB清洗流水线里每一步该留多少白皮书给的这个对比落地时要拆成一条可复现的流水线而不是一句做了清洗。我通常按五步走每步都记留存率最后汇总成一张漏斗表。第一步语言识别与编码归一剔除非目标语言和乱码页这一步留存通常在七到九成。第二步正文抽取去掉导航、广告、评论区模板模板页是最大的隐形重复源同一个站点几万个页面正文一模一样。第三步精确去重加近似去重精确去重用哈希近似去重用 n-gram 或向量相似度阈值一般设在 0.8 到 0.9 之间太低会误杀改写内容。第四步质量打分规则分长度、标点比例、停用词密度加模型分双路。第五步安全分级只打标签不删除。# quality_filter.py —— 语料打分与过滤的最小实现 import hashlib, re from collections import Counter MIN_LEN 200 # 最短正文长度低于此值视为无效页 MAX_REPEAT_RATIO 0.3 # 单句重复占比上限 MIN_UNIQUE_RATIO 0.4 # 去重后唯一词占比下限 def rule_score(text: str) - dict: tokens re.findall(r\w, text.lower()) if not tokens: return {pass: False, reason: empty} # 句级重复模板页和机器生成的典型特征 sents [s.strip() for s in re.split(r[。.!?], text) if len(s.strip()) 10] repeat_ratio 0.0 if sents: cnt Counter(sents) repeat_ratio 1 - len(cnt) / len(sents) unique_ratio len(set(tokens)) / len(tokens) ok (len(text) MIN_LEN and repeat_ratio MAX_REPEAT_RATIO and unique_ratio MIN_UNIQUE_RATIO) return {pass: ok, repeat_ratio: round(repeat_ratio, 3), unique_ratio: round(unique_ratio, 3)} def dedup_key(text: str) - str: # 精确去重键按段落哈希段级去重比整篇更细 norm re.sub(r\s, , text) return hashlib.md5(norm.encode(utf-8)).hexdigest()这段代码只做两件事规则打分和去重键生成。MIN_LEN卡掉短页和抓取残片MAX_REPEAT_RATIO是模板页检测的核心同一句话反复出现超过三成基本可以判死MIN_UNIQUE_RATIO防止同一段话换个说法堆十遍这种伪长文。dedup_key用段级哈希而不是整篇哈希是因为整篇哈希对轻微改动完全失效段级去重能多捞出一批近重复内容。上线时这两个函数跑在全量语料上输出一张带分值的清单后续按分值分桶而不是二值过滤——分桶的好处是低分语料还能在数据课程后段作为补充不至于一次性扔掉。4. 合成数据怎么真用起来从生成路径到 RLAIF 过滤流水线4.1 两条生成路径适用场景完全不同白皮书把合成数据的生成方法分成两大类。第一类基于真实数据集先建一个模型去刻画真实数据的分布特性和结构特征把多变量关系学出来再从这个分布里采样生成新数据。这类合成的保真度取决于你对真实分布的刻画有多准刻画不准就会引入系统性偏差。第二类是压根不依赖真实数据靠现有模型、统计模型、仿真引擎或人类专业知识生成——主流游戏引擎合成的视频数据拿去训练文生视频模型就是这个路子目的是把真实世界里拍不到、拍不全的场景补齐。按训练目标还能再分一层给生成式模型用的多是媒体合成数据图像、视频、音频和文本合成数据给判别式模型分类、回归用的多是表格合成数据形态接近真实的记录表。分类的意义在于选评估方法媒体合成数据要看视觉真实感和物理合理性文本合成数据要看事实准确性和表达自然度表格合成数据要看字段间相关性是否保住了。混着评估结论一定错。什么情况下该上合成本质上都是真实数据获取遇到了困难。真实世界难以观测的比如极端天气、罕见工况、长尾的复杂路况合成可以做 Corner Case 模拟还能对罕见事件做过采样——随机复制少数样例放大规模保证模型面对异常输入时保持鲁棒。获取成本高的比如对齐训练要海量人工反馈合成能把人工标注几乎全省掉。涉及个人信息的用差分隐私加噪声的方式模拟分布而不复现个体实现去标识化。这三条对上你的项目合成才有必要对不上还硬上就是给自己找麻烦。4.2 RLAIF 流水线老师模型产出、规则过滤、学生模型收敛对齐语料自动化的核心思路是从 AI 反馈里做强化学习业界常写作 RLAIF。做法是让一个规模较大的模型产出合成数据——生成指令、输入和输出样本——过滤掉无效和重复部分再自动化微调出性能不错的小模型全程几乎不需要人类标注。白皮书里提到的那条 70 亿参数对话模型用的就是自我指导self-instruct的方法由大模型接口自动生成指令数据做微调。还有两条更激进的探索自我对局让第 t1 代模型去区分第 t 代输出与真人输出条件满足时效果比传统人类反馈强化学习还好以及宪法式路线让模型在预设原则下用自身生成的反馈和修正意见自我改进既生成无害内容又不因为怕出错而对有害问题一律拒答。落到工程上这条流水线有五个环节每个都要有可监控的指标环节动作关键参数监控指标采样老师模型批量生成指令与回答温度 0.7~1.0、每指令采样 3~5 条采样成功率规则过滤去重、长度、格式、拒答剔除相似度阈值 0.85、最短长度 20过滤后留存率打分奖励模型或规则打分器排序分数分位截断取前 30%分数分布漂移微调学生模型在合成集上训练学习率约为预训练的 1/10验证集 loss评测与真实标注测试集对比固定测试集、固定解码参数真实集指标不降# rlaif_filter.py —— 合成指令数据的过滤与配比控制 import re from difflib import SequenceMatcher MAX_SYNTH_RATIO 0.5 # 合成数据在微调集中的硬上限 MIN_OUT_LEN, MAX_OUT_LEN 20, 2048 BAN_PATTERNS [r作为(一个)?(AI|人工智能), r我无法, r抱歉我不能] # 拒答模板 def is_refusal(text: str) - bool: # 老师模型拒答样本必须剔除否则学生会学成一问三不知 return any(re.search(p, text) for p in BAN_PATTERNS) def near_dup(a: str, b: str, thr: float 0.85) - bool: return SequenceMatcher(None, a, b).ratio() thr def filter_batch(samples, existing: list, synth_ratio: float): kept, pool [], list(existing) for s in samples: out s.get(output, ) if not (MIN_OUT_LEN len(out) MAX_OUT_LEN): continue if is_refusal(out): continue if any(near_dup(out, p) for p in pool[-2000:]): # 只看最近窗口控内存 continue kept.append(s) pool.append(out) # 配比控制超出上限就按质量分截断保证真实数据占主导 allowed int(len(existing) * synth_ratio / (1 - synth_ratio)) return kept[:min(len(kept), max(allowed, 0))]三个参数是这套东西的命门。MAX_SYNTH_RATIO卡在 0.5意思是微调集里合成数据最多占一半真实数据永远是主体理由在第 5 章展开。thr0.85的近似去重阈值比清洗网页时略低因为老师模型生成的句式高度相似阈值设高了会漏掉大量换皮样本。pool[-2000:]这个窗口是性能妥协全量两两比对是平方复杂度实际项目中不可能这么跑。拒答模板那一组正则尤其重要——老师模型遇到敏感问题会输出我无法回答这类内容如果不过滤学生模型会把这套话术学过去表现为无缘无故地推脱这是自动化对齐最常见的能力倒退。4.3 领域知识合成Data 到 Information 到 Knowledge 的三步走预训练语料里的领域知识合成白皮书给了一个很清晰的三段式我觉得这是整份文档里最可以直接抄作业的部分。第一步原始数据转信息。工业制造场景里工艺生产中的操作行为、时序数据这类非自然语言描述的内容先要转成大模型可读的结构化信息比如操作记录。这一步的关键是保留上下文——温度、压力、时长这些字段不能丢丢了后面就拼不出知识。第二步信息提炼知识。光有操作记录不构成知识得把多条结构化信息和行业知识图谱、专家经验结合起来产出在什么温度下应该怎么操作、好处是什么这类可执行知识。这一步必须有领域专家参与抽检模型自己提炼出来的因果关系经常是相关而非因果。第三步知识泛化。用大模型的推理能力把相对单一的知识做多样性拓展积累成更丰富的行业语料。注意这一步是精而不是多白皮书判断这条路线的趋势是对语料质量要求高且不可或缺——因为模型只有在预训练阶段学过领域知识后期用行业语料做监督微调时才能被激发出来否则就是无源之水。这套流程的验收标准我一般设三条抽取字段完整率、专家抽检通过率、泛化后语料在下游任务上的增益。前两条卡质量第三条卡价值三条都过才允许进预训练池。4.4 合成数据的天花板在哪白皮书的判断是合成数据在预训练阶段占比还不高但潜力大属于新物种尤其值得盯住多模态数据和领域知识生成两个方向。同时它也点出了风险生成过程设计不当会缺乏保真度对客观世界的模拟出现偏差。工程上最需要防的是自我循环。模型生成数据、数据再训模型一轮两轮看不出问题三到五轮之后初始偏差会被不断放大表现为输出越来越同质化、句式越来越固定、对真实分布的覆盖越来越窄。防线有两条一是恒定比例的真实数据锚点任何一轮训练里真实语料占比不低于某个下限二是用固定的真实测试集做每轮评估指标一旦出现单调下降就停。第二条第 5 章会展开讲因为它比第一条更容易被忽略。5. 落地避坑五条从真实项目里摔出来的教训5.1 语料侧的三个坑坑一把多当好全量灌原始抓取。现象训练 loss 平稳下降看起来一切正常但下游评测集分数趴着不动长文本任务还略有退化。原因原始抓取里模板页和重复内容的占比远超直觉同一个站点几万个页面的正文完全一样。模型在这些重复样本上反复学习等于把大量算力花在了记住同一段话上。模型参数与训练语料之间确有比例关系但那是针对高信息密度语料说的不是针对原始体量。解决清洗流水线必须前置且以清洗后有效 token作为配比依据。落到具体动作就是给每条语料算信息密度分唯一词占比、句级重复率、去重后长度低于阈值的降权而不是立刻删。白皮书里原始抓取集清洗后体量缩了一个数量级、效果反而更好的对比说的就是这件事。坑二一刀切删掉不良样本安全能力反而掉。现象安全测试集上的漏判率高于预期模型对隐晦的诱导性提问识别不出来但对明显的敏感词又过度拒答。原因把风险样本全删了等于把负样本清空。模型没见过这类表达自然学不会识别而明显的敏感词因为反复出现在拒答训练里反而被过度关联形成看到词就躲的机械反应。解决改成打安全标签保留标签分等级训练时按等级控制采样权重。真实世界里的隐患本来就是偶发事件保留少量带标签的样本比事后补规则有效得多。这件事我吃过一次亏后来所有安全语料流程里都加了一条硬规则只打标不删除删除必须走审批。坑三迷信一套统一的高质量标准领域语料被误杀。现象按通用质量分筛完工业、医疗这类领域语料剩下不到两成模型在专业问答上的表现明显不足。原因通用质量打分器是在网页、新闻这类语料上训出来的它偏好的表达方式跟专业文档不一样。专业文档术语密度高、句式短、缺连接词在可读性维度上天然吃亏但这恰恰是它的价值所在。解决分类型设阈值预训练通用语料一套、领域语料一套、代码一套各套的指标权重不同。领域语料的准入以专家抽检为准模型打分只做参考。白皮书讲的三重不确定性第一重就是语料种类随任务变化标准自然不能统一。5.2 流程侧的两个坑坑四合成数据占比失控模型开口就是AI 腔。现象微调后模型回答变得很长、很客气、结构高度雷同开头必称首先结尾必说希望对你有帮助实际信息量反而下降。原因合成数据全部来自同一个老师模型句式分布高度集中。当它在微调集里占比过半学生模型学到的就不只是知识还有老师模型的口癖。这个问题在小模型上尤其明显因为小模型容量有限学说话方式比学知识容易得多。解决给合成数据设硬上限微调阶段不超过一半且必须混入足量人工撰写样本生成时提高采样温度、增加指令模板多样性每轮训练后在固定的真实测试集上跑一遍对比人工样本与合成样本的增益差异。配置文件里那个max_ratio不是摆设是踩过之后加的。坑五只记数据量不记数据血缘。现象模型上线后某个场景输出异常想回查是哪批语料导致的发现只能查到用了 300B token具体来源、版本、清洗参数全无记录。原因数据流水线每次迭代都在覆盖没有快照也没有版本号出了问题只能重跑。解决给每个语料版本建一张数据卡记录来源清单、清洗参数、去重阈值、各环节留存率、质量分分布、版本号和生成时间。训练时把数据卡版本写进训练日志出问题按版本回滚。这件事的性价比极高做一次之后所有排查都快一个数量级。6. 把白皮书变成数据卡一份可交付的语料验收清单读这类白皮书最容易犯的错是读完点头、合上就忘。我后来的习惯是每读一份就往自己的验收清单里加一条攒到现在这份数据卡模板每次立项直接套。它比方案正文短但每一格都对应一个会被追问的问题。数据卡条目填写要求对应追问版本与时间语义化版本号 生成时间这批数据什么时候的来源清单按 source_id 列全标授权状态数据哪来的能不能商用阶段归属pretrain / sft / rlhf 明确标注这批是喂哪个阶段的清洗参数去重阈值、语言识别、质量分下限清洗做到什么程度漏斗留存每一步的输入输出量为什么只剩这么点质量分布分位数而非平均值长尾有多差多样性统计领域覆盖、语言分布会不会偏科安全标签覆盖各风险等级的样本量安全能力怎么保证已知缺陷主动写明缺什么有什么风险表格里我最看重已知缺陷这一行。多数人写数据卡只写优点评审时被问出短板整份材料的可信度就崩了。主动写本批语料缺少代码仓库级数据长上下文代码任务预期偏弱反而会让评审相信你清楚边界在哪后续的资源申请也更顺。验收环节我会跑三个固定动作。第一个是抽样人工核验每个来源随机抽 50 条看正文是否完整、语言是否正确、领域标签是否贴错错标率超过 5% 整批退回。第二个是重复率复算用独立的去重脚本重新跑一遍防止流水线里某个环节被跳过。第三个是对照消融用这批数据训一个小规模模型和上一版数据在同一测试集上比指标不涨就要查原因——是数据问题还是配比问题这一步能把两者分开。最后一个技巧关于引用。写方案时引用白皮书的结论别只写某白皮书指出要把结论和你的场景绑在一起比如参照三重不确定性的判断本次任务以推理能力为目标因此把代码与教材类语料占比从 8% 提到 15%并用 1B 规模消融验证了增益。这样写评审看到的不只是一句引用而是一次可验证的决策。从那以后我每次启动新的语料工程都会强制走一遍数据卡和三个验收动作哪怕时间再紧也不跳。跳过的那次教训很直接模型效果不达标团队花了三周排查最后发现问题出在某个来源的编码错误上而那批数据连版本号都没有。希望帮到你。本文还有配套的精品资源点击获取
![【贪心交换排序】题解：P11376 [GESP202412 六级] 运送物资_贪心模型_排序_模拟_C++算法竞赛](http://pic.xiahunao.cn/yaotu/【贪心交换排序】题解：P11376 [GESP202412 六级] 运送物资_贪心模型_排序_模拟_C++算法竞赛)
