“张一鸣为什么反对蒸馏”这个话题前阵子几乎刷屏了整个AI行业群。讨论的人很多但真正把“蒸馏”这件事讲清楚的并不多。有人把它理解成“字节不用别人的模型”也有人把它上升成“自研与外购”的路线之争。这里先给一个偏技术视角的判断模型蒸馏不是能不能用的问题而是怎么用、用在哪里、在什么边界内用的问题。这篇文章会围绕“蒸馏模型是什么意思”“模型蒸馏原理是什么”展开结合张一鸣表态背后的技术逻辑把知识蒸馏从公式到工程、从合规边界到落地建议完整梳理一遍。如果你也在做模型压缩、小模型训练或者正在纠结“到底是用开源大模型蒸馏一个垂直模型还是直接做全流程预训练”这篇文章可以直接收藏。我们既不站队也不做情绪化批判只讨论一个核心问题为什么一个把AGI写进目标的技术负责人会公开对“蒸馏路线”表示谨慎。1. 蒸馏技术核心速览很多读者对“知识蒸馏”的第一印象是“让大模型教小模型”。这句概括没有错但是过于粗糙。知识蒸馏最早由Hinton等人在2015年提出核心思路是把一个参数量巨大的“教师模型”通过软标签迁移到一个小体积“学生模型”上让小模型去拟合教师模型的输出分布而不是仅仅拟合硬标签。下面是本篇文章围绕模型蒸馏整理的核心信息速览技术维度说明英文名称Knowledge Distillation简称KD提出时间2015年前后Geoffrey Hinton团队核心思想让小模型学习大模型的输出概率分布而非仅学习离散标签关键参数温度系数T、软标签、KL散度损失、硬标签交叉熵原始适用场景模型压缩、知识迁移、模型集成大模型时代演变从logits蒸馏扩展到数据蒸馏、指令蒸馏、反馈蒸馏主要优点大幅降低推理成本、训练成本可控、可保留教师模型的泛化能力主要风险能力天花板由教师决定、同质化严重、可能违反商业API使用条款争议焦点蒸馏与“抄袭”的边界、闭源模型服务条款、自研能力的长期损耗工程落地既适用于图像分类也适用于大语言模型的对齐和垂直领域微调从这张表可以直观看到蒸馏不是单一技术而是一个“从大模型到小模型”的迁移方法家族。理解这一点才能看懂“张一鸣为什么反对蒸馏”背后的复杂语境。2. 模型蒸馏是什么意思原理拆解2.1 为什么要蒸馏先讲动机。大模型效果好但推理成本高、延迟大很多业务场景根本跑不起。一个700亿参数模型部署到生产环境需要多张高端显卡才能提供可用的并发吞吐如果把它压缩成一个7B或者3B的模型可以在普通边缘设备上运行代价是效果可能下降。蒸馏要做的就是“尽可能保留大模型效果同时把体积和推理成本降下来”。传统的做法是直接用小模型在人工标注数据上训练但问题是人工标注数据量有限、质量不稳定而且小模型很难直接学会大模型的“暗知识”。大模型经过海量预训练后内部实际上编码了大量类别之间的相似关系比如“猫”和“狗”在视觉特征上的接近程度这些信息在硬标签里完全看不出来。蒸馏的核心贡献就是把这些“看不见的相似关系”显式提取出来教给小模型。2.2 软标签与温度系数怎么提取这种关系Hinton团队的做法是在softmax函数中引入温度系数T把大模型的输出概率变得“更平滑”。普通softmax的公式是softmax(z_i) exp(z_i) / sum_j exp(z_j)加入温度T之后变成softmax(z_i / T) exp(z_i / T) / sum_j exp(z_j / T)T越大输出的概率分布越平坦类别之间的相对关系保留得更充分T1时就是普通softmax。这种经过温度平滑后的概率分布就是“软标签”。小模型训练时除了学习原本的硬标签正确的类别还要同时逼近教师的软标签。硬标签解决“答案对不对”软标签解决“错误答案里哪些更接近正确”。后者才是蒸馏真正有价值的信息。2.3 蒸馏损失函数蒸馏的损失通常由两部分组成一部分是学生模型与教师模型软标签之间的KL散度另一部分是学生模型与真实标签之间的交叉熵。综合损失可以写成L alpha * KL(student_soft, teacher_soft) (1 - alpha) * CE(student_logits, labels)其中alpha用来控制软标签和硬标签的权重temperature T则需要根据任务和效果调节。训练时教师模型固定权重输出作为监督信号学生模型正常反向传播更新参数。整套流程看起来简单但工程实现上有大量细节需要调优。3. 大模型时代的蒸馏从logits蒸馏到数据蒸馏理解传统蒸馏原理后再看今天的“大模型蒸馏”就会发现实际落地的形态已经发生了很大变化。3.1 指令蒸馏与数据蒸馏传统知识蒸馏把目标放在logits层要求学生输出概率分布逼近教师。但在大语言模型场景中词表非常大逐token对齐logits不仅计算开销高而且收益有限。所以现在更常见的做法是“数据蒸馏”用教师模型生成大量高质量的指令数据、推理链数据、偏好数据再用这些数据去微调一个小模型。这种方式下学生模型学的不再是某个token的概率分布而是教师模型的“思考方式”。大语言模型的蒸馏在产品形态上通常有两类第一类是能力蒸馏。拿通用大模型在数学、代码、逻辑推理上的表现数据去训练一个垂直小模型让它在特定领域达到接近大模型的效果同时部署成本更低。第二类是行为对齐蒸馏。拿已经经过人类反馈对齐的大模型去生成符合安全规范、语气风格、拒绝策略的回答再用这些数据微调小模型从而减少小模型的对齐成本。3.2 为什么数据蒸馏成了主流原因很直接语言模型没有单一的“正确答案”。同样一个用户问题可以有很多种合法回答传统硬标签无法表达这种分布。教师模型生成的多样本输出天然携带了答案的分布信息。因此在LLM阶段蒸馏更多是“合成数据微调”的组合而不是严格意义上的logits对齐。不过这带来一个更大的问题当多个团队用同一个教师模型蒸馏出自己的学生模型时这些学生模型在风格、知识边界、错误模式上都会高度趋同。短期看排行榜分数都会不错长期看大家的模型越来越像能力和缺陷一脉相承。这也是“张一鸣反对蒸馏”讨论里最核心的技术担忧之一。4. 张一鸣为什么反对蒸馏三种技术解读关于“张一鸣为什么反对蒸馏”目前公开渠道很难找到一字不差的原话和完整语境流传更广的是二手转述。所以这里先做一个重要声明下面的分析基于行业讨论和公开信息属于技术逻辑推理不代原始谈话内容。在没有官方完整材料之前更稳妥的判断是把它当作一个“技术路线讨论”来看待。4.1 解读一依赖参考答案会失去发现规律的能力蒸馏的本质是“教师模型提供参考答案”。如果团队长期依赖蒸馏路线学生模型永远是在逼近某个已有模型的行为边界而不是在探索未知规律。从AI研究的角度看这是一个非常危险的信号。一个做AGI目标的公司核心竞争力不是把别人的模型压缩得更好而是能够独立提出新架构、新训练方法、新数据范式。如果团队每天都在跑蒸馏实验大家的注意力会集中在“如何拟合教师输出”上而不是“模型为什么具备这个能力”。短期做一个高分榜模型很容易长期想突破现有模型的能力边界依靠蒸馏路径是走不通的。因为在蒸馏框架下学生模型的天花板在数学上就被教师模型限制了。4.2 解读二蒸馏刷榜会导致行业同质化泡沫放到行业层面看大量蒸馏模型的涌入会造成一种虚假繁荣。一个闭源强模型发布后很多团队迅速基于它的输出蒸馏出“套壳小模型”再接上各自的行业场景。这会在评测榜单上制造出大量高分但模型本身没有任何原创性贡献。一旦教师模型更新或下架依赖蒸馏的模型立刻失去源头活水。对于有长期技术积累需求的公司来说这是必须警惕的事情。字节跳动在国内AI领域的布局比较深从豆包大模型到即梦、Seed团队投入的是全栈自研路线。站在这个立场上张一鸣反对把“蒸馏”当作核心路线是符合商业逻辑的。他真正担心的可能不是蒸馏技术本身而是团队把“蒸馏”误当成“自主研发”在战略上出现方向性错误。4.3 解读三闭源模型服务条款的合规风险还有一个容易被忽略的层面法律与合同风险。OpenAI、Anthropic等闭源模型服务商都在服务条款中明确禁止用户利用模型输出训练竞争模型。如果在商业产品中直接蒸馏闭源API不仅面临账号封禁风险还可能产生知识产权争议。张一鸣作为公司最高决策者必须考虑合规风险。一个被公开讨论的案例是字节跳动曾因部分项目使用GPT输出训练自有模型被OpenAI暂停账号。无论这个事件细节如何它都说明了一条行业共识闭源模型的蒸馏需要非常谨慎授权边界不清就会变成法律问题。反对蒸馏从合规角度说也是一道底线管理。4.4 小结反对的不是技术而是路径依赖综合三种解读可以看出张一鸣反对蒸馏并不是说蒸馏毫无价值而是反对“把蒸馏当作核心技术路线”的路径依赖。技术负责人真正应该思考的是团队究竟在做“复用”还是在做“创新”长期积累是增强还是削弱。对大多数中小团队来说蒸馏依然是性价比极高的工具但对一个目标指向AGI的团队来说蒸馏只能是辅助手段不能是战略核心。5. 蒸馏与自研的边界开源协议、商业条款与行业争议“蒸馏”是否等于抄袭是一个被反复争论的问题。要回答它必须把场景拆开。5.1 开源模型的蒸馏边界对于开源模型蒸馏是否合法取决于开源协议。以MIT、Apache 2.0协议发布的模型通常允许用户基于模型权重进行微调、蒸馏和商用只要保留版权声明以Llama系列社区许可协议发布的模型允许大多数商用场景下的微调和蒸馏但对月活用户数有上限要求DeepSeek、Qwen等则采用更加开放的自定义许可协议明确允许蒸馏和商用。所以在开源协议允许的范围内蒸馏是合法且被鼓励的行为。这也是为什么DeepSeek等开源模型发布后国内大量团队迅速基于它们蒸馏垂直模型。开源社区实际上把“蒸馏”变成了生态建设的一部分大模型负责探索上限小模型负责场景落地。5.2 闭源模型的蒸馏争议闭源模型的情况完全不同。通过API调用获得模型输出再把这些输出用作训练数据通常违反服务条款。OpenAI开发者条款中明确禁止使用其服务“开发竞争模型”Anthropic等公司也采用类似限制。这意味着用API蒸馏闭源大模型在合同层面大概率违约即使技术上可以做到也存在商业和法律风险。5.3 行业争议的本质更深层次的争议是蒸馏模型能不能算“自研”答案取决于披露程度。如果模型权重、训练数据、蒸馏流程全程公开并且基于开源模型那么它是一个合法且透明的衍生模型如果企业完全隐藏在闭源API的输出之上却对外宣称“全自研大模型”这就构成了产品层面的误导也消耗了整个行业的信任。张一鸣在这个节点上明确表达对蒸馏的谨慎态度可以看作是在给行业传递一个信号靠蒸馏刷出来的短期优势长期看并不稳固真正值得投入的还是从数据、算力、算法三个方向建立壁垒。6. 一个可运行的蒸馏代码示例理论讲完直接上代码。下面用PyTorch实现一个小型知识蒸馏训练流程。由于只是演示数据使用随机生成的模拟数据重点是让学生理解蒸馏损失函数和训练循环怎么写。6.1 环境准备需要安装Python和PyTorch版本不需要太新PyTorch 2.x即可。pip install torch6.2 蒸馏损失函数import torch import torch.nn as nn import torch.nn.functional as F def distillation_loss( student_logits: torch.Tensor, teacher_logits: torch.Tensor, labels: torch.Tensor, temperature: float 4.0, alpha: float 0.7, ) - torch.Tensor: 知识蒸馏损失 alpha * KL散度(软标签) (1 - alpha) * 交叉熵(硬标签) # 学生模型在高温下的log softmax soft_student F.log_softmax(student_logits / temperature, dim-1) # 教师模型在高温下的softmax概率作为软标签 soft_teacher F.softmax(teacher_logits / temperature, dim-1) # KL散度损失乘以 T^2 是为了保持梯度尺度 kd_loss F.kl_div(soft_student, soft_teacher, reductionbatchmean) kd_loss kd_loss * (temperature ** 2) # 学生模型与真实标签之间的交叉熵 ce_loss F.cross_entropy(student_logits, labels) return alpha * kd_loss (1 - alpha) * ce_loss这段代码里有个容易被忽略的细节KL散度损失要乘以temperature的平方。这是因为在高温下软标签的概率分布更加平坦梯度的量级会变小乘以T^2可以在数值上恢复梯度尺度。很多新手第一次写蒸馏踩坑就是漏掉了这一步导致温度升高时损失占比失控。6.3 温度系数的效果验证可以用一段非常短的代码观察温度系数对概率分布的影响import torch import torch.nn.functional as F logits torch.tensor([2.0, 1.5, 0.1, -1.0]) for T in [1.0, 2.0, 4.0, 8.0]: probs F.softmax(logits / T, dim-1) print(fT{T}: {probs.numpy().round(4)})运行结果可以看到T越大概率分布越平滑类别之间的细微差异被放大了。这正是教师模型要教给学生的“暗知识”。6.4 训练循环示例teacher_model TeacherModel() student_model StudentModel() teacher_model.eval() student_model.train() optimizer torch.optim.Adam(student_model.parameters(), lr1e-4) for epoch in range(epochs): for images, labels in dataloader: with torch.no_grad(): teacher_logits teacher_model(images) student_logits student_model(images) loss distillation_loss( student_logits, teacher_logits, labels, temperature4.0, alpha0.7, ) optimizer.zero_grad() loss.backward() optimizer.step() print(fepoch: {epoch}, loss: {loss.item():.4f})上面的代码是一个最标准的离线蒸馏流程。实际训练时教师模型必须处于eval模式且不更新梯度否则会引入额外噪声温度参数和alpha也需要根据验证集调优一般做法是固定教师模型后先跑一次交叉熵baseline再调整alpha观察蒸馏损失带来的增益。6.5 大模型数据蒸馏的伪代码大语言模型场景下的蒸馏通常不是直接对齐logits而是通过教师模型生成数据后再微调。伪代码如下# 1. 用教师模型生成合成数据 prompts load_prompt_pool(prompts.jsonl) outputs teacher_model.chat( messagesprompts, temperature0.7, max_tokens2048, ) save_to_jsonl(outputs, synthetic_data.jsonl) # 2. 用合成数据微调学生模型 student_model load_base_model(smaller-base-model) train(student_model, synthetic_data.jsonl, epochs3) # 3. 过滤和人工抽检 qualified_data filter_by_heuristics(synthetic_data.jsonl)大模型数据蒸馏的关键瓶颈不是生成而是数据质量。教师模型生成的输出中总会有幻觉、错误推理和格式问题直接拿去训练会把错误放大。因此在大模型蒸馏实践中需要加一道数据过滤和人工抽检用规则或者小模型对输出质量打分合格样本才进入训练集。7. 蒸馏的正确用法与工程最佳实践既然蒸馏本身不是洪水猛兽那么工程上应该怎么用这里给出几条经过验证的实践建议。7.1 先用小参数跑通再放大第一次尝试蒸馏时不要一上来就训练大模型。先用小网络在小数据集上跑通损耗函数、温度参数和训练循环确认KL散度能正常下降、学生模型能复现教师模型的大致行为再切换到真实数据集。这套“最小可运行实验”的方法可以大大节省调试成本。7.2 数据清洗比模型结构更重要尤其是大模型的数据蒸馏教师模型生成的合成数据必须做质量控制。可以先用规则过滤明显错误的数据再用指标模型打分最后人工抽检保证数据分布不过度偏向某类场景。干净的数据集比调模型结构带来的收益更大。7.3 评估要加分布外泛化指标很多蒸馏实验在评测集上表现不错一上真实场景就崩。原因是评测集通常和蒸馏数据同分布模型只是记住了教师模型的输出模式。建议在评估时加入分布外测试集也就是与训练数据来源差异较大的数据集才能真正反映学生模型的泛化能力。7.4 蒸馏模型要与基座模型做差异对比部署蒸馏模型前必须与基座大模型做批量对比测试包括典型案例、边界case、对抗样本和长尾场景。如果学生模型在关键业务场景上的表现与教师模型差异过大就需要回炉重训而不是直接上线。7.5 合规审查必须前置使用任何教师模型前先确认开源协议或者API服务条款。开源模型看许可证是否允许商用和蒸馏闭源API看服务条款是否禁止输出用于模型训练。没有授权边界确认之前不要开启任何蒸馏实验。8. 常见问题与FAQ8.1 蒸馏和微调有什么区别微调是在已有模型权重基础上用特定任务数据继续训练蒸馏是让学生模型模仿教师模型的输出分布。微调不改变“教师”对象蒸馏需要同时存在教师和学生两个模型。实际工程中两者经常组合使用先用蒸馏获得一个学生模型再用任务数据对模型进一步微调。8.2 蒸馏后的模型算不算自研要看是否基于开源许可且是否披露。如果基于开源模型合法蒸馏并在模型卡中明确说明教师模型、训练数据和蒸馏流程这是一个透明的衍生模型如果完全基于闭源API输出却不做披露则有合同和信誉风险。8.3 蒸馏一定能提升小模型效果吗不一定。蒸馏提升效果的前提是教师模型确实比学生模型强、软标签中的“暗知识”确实与任务相关同时训练超参设置正确。如果教师模型本身与学生模型能力差距过大或者温度参数设置不合理蒸馏效果可能不如直接训练。8.4 蒸馏模型可以通过评测刷到高分吗可以。评测集如果公开且蒸馏数据覆盖了大量评测集相关问题模型就可以在榜单上拿到非常高的分数。但这类高分不具备泛化价值换到真实场景很容易失效。这也是包括张一鸣在内的技术负责人们对“蒸馏刷榜”态度谨慎的原因之一。8.5 小团队应该放弃蒸馏吗不需要。小团队没有足够算力和数据做全流程预训练用开源大模型蒸馏垂直模型是性价比最高的落地方式。关键在于只做合法授权范围内的蒸馏清楚披露模型来源并把蒸馏当作起点而不是战略终点。9. 总结与思考回到标题张一鸣为什么反对蒸馏最合理的理解不是“禁止蒸馏”而是“不要把蒸馏当成战略核心”。蒸馏是一个非常实用的工程手段它可以把大模型的能力迁移到小模型上降低成本、加速落地但它也是一个能力复制工具复制得再好也不会产生超过教师模型上限的原创能力。对一个目标是AGI的团队来说真正的护城河永远来自独立发现规律的能力也就是准备数据、设计训练范式、突破模型结构的能力而不是复制别人的输出分布。这篇文章从蒸馏的原理讲到损失函数从大模型时代的数据蒸馏讲到行业争议从代码实现讲到合规边界希望已经帮你把“蒸馏模型是什么意思”和“模型蒸馏原理是什么”这两件事讲清楚了。下一节课可以沿着这条线继续往下走比如做一个真正可运行的LLM蒸馏训练项目把你选的基座模型和小模型放在同一套数据上做对比。建议收藏备用动手跑一个蒸馏实验比看十篇讨论都更能理解这个问题的本质。
“张一鸣为什么反对蒸馏”这个话题前阵子几乎刷屏了整个AI行业群。讨论的人很多但真正把“蒸馏”这件事讲清楚的并不多。有人把它理解成“字节不用别人的模型”也有人把它上升成“自研与外购”的路线之争。这里先给一个偏技术视角的判断模型蒸馏不是能不能用的问题而是怎么用、用在哪里、在什么边界内用的问题。这篇文章会围绕“蒸馏模型是什么意思”“模型蒸馏原理是什么”展开结合张一鸣表态背后的技术逻辑把知识蒸馏从公式到工程、从合规边界到落地建议完整梳理一遍。如果你也在做模型压缩、小模型训练或者正在纠结“到底是用开源大模型蒸馏一个垂直模型还是直接做全流程预训练”这篇文章可以直接收藏。我们既不站队也不做情绪化批判只讨论一个核心问题为什么一个把AGI写进目标的技术负责人会公开对“蒸馏路线”表示谨慎。1. 蒸馏技术核心速览很多读者对“知识蒸馏”的第一印象是“让大模型教小模型”。这句概括没有错但是过于粗糙。知识蒸馏最早由Hinton等人在2015年提出核心思路是把一个参数量巨大的“教师模型”通过软标签迁移到一个小体积“学生模型”上让小模型去拟合教师模型的输出分布而不是仅仅拟合硬标签。下面是本篇文章围绕模型蒸馏整理的核心信息速览技术维度说明英文名称Knowledge Distillation简称KD提出时间2015年前后Geoffrey Hinton团队核心思想让小模型学习大模型的输出概率分布而非仅学习离散标签关键参数温度系数T、软标签、KL散度损失、硬标签交叉熵原始适用场景模型压缩、知识迁移、模型集成大模型时代演变从logits蒸馏扩展到数据蒸馏、指令蒸馏、反馈蒸馏主要优点大幅降低推理成本、训练成本可控、可保留教师模型的泛化能力主要风险能力天花板由教师决定、同质化严重、可能违反商业API使用条款争议焦点蒸馏与“抄袭”的边界、闭源模型服务条款、自研能力的长期损耗工程落地既适用于图像分类也适用于大语言模型的对齐和垂直领域微调从这张表可以直观看到蒸馏不是单一技术而是一个“从大模型到小模型”的迁移方法家族。理解这一点才能看懂“张一鸣为什么反对蒸馏”背后的复杂语境。2. 模型蒸馏是什么意思原理拆解2.1 为什么要蒸馏先讲动机。大模型效果好但推理成本高、延迟大很多业务场景根本跑不起。一个700亿参数模型部署到生产环境需要多张高端显卡才能提供可用的并发吞吐如果把它压缩成一个7B或者3B的模型可以在普通边缘设备上运行代价是效果可能下降。蒸馏要做的就是“尽可能保留大模型效果同时把体积和推理成本降下来”。传统的做法是直接用小模型在人工标注数据上训练但问题是人工标注数据量有限、质量不稳定而且小模型很难直接学会大模型的“暗知识”。大模型经过海量预训练后内部实际上编码了大量类别之间的相似关系比如“猫”和“狗”在视觉特征上的接近程度这些信息在硬标签里完全看不出来。蒸馏的核心贡献就是把这些“看不见的相似关系”显式提取出来教给小模型。2.2 软标签与温度系数怎么提取这种关系Hinton团队的做法是在softmax函数中引入温度系数T把大模型的输出概率变得“更平滑”。普通softmax的公式是softmax(z_i) exp(z_i) / sum_j exp(z_j)加入温度T之后变成softmax(z_i / T) exp(z_i / T) / sum_j exp(z_j / T)T越大输出的概率分布越平坦类别之间的相对关系保留得更充分T1时就是普通softmax。这种经过温度平滑后的概率分布就是“软标签”。小模型训练时除了学习原本的硬标签正确的类别还要同时逼近教师的软标签。硬标签解决“答案对不对”软标签解决“错误答案里哪些更接近正确”。后者才是蒸馏真正有价值的信息。2.3 蒸馏损失函数蒸馏的损失通常由两部分组成一部分是学生模型与教师模型软标签之间的KL散度另一部分是学生模型与真实标签之间的交叉熵。综合损失可以写成L alpha * KL(student_soft, teacher_soft) (1 - alpha) * CE(student_logits, labels)其中alpha用来控制软标签和硬标签的权重temperature T则需要根据任务和效果调节。训练时教师模型固定权重输出作为监督信号学生模型正常反向传播更新参数。整套流程看起来简单但工程实现上有大量细节需要调优。3. 大模型时代的蒸馏从logits蒸馏到数据蒸馏理解传统蒸馏原理后再看今天的“大模型蒸馏”就会发现实际落地的形态已经发生了很大变化。3.1 指令蒸馏与数据蒸馏传统知识蒸馏把目标放在logits层要求学生输出概率分布逼近教师。但在大语言模型场景中词表非常大逐token对齐logits不仅计算开销高而且收益有限。所以现在更常见的做法是“数据蒸馏”用教师模型生成大量高质量的指令数据、推理链数据、偏好数据再用这些数据去微调一个小模型。这种方式下学生模型学的不再是某个token的概率分布而是教师模型的“思考方式”。大语言模型的蒸馏在产品形态上通常有两类第一类是能力蒸馏。拿通用大模型在数学、代码、逻辑推理上的表现数据去训练一个垂直小模型让它在特定领域达到接近大模型的效果同时部署成本更低。第二类是行为对齐蒸馏。拿已经经过人类反馈对齐的大模型去生成符合安全规范、语气风格、拒绝策略的回答再用这些数据微调小模型从而减少小模型的对齐成本。3.2 为什么数据蒸馏成了主流原因很直接语言模型没有单一的“正确答案”。同样一个用户问题可以有很多种合法回答传统硬标签无法表达这种分布。教师模型生成的多样本输出天然携带了答案的分布信息。因此在LLM阶段蒸馏更多是“合成数据微调”的组合而不是严格意义上的logits对齐。不过这带来一个更大的问题当多个团队用同一个教师模型蒸馏出自己的学生模型时这些学生模型在风格、知识边界、错误模式上都会高度趋同。短期看排行榜分数都会不错长期看大家的模型越来越像能力和缺陷一脉相承。这也是“张一鸣反对蒸馏”讨论里最核心的技术担忧之一。4. 张一鸣为什么反对蒸馏三种技术解读关于“张一鸣为什么反对蒸馏”目前公开渠道很难找到一字不差的原话和完整语境流传更广的是二手转述。所以这里先做一个重要声明下面的分析基于行业讨论和公开信息属于技术逻辑推理不代原始谈话内容。在没有官方完整材料之前更稳妥的判断是把它当作一个“技术路线讨论”来看待。4.1 解读一依赖参考答案会失去发现规律的能力蒸馏的本质是“教师模型提供参考答案”。如果团队长期依赖蒸馏路线学生模型永远是在逼近某个已有模型的行为边界而不是在探索未知规律。从AI研究的角度看这是一个非常危险的信号。一个做AGI目标的公司核心竞争力不是把别人的模型压缩得更好而是能够独立提出新架构、新训练方法、新数据范式。如果团队每天都在跑蒸馏实验大家的注意力会集中在“如何拟合教师输出”上而不是“模型为什么具备这个能力”。短期做一个高分榜模型很容易长期想突破现有模型的能力边界依靠蒸馏路径是走不通的。因为在蒸馏框架下学生模型的天花板在数学上就被教师模型限制了。4.2 解读二蒸馏刷榜会导致行业同质化泡沫放到行业层面看大量蒸馏模型的涌入会造成一种虚假繁荣。一个闭源强模型发布后很多团队迅速基于它的输出蒸馏出“套壳小模型”再接上各自的行业场景。这会在评测榜单上制造出大量高分但模型本身没有任何原创性贡献。一旦教师模型更新或下架依赖蒸馏的模型立刻失去源头活水。对于有长期技术积累需求的公司来说这是必须警惕的事情。字节跳动在国内AI领域的布局比较深从豆包大模型到即梦、Seed团队投入的是全栈自研路线。站在这个立场上张一鸣反对把“蒸馏”当作核心路线是符合商业逻辑的。他真正担心的可能不是蒸馏技术本身而是团队把“蒸馏”误当成“自主研发”在战略上出现方向性错误。4.3 解读三闭源模型服务条款的合规风险还有一个容易被忽略的层面法律与合同风险。OpenAI、Anthropic等闭源模型服务商都在服务条款中明确禁止用户利用模型输出训练竞争模型。如果在商业产品中直接蒸馏闭源API不仅面临账号封禁风险还可能产生知识产权争议。张一鸣作为公司最高决策者必须考虑合规风险。一个被公开讨论的案例是字节跳动曾因部分项目使用GPT输出训练自有模型被OpenAI暂停账号。无论这个事件细节如何它都说明了一条行业共识闭源模型的蒸馏需要非常谨慎授权边界不清就会变成法律问题。反对蒸馏从合规角度说也是一道底线管理。4.4 小结反对的不是技术而是路径依赖综合三种解读可以看出张一鸣反对蒸馏并不是说蒸馏毫无价值而是反对“把蒸馏当作核心技术路线”的路径依赖。技术负责人真正应该思考的是团队究竟在做“复用”还是在做“创新”长期积累是增强还是削弱。对大多数中小团队来说蒸馏依然是性价比极高的工具但对一个目标指向AGI的团队来说蒸馏只能是辅助手段不能是战略核心。5. 蒸馏与自研的边界开源协议、商业条款与行业争议“蒸馏”是否等于抄袭是一个被反复争论的问题。要回答它必须把场景拆开。5.1 开源模型的蒸馏边界对于开源模型蒸馏是否合法取决于开源协议。以MIT、Apache 2.0协议发布的模型通常允许用户基于模型权重进行微调、蒸馏和商用只要保留版权声明以Llama系列社区许可协议发布的模型允许大多数商用场景下的微调和蒸馏但对月活用户数有上限要求DeepSeek、Qwen等则采用更加开放的自定义许可协议明确允许蒸馏和商用。所以在开源协议允许的范围内蒸馏是合法且被鼓励的行为。这也是为什么DeepSeek等开源模型发布后国内大量团队迅速基于它们蒸馏垂直模型。开源社区实际上把“蒸馏”变成了生态建设的一部分大模型负责探索上限小模型负责场景落地。5.2 闭源模型的蒸馏争议闭源模型的情况完全不同。通过API调用获得模型输出再把这些输出用作训练数据通常违反服务条款。OpenAI开发者条款中明确禁止使用其服务“开发竞争模型”Anthropic等公司也采用类似限制。这意味着用API蒸馏闭源大模型在合同层面大概率违约即使技术上可以做到也存在商业和法律风险。5.3 行业争议的本质更深层次的争议是蒸馏模型能不能算“自研”答案取决于披露程度。如果模型权重、训练数据、蒸馏流程全程公开并且基于开源模型那么它是一个合法且透明的衍生模型如果企业完全隐藏在闭源API的输出之上却对外宣称“全自研大模型”这就构成了产品层面的误导也消耗了整个行业的信任。张一鸣在这个节点上明确表达对蒸馏的谨慎态度可以看作是在给行业传递一个信号靠蒸馏刷出来的短期优势长期看并不稳固真正值得投入的还是从数据、算力、算法三个方向建立壁垒。6. 一个可运行的蒸馏代码示例理论讲完直接上代码。下面用PyTorch实现一个小型知识蒸馏训练流程。由于只是演示数据使用随机生成的模拟数据重点是让学生理解蒸馏损失函数和训练循环怎么写。6.1 环境准备需要安装Python和PyTorch版本不需要太新PyTorch 2.x即可。pip install torch6.2 蒸馏损失函数import torch import torch.nn as nn import torch.nn.functional as F def distillation_loss( student_logits: torch.Tensor, teacher_logits: torch.Tensor, labels: torch.Tensor, temperature: float 4.0, alpha: float 0.7, ) - torch.Tensor: 知识蒸馏损失 alpha * KL散度(软标签) (1 - alpha) * 交叉熵(硬标签) # 学生模型在高温下的log softmax soft_student F.log_softmax(student_logits / temperature, dim-1) # 教师模型在高温下的softmax概率作为软标签 soft_teacher F.softmax(teacher_logits / temperature, dim-1) # KL散度损失乘以 T^2 是为了保持梯度尺度 kd_loss F.kl_div(soft_student, soft_teacher, reductionbatchmean) kd_loss kd_loss * (temperature ** 2) # 学生模型与真实标签之间的交叉熵 ce_loss F.cross_entropy(student_logits, labels) return alpha * kd_loss (1 - alpha) * ce_loss这段代码里有个容易被忽略的细节KL散度损失要乘以temperature的平方。这是因为在高温下软标签的概率分布更加平坦梯度的量级会变小乘以T^2可以在数值上恢复梯度尺度。很多新手第一次写蒸馏踩坑就是漏掉了这一步导致温度升高时损失占比失控。6.3 温度系数的效果验证可以用一段非常短的代码观察温度系数对概率分布的影响import torch import torch.nn.functional as F logits torch.tensor([2.0, 1.5, 0.1, -1.0]) for T in [1.0, 2.0, 4.0, 8.0]: probs F.softmax(logits / T, dim-1) print(fT{T}: {probs.numpy().round(4)})运行结果可以看到T越大概率分布越平滑类别之间的细微差异被放大了。这正是教师模型要教给学生的“暗知识”。6.4 训练循环示例teacher_model TeacherModel() student_model StudentModel() teacher_model.eval() student_model.train() optimizer torch.optim.Adam(student_model.parameters(), lr1e-4) for epoch in range(epochs): for images, labels in dataloader: with torch.no_grad(): teacher_logits teacher_model(images) student_logits student_model(images) loss distillation_loss( student_logits, teacher_logits, labels, temperature4.0, alpha0.7, ) optimizer.zero_grad() loss.backward() optimizer.step() print(fepoch: {epoch}, loss: {loss.item():.4f})上面的代码是一个最标准的离线蒸馏流程。实际训练时教师模型必须处于eval模式且不更新梯度否则会引入额外噪声温度参数和alpha也需要根据验证集调优一般做法是固定教师模型后先跑一次交叉熵baseline再调整alpha观察蒸馏损失带来的增益。6.5 大模型数据蒸馏的伪代码大语言模型场景下的蒸馏通常不是直接对齐logits而是通过教师模型生成数据后再微调。伪代码如下# 1. 用教师模型生成合成数据 prompts load_prompt_pool(prompts.jsonl) outputs teacher_model.chat( messagesprompts, temperature0.7, max_tokens2048, ) save_to_jsonl(outputs, synthetic_data.jsonl) # 2. 用合成数据微调学生模型 student_model load_base_model(smaller-base-model) train(student_model, synthetic_data.jsonl, epochs3) # 3. 过滤和人工抽检 qualified_data filter_by_heuristics(synthetic_data.jsonl)大模型数据蒸馏的关键瓶颈不是生成而是数据质量。教师模型生成的输出中总会有幻觉、错误推理和格式问题直接拿去训练会把错误放大。因此在大模型蒸馏实践中需要加一道数据过滤和人工抽检用规则或者小模型对输出质量打分合格样本才进入训练集。7. 蒸馏的正确用法与工程最佳实践既然蒸馏本身不是洪水猛兽那么工程上应该怎么用这里给出几条经过验证的实践建议。7.1 先用小参数跑通再放大第一次尝试蒸馏时不要一上来就训练大模型。先用小网络在小数据集上跑通损耗函数、温度参数和训练循环确认KL散度能正常下降、学生模型能复现教师模型的大致行为再切换到真实数据集。这套“最小可运行实验”的方法可以大大节省调试成本。7.2 数据清洗比模型结构更重要尤其是大模型的数据蒸馏教师模型生成的合成数据必须做质量控制。可以先用规则过滤明显错误的数据再用指标模型打分最后人工抽检保证数据分布不过度偏向某类场景。干净的数据集比调模型结构带来的收益更大。7.3 评估要加分布外泛化指标很多蒸馏实验在评测集上表现不错一上真实场景就崩。原因是评测集通常和蒸馏数据同分布模型只是记住了教师模型的输出模式。建议在评估时加入分布外测试集也就是与训练数据来源差异较大的数据集才能真正反映学生模型的泛化能力。7.4 蒸馏模型要与基座模型做差异对比部署蒸馏模型前必须与基座大模型做批量对比测试包括典型案例、边界case、对抗样本和长尾场景。如果学生模型在关键业务场景上的表现与教师模型差异过大就需要回炉重训而不是直接上线。7.5 合规审查必须前置使用任何教师模型前先确认开源协议或者API服务条款。开源模型看许可证是否允许商用和蒸馏闭源API看服务条款是否禁止输出用于模型训练。没有授权边界确认之前不要开启任何蒸馏实验。8. 常见问题与FAQ8.1 蒸馏和微调有什么区别微调是在已有模型权重基础上用特定任务数据继续训练蒸馏是让学生模型模仿教师模型的输出分布。微调不改变“教师”对象蒸馏需要同时存在教师和学生两个模型。实际工程中两者经常组合使用先用蒸馏获得一个学生模型再用任务数据对模型进一步微调。8.2 蒸馏后的模型算不算自研要看是否基于开源许可且是否披露。如果基于开源模型合法蒸馏并在模型卡中明确说明教师模型、训练数据和蒸馏流程这是一个透明的衍生模型如果完全基于闭源API输出却不做披露则有合同和信誉风险。8.3 蒸馏一定能提升小模型效果吗不一定。蒸馏提升效果的前提是教师模型确实比学生模型强、软标签中的“暗知识”确实与任务相关同时训练超参设置正确。如果教师模型本身与学生模型能力差距过大或者温度参数设置不合理蒸馏效果可能不如直接训练。8.4 蒸馏模型可以通过评测刷到高分吗可以。评测集如果公开且蒸馏数据覆盖了大量评测集相关问题模型就可以在榜单上拿到非常高的分数。但这类高分不具备泛化价值换到真实场景很容易失效。这也是包括张一鸣在内的技术负责人们对“蒸馏刷榜”态度谨慎的原因之一。8.5 小团队应该放弃蒸馏吗不需要。小团队没有足够算力和数据做全流程预训练用开源大模型蒸馏垂直模型是性价比最高的落地方式。关键在于只做合法授权范围内的蒸馏清楚披露模型来源并把蒸馏当作起点而不是战略终点。9. 总结与思考回到标题张一鸣为什么反对蒸馏最合理的理解不是“禁止蒸馏”而是“不要把蒸馏当成战略核心”。蒸馏是一个非常实用的工程手段它可以把大模型的能力迁移到小模型上降低成本、加速落地但它也是一个能力复制工具复制得再好也不会产生超过教师模型上限的原创能力。对一个目标是AGI的团队来说真正的护城河永远来自独立发现规律的能力也就是准备数据、设计训练范式、突破模型结构的能力而不是复制别人的输出分布。这篇文章从蒸馏的原理讲到损失函数从大模型时代的数据蒸馏讲到行业争议从代码实现讲到合规边界希望已经帮你把“蒸馏模型是什么意思”和“模型蒸馏原理是什么”这两件事讲清楚了。下一节课可以沿着这条线继续往下走比如做一个真正可运行的LLM蒸馏训练项目把你选的基座模型和小模型放在同一套数据上做对比。建议收藏备用动手跑一个蒸馏实验比看十篇讨论都更能理解这个问题的本质。
改进与应用实践)
