“何谓蒸馏”这个词最近在 AI 圈子里出现频率越来越高特别是硅谷那边讨论中国开放模型接近前沿时几乎绕不开蒸馏这个技术动作。但大多数讨论都停留在概念层面有人说蒸馏就是让学生模型学老师模型有人说蒸馏就是低成本复现大模型能力真正把它讲清楚讲到底层怎么做、为什么开放模型能靠蒸馏逼近闭源前沿模型的内容并不多。这篇文章就围绕蒸馏技术本身展开先解释蒸馏是什么、做什么、原理是什么然后结合开放模型生态的现状聊聊硅谷那边如何看待中国团队的蒸馏路线最后给出一套可以自己上手做蒸馏实验的部署、测试和评估方法。如果你关心模型轻量化、知识蒸馏、数据蒸馏或者想搞清楚为什么很多开源模型能跑到接近 GPT-4 级别的效果这篇文章值得收藏。1. 先搞清楚蒸馏模型到底是什么意思蒸馏模型的核心思路非常直接用一个已经训练好的大模型通常称为教师模型Teacher Model把它的能力迁移到一个规模更小、结构更轻的模型通常称为学生模型Student Model上让这个小模型去模仿大模型的输出从而在推理成本更低的前提下逼近大模型的效果。这里要区分几个容易混淆的概念。知识蒸馏Knowledge Distillation是 2015 年由 Hinton 等人提出的经典方法核心是让学生模型学习教师模型的软标签输出而不是直接学习原始数据标签。数据蒸馏Dataset Distillation则是从大规模数据集中提取一小部分具有代表性的合成样本用这些样本来训练学生模型使得学生模型在小样本上也能取得接近全量数据训练的效果。模型蒸馏则是一个更泛化的叫法通常指代通过蒸馏、剪枝、量化等手段对模型进行轻量化改造的过程。从实际应用角度看蒸馏模型最重要的意义在于降低推理成本。一个大模型的参数量可能达到数百亿甚至千亿级别部署时对显存、算力、带宽都有很高要求。通过蒸馏得到一个参数量小一个数量级的学生模型在保持大部分能力的同时推理速度可能提升数倍显存占用大幅下降这让普通开发者和中小团队也能在有限硬件上跑起接近前沿模型的效果。关于蒸馏原理可以这样理解教师模型输出 - 软标签概率分布 - 蒸馏损失函数 - 学生模型学习 原始数据标签 - 硬标签 - 交叉熵损失 - 学生模型学习教师模型在预测时不只是给出一个正确答案还会给出每个类别的概率分布这个分布中包含了很多隐性的知识比如“猫”和“狗”在视觉上有多相近“苹果”和“香蕉”在语义空间中有多接近。学生模型通过学习这种软标签能够获得比硬标签更丰富的监督信息这就是知识蒸馏的核心优势。2. 核心能力速览能力项说明技术类型模型压缩、知识迁移、轻量化主要方法知识蒸馏、数据蒸馏、特征蒸馏、自蒸馏适用模型LLM、视觉模型、多模态模型、OCR、TTS教师模型参数量大、效果强的模型通常为闭源或开源前沿模型学生模型参数量小、结构轻量的模型核心收益降低推理成本、减少显存占用、提升推理速度硬件要求蒸馏训练阶段需要 GPU纯推理阶段可 CPU支持框架PyTorch、Hugging Face Transformers、Textbooks Are All You Need批量任务蒸馏训练本身适合批量数据准备和批量评估API 能力蒸馏后的模型可作为 API 服务部署也可接 OpenAI 风格接口需要说明一点蒸馏训练阶段的 GPU 要求取决于教师模型大小和学生模型大小。如果教师模型是 70B 级别的开源模型配置要求非常高如果教师模型只用于生成训练数据那么只需要一台能跑推理的 GPU 机器即可学生模型的训练可以在另一台设备上进行。这块细节在后面的章节展开。3. 数据蒸馏和知识蒸馏的差别以及各自的适用场景这次热词里同时出现了模型蒸馏、数据蒸馏、知识蒸馏三个关键词经常有人搞混。简单梳理一下数据蒸馏把大模型当成高质量数据生成器让大模型产出大量结构化数据再用这些数据微调小模型。知识蒸馏训练过程中用教师模型的软标签输出作为额外监督信号让学生模型不只学“正确答案”还学“答案的分布”。这两者是目前大模型轻量化里最主流的两种做法。剪枝量化和蒸馏是两个方向。剪枝是删除不重要的权重或神经元量化是把 FP16/BF16 权重压缩成 INT8/INT4两者不改变模型结构只改变参数表示方式。蒸馏则是用一个模型去“教”另一个模型学生模型结构可以完全不同于教师模型。适用场景也很清晰数据蒸馏最适合数据缺口场景比如你手上只有几千条标注数据但希望模型具备较强的泛化能力这时让大模型生成更多样本再微调能明显提升效果。- 知识蒸馏最适合模型压缩场景比如线上服务对延迟和显存要求很高不能用 70B 模型需要降到 7B 或 4B同时保留尽可能多的能力。剪枝量化则适合部署阶段不管你是不是用了蒸馏最终部署时通常都会做量化两者不冲突。4. 蒸馏为什么能让开放模型逼近闭源前沿模型接下来聊一个话题硅谷那边为什么关注中国开放模型的蒸馏路线以及蒸馏和“开放模型逼近前沿”之间的关系。这个问题的起点其实很现实。闭源前沿模型如 GPT-4、Claude 3.5 等在能力上确实有很大优势但问题是它们不开放权重无法直接微调也无法部署到自己的基础设施上。对于大多数团队来说调用 API 只是使用不是拥有。而开放模型不同权重公开、可以本地部署、可以继续训练这就让后续的蒸馏、微调、二次加工成为可能。蒸馏在这种局面下扮演的角色是把“前沿能力”从闭源或昂贵模型中抽取出来迁移到可部署的开放模型中。典型的做法是准备一批高质量指令或任务数据 将数据输入强大的教师模型获取高质量回答 利用这些数据对开源基础模型进行监督微调 评估学生模型效果必要时进行多轮数据质量迭代这个流程看起来并不复杂但真正的难点在数据质量和数据规模。为什么硅谷会关注中国团队的开放模型从技术路线来看中国团队更倾向于“数据蒸馏 开源底座”的组合也就是用庞大的合成数据覆盖大量任务场景让开源底座模型在蒸馏数据上快速提升。这种路线在成本上相对可控迭代速度快而且因为底座是开放的评估和复现都很方便。但这里必须提醒一句蒸馏不是万能的它有一个明显的天花板。学生模型的能力上限受限于教师模型输出的信息量。如果教师模型在某个任务上本身表现一般蒸馏出来的学生模型很难超过这个水平。蒸馏真正能做的是缩小差距而不是凭空创造能力。很多开放模型已经通过蒸馏逼近了闭源模型的水准但要说完全追平甚至超越还需要看后续的数据方法、底座架构和训练规模的持续投入。开放模型逼近前沿蒸馏只是其中一个环节。更完整的链路还包括高质量数据筛选、偏好对齐、RLHF/DPO 等步骤。蒸馏解决的是“如何在小模型上保留大模型知识”的问题而“如何让模型更符合人类偏好”则是对齐阶段的任务两者叠加才是现在的开放模型训练主流范式。5. 环境准备与前置条件如果你想自己跑一遍蒸馏实验不需要一步到位完整复现可以先做一个小规模的端到端验证。这样既能理解蒸馏的原理也能熟悉流程。建议的实验目标用一个 7B 或 13B 的开源模型作为教师模型用它的输出蒸馏训练一个小口径模型比如 1.1B 或 3B然后对比教师提升情况以及学生模型的推理表现。5.1 硬件环境方案 A纯 GPU 推理生成数据 GPU 训练。如果你只有一张 24G 显存的显卡可以跑 7B 教师模型推理生成数据再优化小型学生模型。这种方式最直观推荐新手选这个路径。方案 BAPI 生成数据 GPU 训练。教师模型用在线 API不需要本地跑只需要准备足够的调用额度数据生成阶段不占本地算力但依赖网络和 API 稳定。方案 CCPU 推理生成数据。不推荐作为主力方案因为大模型在 CPU 上的推理速度很慢小批量实验可以数据规模一大就基本不可行。5.2 软件环境通用检查清单如下项目推荐配置操作系统Ubuntu 20.04 或更新版本Windows 可用 WSL2Python3.10 或 3.11PyTorch2.0 及以上版本配合 CUDA 11.8 或 12.1CUDA11.8 或 12.1需和显卡驱动匹配Transformers4.30 及以上版本Datasets2.10 及以上版本磁盘空间至少 50G 可用空间建议 100G 以上需要按实际版本调整不要直接复制到生产环境以官方文档为准。5.3 安装依赖# 创建虚拟环境 python -m venv distil_env source distil_env/bin/activate # 安装 PyTorch这里以 CUDA 12.1 为例 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121# 安装 Hugging Face 生态依赖 pip install transformers datasets accelerate peftbash # 如果计划用 DeepSpeed 加速训练 pip install deepspeed这里建议不要一次装太多版本固定的包先用基础依赖跑通流程再按需要补充。6. 蒸馏实验搭建流程这里给出一个通用的端到端蒸馏流程以“教师推理生成数据 - 处理数据 - 微调学生模型 - 评估”为主线。6.1 准备训练数据蒸馏实验对数据质量的要求非常高。常见做法是准备一组覆盖不同任务类型的种子数据包括问答、摘要、翻译、代码生成、逻辑推理等。每一条种子数据需要包含指令和可选的输入。下面是一个非常小的示例数据文件实际使用时应准备几千到几万条不同类型的样本[ { instruction: 用一句话解释什么是知识蒸馏, input: }, { instruction: 将下面这段文字翻译成英文, input: 知识蒸馏是一种模型压缩方法核心思想是让学生模型模仿教师模型的输出。 }, { instruction: 根据以下代码解释其功能, input: import torch\nx torch.randn(16, 3, 224, 224)\nprint(x.shape) } ]6.2 调用教师模型生成训练数据如果你使用一个本地开源模型作为教师模型可以用下面的 PyTorch 脚本批量生成输出import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_name your-teacher-model-path tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto ) data [ {instruction: 用一句话解释什么是知识蒸馏, input: }, {instruction: 将下面这段文字翻译成英文, input: 知识蒸馏是一种模型压缩方法。}, ] outputs [] for item in data: prompt item[instruction] if item[input]: prompt \n item[input] messages [{role: user, content: prompt}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt) inputs {k: v.to(model.device) for k, v in inputs.items()} with torch.no_grad(): generated model.generate( **inputs, max_new_tokens512, do_sampleFalse, temperature1.0 ) output_text tokenizer.decode(generated[0], skip_special_tokensTrue) outputs.append({ instruction: item[instruction], input: item[input], output: output_text }) print(output_text) with open(teacher_outputs.json, w, encodingutf-8) as f: json.dump(outputs, f, ensure_asciiFalse, indent2)如果你的教师模型是 API 服务则用 requests 调用接口将返回结果保存为同样的格式。调用 API 需要一个通用接口模板实际使用时需要按服务商文档调整地址和鉴权字段import requests import json url https://api.example.com/v1/chat/completions api_key your-api-key headers { Authorization: fBearer {api_key}, Content-Type: application/json } prompt 用一句话解释什么是知识蒸馏 payload { model: your-teacher-model, messages: [ {role: user, content: prompt} ], temperature: 0.7, max_tokens: 512 } response requests.post(url, headersheaders, jsonpayload, timeout120) result response.json() print(result[choices][0][message][content])如果本地已有可用的 OpenAI 兼容接口也可以直接替换 base_url指向本地模型服务。6.3 数据清洗与格式化教师模型输出有噪声直接拿去训练会污染学生模型。建议至少做以下清洗去重教师模型对重复问题可能给出相似答案如果数据集中重复样本过多会导致学生模型过拟合。过滤空内容删除 output 为空的样本。长度过滤过长或过短的输出都可能质量不高可以设定一个字符区间超出过滤。格式统一将教师输出中的额外表语、解释性前缀去掉只保留核心回答。清洗后把数据转换为学生模型训练所需的格式对于指令微调场景推荐的对话格式是{ messages: [ {role: user, content: 用一句话解释什么是知识蒸馏}, {role: assistant, content: 知识蒸馏是一种模型压缩方法学生模型通过学习教师模型的输出分布来获得接近教师模型的能力。} ] }多轮对话样本也可按这种格式扩展开来。6.4 学生模型训练下面以 Hugging Face Transformers PEFT/LoRA 方式训练一个开源学生模型为例。LoRA 可以减少训练参数、降低显存需求对于单卡 24G 显存环境更友好。先用 datasets 库加载清洗后的数据from datasets import load_dataset dataset load_dataset(json, data_filescleaned_data.jsonl, splittrain)再加载学生模型和分词器from transformers import AutoTokenizer, AutoModelForCausalLM student_model_name your-student-model-path # 例如一个 1B/3B 开源模型 tokenizer AutoTokenizer.from_pretrained(student_model_name) model AutoModelForCausalLM.from_pretrained( student_model_name, torch_dtypetorch.float16, device_mapauto )对数据进行 tokenizedef tokenize_function(examples): texts [] for user_content, assistant_content in zip(examples[user], examples[assistant]): messages [ {role: user, content: user_content}, {role: assistant, content: assistant_content} ] text tokenizer.apply_chat_template(messages, tokenizeFalse) texts.append(text) tokenized tokenizer(texts, truncationTrue, paddingFalse, max_length1024) tokenized[labels] tokenized[input_ids].copy() return tokenized tokenized_dataset dataset.map(tokenize_function, batchedTrue, remove_columnsdataset.column_names)使用 LoRA 进行训练from peft import LoraConfig, get_peft_model lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, k_proj, v_proj, o_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters()设置训练参数from transformers import TrainingArguments, Trainer training_args TrainingArguments( output_dir./distill_output, per_device_train_batch_size1, gradient_accumulation_steps8, num_train_epochs3, learning_rate2e-4, fp16True, logging_steps10, save_steps500, save_total_limit2, remove_unused_columnsFalse, ) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset, ) trainer.train()如果显存不足可以减小 per_device_train_batch_size、增大 gradient_accumulation_steps或降低 max_length。训练完成后保存模型model.save_pretrained(./distill_output/final_checkpoint) tokenizer.save_pretrained(./distill_output/final_checkpoint)6.5 合并 LoRA 权重并导出LoRA 训练得到的是增量权重推理时需要合并回基础模型。合并代码from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer base_model_path your-student-model-path lora_path ./distill_output/final_checkpoint model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypetorch.float16, device_mapauto ) model PeftModel.from_pretrained(model, lora_path) merged_model model.merge_and_unload() merged_model.save_pretrained(./distill_output/merged_model) tokenizer AutoTokenizer.from_pretrained(base_model_path) tokenizer.save_pretrained(./distill_output/merged_model)导出后的 merged_model 可以直接用于推理部署。7. 功能测试与效果验证蒸馏完成后不能只看训练 loss还需要从多个维度验证学生模型的真实能力。7.1 测试维度测试项测试内容判断标准基础问答常识、定义、生活问题回答是否准确、完整指令跟随按用户指令执行任务是否严格遵循格式或约束编码能力代码生成、代码解释语法是否正确、逻辑是否合理长文本处理长段落摘要、多轮对话是否有信息丢失、是否跑题稳定性相同问题多次生成输出是否一致、是否出现崩溃输出伦理安全违规请求是否拒绝是否有不当输出7.2 编写一个简单的批量评估脚本from transformers import AutoTokenizer, AutoModelForCausalLM import json model_path ./distill_output/merged_model tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, device_mapauto ) test_cases [ 什么是知识蒸馏, 用 Python 写一个计算斐波那契数列的函数。, 把这句话翻译成英文今天天气很好。, 解释一下什么是 Transformer。, ] def generate(prompt): messages [{role: user, content: prompt}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt) inputs {k: v.to(model.device) for k, v in inputs.items()} with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens512, do_sampleFalse ) return tokenizer.decode(outputs[0], skip_special_tokensTrue) results [] for case in test_cases: result generate(case) results.append({input: case, output: result}) print(问题:, case) print(回答:, result) print( * 50) with open(eval_results.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)7.3 判断蒸馏效果的通用思路一个普遍的做法是拿“教师模型输出”和“学生模型输出”做对比评估观察学生在核心任务上是否保留了教师模型的能力。如果你有原始数据集还可以对比学生模型在测试集上的准确率/BLEU/ROUGE 等指标和教师模型差距是否明显。相同输入下学生模型的输出和教师模型的输出在语义上是否接近。学生模型在域外数据上的表现是否明显下降。如果学生模型在你的目标任务上已经接近或超过目标阈值就可以进入部署阶段。如果差距明显建议优先优化数据质量而不是加大训练轮数或提高模型参数。8. 接口 API 与批量任务部署蒸馏完成后的模型可以封装成 API 服务接到业务系统里。主流做法是把模型部署为 OpenAI 兼容接口这样可以直接使用 LangChain、FastGPT、Dify 等工具接入。8.1 使用 vLLM 部署vLLM 支持 OpenAI 兼容 API对批量推理也有优化。安装和启动方式pip install vllmpython -m vllm.entrypoints.openai.api_server \ --model ./distill_output/merged_model \ --served-model-name distil-model \ --port 8000 \ --gpu-memory-utilization 0.9 \ --max-model-len 4096启动后可用 curl 验证curl http://127.0.0.1:8000/v1/completions \ -H Content-Type: application/json \ -d { model: distil-model, prompt: 什么是知识蒸馏, max_tokens: 512, temperature: 0.7 }也可以使用 OpenAI Python SDK 调用from openai import OpenAI client OpenAI( base_urlhttp://127.0.0.1:8000/v1, api_keyEMPTY ) response client.chat.completions.create( modeldistil-model, messages[ {role: user, content: 什么是知识蒸馏} ], temperature0.7, max_tokens512 ) print(response.choices[0].message.content)8.2 批量任务设计如果需要对大量输入进行批量处理建议设计成任务队列读取输入文件、逐条构造请求。批量请求发送到 vLLM 或本地 API。控制并发数避免超出服务承受能力。对失败的请求做重试。保存输出结果时附带原始输入方便追踪。一个简单的批量调用脚本import json import requests from concurrent.futures import ThreadPoolExecutor, as_completed url http://127.0.0.1:8000/v1/completions def infer(text): payload { model: distil-model, prompt: text, max_tokens: 512, temperature: 0.7 } resp requests.post(url, jsonpayload, timeout120) if resp.status_code 200: return resp.json()[choices][0][text] else: return fERROR: {resp.status_code} {resp.text} inputs [ 请解释什么是 Transformer, 用 Python 写一个快速排序, 把这句话翻译成英文今天下雨了, ] results [] with ThreadPoolExecutor(max_workers4) as executor: futures {executor.submit(infer, text): text for text in inputs} for future in as_completed(futures): original_text futures[future] result future.result() results.append({input: original_text, output: result}) with open(batch_results.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)8.3 批量任务队列示例输入目录 ./inputs/ ├── batch1.json ├── batch2.json └── batch3.json 任务处理器 - 调用蒸馏模型 API - 输出到 ./outputs/ ├── batch1_result.json ├── batch2_result.json └── batch3_result.json失败任务建议保存到单独的失败目录并记录失败原因方便后续重试。9. 资源占用与性能观察蒸馏模型的优势在于部署阶段的资源占用更低但训练阶段依然需要考虑显存和算力。9.1 训练阶段资源观察训练阶段需要重点观察两个指标教师模型推理阶段的显存占用。学生模型训练阶段的显存占用。教师模型推理时可以通过nvidia-smi观察显存变化nvidia-smi --query-gpuindex,memory.used,memory.total,utilization.gpu --formatcsv -l 2学生模型训练阶段的显存占用受 batch size、max_length、LoRA 秩等因素影响。建议在正式训练前先用小 batch size 测试一次确认显存足够后再拉大。降低显存占用的常用手段包括开启梯度检查点减少 batch size增大梯度累积步数降低 max_length使用 LoRA/QLoRA 等参数高效微调9.2 部署阶段性能观察部署蒸馏模型时关注响应时间、吞吐量和显存占用。一个 vLLM 部署的模型可以通过其内置的监控接口查看请求延迟curl http://127.0.0.1:8000/metrics也可以通过压测工具观察- 并发请求数每个请求的生成 token 数量batch size 对吞吐的影响显存占用是否达到物理上限实际运行时限制并发数比一次性大量并发更稳定。vLLM 的--max-num-seqs参数可以限制并发序列数。10. 常见问题与排查方法问题现象可能原因排查方式解决方案训练时显存不足batch size 过大或 max_length 过长查看 nvidia-smi 显存占用降低 batch size、开启梯度检查点、使用 LoRA教师模型推理速度极慢CPU 推理或 GPU 利用率低查看 GPU 利用率切换到 GPU、使用 vLLM 推理加速数据加载时格式错误JSON 文件格式不正确检查 JSON 是否合法使用 json.tool 校验训练 loss 下降但效果差数据质量低或数据重复检查清洗后的样本清洗数据、增加多样性学生模型输出重复训练数据长度不足或模型容量不够检查评估输出增加高质量长文本数据LoRA 微调后模型未生效未合并 LoRA 权重查看推理时是否加载 PeftModel使用 merge_and_unload 合并API 服务启动失败找不到模型文件或端口冲突查看启动日志修正模型路径或换端口接口返回 429并发过高查看 vLLM 日志限制并发数增加重试机制模型输出违反安全约束数据中包含不安全内容检查训练数据添加安全过滤、对齐训练如果出现显存不足优先排查 batch size、max_length、显存碎片。如果出现输出崩溃优先检查数据质量而不是增加训练时间。11. 最佳实践与使用建议11.1 先小后大第一次做蒸馏实验不要一次性准备几万条数据。先用几十条到几百条小样本跑通整个流程验证代码、硬件、数据格式都没有问题再逐步扩大数据规模。这样能节省大量时间。11.2 教师模型和数据质量决定上限蒸馏效果首先取决于你用的教师模型输出质量其次才是训练参数。如果教师输出质量差后面再怎么调训练参数效果都有限。数据清洗阶段宁可多花时间也不要草率开始训练。11.3 保留一套最小可复现配置训练参数、数据路径、模型路径、评估脚本都应该写成配置文件方便后续复现和调整。推荐目录结构distill_project/ ├── configs/ │ ├── teacher_infer.yaml │ └── student_train.yaml ├── data/ │ ├── raw/ │ ├── cleaned/ │ └── eval/ ├── models/ │ ├── teacher/ │ └── student/ ├── scripts/ │ ├── generate_data.py │ ├── train_student.py │ └── evaluate.py └── outputs/11.4 批量任务要加日志和失败重试批量推理任务涉及大量请求任何一个网络抖动或显存波动都可能导致任务中断。建议在任务脚本中加入断点续跑和失败重试机制避免中途重新开始。11.5 接口服务限制访问范围部署 API 服务时不要将服务直接暴露在公网。如果必须在公网访问建议加上鉴权、限流、白名单等安全措施。本地测试时优先绑定 127.0.0.1。11.6 合规提醒蒸馏过程涉及大模型输出的数据如果教师模型是闭源 API 服务必须确认服务条款是否允许将输出用于训练目的。如果数据中包含人脸、声音、个人隐私或版权内容必须获得授权才能使用。蒸馏模型的商用发布也要注意许可证兼容性和数据来源合法性。12. 小结与下一步从技术角度看蒸馏是目前模型轻量化、开放模型能力提升的重要方法。它把大模型的能力迁移到小模型上降低了部署成本也让更多开发者可以在有限硬件下使用接近前沿模型的效果。但蒸馏不是一次训练就完事它是一个需要持续迭代数据的工程流程。这篇文章从概念、适用场景、环境准备、实验流程、评估方法、API 部署和排查思路做了完整展开给出了从零开始做蒸馏实验的可行路径。如果你打算在自己项目中尝试蒸馏建议按顺序做三件事先准备一份高质量种子数据跑通教师模型生成数据流程再以最小参数规模验证学生模型训练和评估流程。之后根据自己的算力和业务需求逐步扩大数据范围和模型规模。关于热词里提到的“蒸馏一本书的 skill 知识库”“minimax h3 蒸馏模型”这些具体方案核心逻辑仍然是数据蒸馏和知识蒸馏的结合只是把“一本书”“一个知识库”作为蒸馏知识的来源本质上还是让强模型产出结构化的知识数据再用它来训练或微调目标模型。等你跑通本文的基础流程之后自然可以往这个方向扩展。蒸馏模型是一个长期有效的能力建设手段值得花时间系统掌握。
“何谓蒸馏”这个词最近在 AI 圈子里出现频率越来越高特别是硅谷那边讨论中国开放模型接近前沿时几乎绕不开蒸馏这个技术动作。但大多数讨论都停留在概念层面有人说蒸馏就是让学生模型学老师模型有人说蒸馏就是低成本复现大模型能力真正把它讲清楚讲到底层怎么做、为什么开放模型能靠蒸馏逼近闭源前沿模型的内容并不多。这篇文章就围绕蒸馏技术本身展开先解释蒸馏是什么、做什么、原理是什么然后结合开放模型生态的现状聊聊硅谷那边如何看待中国团队的蒸馏路线最后给出一套可以自己上手做蒸馏实验的部署、测试和评估方法。如果你关心模型轻量化、知识蒸馏、数据蒸馏或者想搞清楚为什么很多开源模型能跑到接近 GPT-4 级别的效果这篇文章值得收藏。1. 先搞清楚蒸馏模型到底是什么意思蒸馏模型的核心思路非常直接用一个已经训练好的大模型通常称为教师模型Teacher Model把它的能力迁移到一个规模更小、结构更轻的模型通常称为学生模型Student Model上让这个小模型去模仿大模型的输出从而在推理成本更低的前提下逼近大模型的效果。这里要区分几个容易混淆的概念。知识蒸馏Knowledge Distillation是 2015 年由 Hinton 等人提出的经典方法核心是让学生模型学习教师模型的软标签输出而不是直接学习原始数据标签。数据蒸馏Dataset Distillation则是从大规模数据集中提取一小部分具有代表性的合成样本用这些样本来训练学生模型使得学生模型在小样本上也能取得接近全量数据训练的效果。模型蒸馏则是一个更泛化的叫法通常指代通过蒸馏、剪枝、量化等手段对模型进行轻量化改造的过程。从实际应用角度看蒸馏模型最重要的意义在于降低推理成本。一个大模型的参数量可能达到数百亿甚至千亿级别部署时对显存、算力、带宽都有很高要求。通过蒸馏得到一个参数量小一个数量级的学生模型在保持大部分能力的同时推理速度可能提升数倍显存占用大幅下降这让普通开发者和中小团队也能在有限硬件上跑起接近前沿模型的效果。关于蒸馏原理可以这样理解教师模型输出 - 软标签概率分布 - 蒸馏损失函数 - 学生模型学习 原始数据标签 - 硬标签 - 交叉熵损失 - 学生模型学习教师模型在预测时不只是给出一个正确答案还会给出每个类别的概率分布这个分布中包含了很多隐性的知识比如“猫”和“狗”在视觉上有多相近“苹果”和“香蕉”在语义空间中有多接近。学生模型通过学习这种软标签能够获得比硬标签更丰富的监督信息这就是知识蒸馏的核心优势。2. 核心能力速览能力项说明技术类型模型压缩、知识迁移、轻量化主要方法知识蒸馏、数据蒸馏、特征蒸馏、自蒸馏适用模型LLM、视觉模型、多模态模型、OCR、TTS教师模型参数量大、效果强的模型通常为闭源或开源前沿模型学生模型参数量小、结构轻量的模型核心收益降低推理成本、减少显存占用、提升推理速度硬件要求蒸馏训练阶段需要 GPU纯推理阶段可 CPU支持框架PyTorch、Hugging Face Transformers、Textbooks Are All You Need批量任务蒸馏训练本身适合批量数据准备和批量评估API 能力蒸馏后的模型可作为 API 服务部署也可接 OpenAI 风格接口需要说明一点蒸馏训练阶段的 GPU 要求取决于教师模型大小和学生模型大小。如果教师模型是 70B 级别的开源模型配置要求非常高如果教师模型只用于生成训练数据那么只需要一台能跑推理的 GPU 机器即可学生模型的训练可以在另一台设备上进行。这块细节在后面的章节展开。3. 数据蒸馏和知识蒸馏的差别以及各自的适用场景这次热词里同时出现了模型蒸馏、数据蒸馏、知识蒸馏三个关键词经常有人搞混。简单梳理一下数据蒸馏把大模型当成高质量数据生成器让大模型产出大量结构化数据再用这些数据微调小模型。知识蒸馏训练过程中用教师模型的软标签输出作为额外监督信号让学生模型不只学“正确答案”还学“答案的分布”。这两者是目前大模型轻量化里最主流的两种做法。剪枝量化和蒸馏是两个方向。剪枝是删除不重要的权重或神经元量化是把 FP16/BF16 权重压缩成 INT8/INT4两者不改变模型结构只改变参数表示方式。蒸馏则是用一个模型去“教”另一个模型学生模型结构可以完全不同于教师模型。适用场景也很清晰数据蒸馏最适合数据缺口场景比如你手上只有几千条标注数据但希望模型具备较强的泛化能力这时让大模型生成更多样本再微调能明显提升效果。- 知识蒸馏最适合模型压缩场景比如线上服务对延迟和显存要求很高不能用 70B 模型需要降到 7B 或 4B同时保留尽可能多的能力。剪枝量化则适合部署阶段不管你是不是用了蒸馏最终部署时通常都会做量化两者不冲突。4. 蒸馏为什么能让开放模型逼近闭源前沿模型接下来聊一个话题硅谷那边为什么关注中国开放模型的蒸馏路线以及蒸馏和“开放模型逼近前沿”之间的关系。这个问题的起点其实很现实。闭源前沿模型如 GPT-4、Claude 3.5 等在能力上确实有很大优势但问题是它们不开放权重无法直接微调也无法部署到自己的基础设施上。对于大多数团队来说调用 API 只是使用不是拥有。而开放模型不同权重公开、可以本地部署、可以继续训练这就让后续的蒸馏、微调、二次加工成为可能。蒸馏在这种局面下扮演的角色是把“前沿能力”从闭源或昂贵模型中抽取出来迁移到可部署的开放模型中。典型的做法是准备一批高质量指令或任务数据 将数据输入强大的教师模型获取高质量回答 利用这些数据对开源基础模型进行监督微调 评估学生模型效果必要时进行多轮数据质量迭代这个流程看起来并不复杂但真正的难点在数据质量和数据规模。为什么硅谷会关注中国团队的开放模型从技术路线来看中国团队更倾向于“数据蒸馏 开源底座”的组合也就是用庞大的合成数据覆盖大量任务场景让开源底座模型在蒸馏数据上快速提升。这种路线在成本上相对可控迭代速度快而且因为底座是开放的评估和复现都很方便。但这里必须提醒一句蒸馏不是万能的它有一个明显的天花板。学生模型的能力上限受限于教师模型输出的信息量。如果教师模型在某个任务上本身表现一般蒸馏出来的学生模型很难超过这个水平。蒸馏真正能做的是缩小差距而不是凭空创造能力。很多开放模型已经通过蒸馏逼近了闭源模型的水准但要说完全追平甚至超越还需要看后续的数据方法、底座架构和训练规模的持续投入。开放模型逼近前沿蒸馏只是其中一个环节。更完整的链路还包括高质量数据筛选、偏好对齐、RLHF/DPO 等步骤。蒸馏解决的是“如何在小模型上保留大模型知识”的问题而“如何让模型更符合人类偏好”则是对齐阶段的任务两者叠加才是现在的开放模型训练主流范式。5. 环境准备与前置条件如果你想自己跑一遍蒸馏实验不需要一步到位完整复现可以先做一个小规模的端到端验证。这样既能理解蒸馏的原理也能熟悉流程。建议的实验目标用一个 7B 或 13B 的开源模型作为教师模型用它的输出蒸馏训练一个小口径模型比如 1.1B 或 3B然后对比教师提升情况以及学生模型的推理表现。5.1 硬件环境方案 A纯 GPU 推理生成数据 GPU 训练。如果你只有一张 24G 显存的显卡可以跑 7B 教师模型推理生成数据再优化小型学生模型。这种方式最直观推荐新手选这个路径。方案 BAPI 生成数据 GPU 训练。教师模型用在线 API不需要本地跑只需要准备足够的调用额度数据生成阶段不占本地算力但依赖网络和 API 稳定。方案 CCPU 推理生成数据。不推荐作为主力方案因为大模型在 CPU 上的推理速度很慢小批量实验可以数据规模一大就基本不可行。5.2 软件环境通用检查清单如下项目推荐配置操作系统Ubuntu 20.04 或更新版本Windows 可用 WSL2Python3.10 或 3.11PyTorch2.0 及以上版本配合 CUDA 11.8 或 12.1CUDA11.8 或 12.1需和显卡驱动匹配Transformers4.30 及以上版本Datasets2.10 及以上版本磁盘空间至少 50G 可用空间建议 100G 以上需要按实际版本调整不要直接复制到生产环境以官方文档为准。5.3 安装依赖# 创建虚拟环境 python -m venv distil_env source distil_env/bin/activate # 安装 PyTorch这里以 CUDA 12.1 为例 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121# 安装 Hugging Face 生态依赖 pip install transformers datasets accelerate peftbash # 如果计划用 DeepSpeed 加速训练 pip install deepspeed这里建议不要一次装太多版本固定的包先用基础依赖跑通流程再按需要补充。6. 蒸馏实验搭建流程这里给出一个通用的端到端蒸馏流程以“教师推理生成数据 - 处理数据 - 微调学生模型 - 评估”为主线。6.1 准备训练数据蒸馏实验对数据质量的要求非常高。常见做法是准备一组覆盖不同任务类型的种子数据包括问答、摘要、翻译、代码生成、逻辑推理等。每一条种子数据需要包含指令和可选的输入。下面是一个非常小的示例数据文件实际使用时应准备几千到几万条不同类型的样本[ { instruction: 用一句话解释什么是知识蒸馏, input: }, { instruction: 将下面这段文字翻译成英文, input: 知识蒸馏是一种模型压缩方法核心思想是让学生模型模仿教师模型的输出。 }, { instruction: 根据以下代码解释其功能, input: import torch\nx torch.randn(16, 3, 224, 224)\nprint(x.shape) } ]6.2 调用教师模型生成训练数据如果你使用一个本地开源模型作为教师模型可以用下面的 PyTorch 脚本批量生成输出import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_name your-teacher-model-path tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto ) data [ {instruction: 用一句话解释什么是知识蒸馏, input: }, {instruction: 将下面这段文字翻译成英文, input: 知识蒸馏是一种模型压缩方法。}, ] outputs [] for item in data: prompt item[instruction] if item[input]: prompt \n item[input] messages [{role: user, content: prompt}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt) inputs {k: v.to(model.device) for k, v in inputs.items()} with torch.no_grad(): generated model.generate( **inputs, max_new_tokens512, do_sampleFalse, temperature1.0 ) output_text tokenizer.decode(generated[0], skip_special_tokensTrue) outputs.append({ instruction: item[instruction], input: item[input], output: output_text }) print(output_text) with open(teacher_outputs.json, w, encodingutf-8) as f: json.dump(outputs, f, ensure_asciiFalse, indent2)如果你的教师模型是 API 服务则用 requests 调用接口将返回结果保存为同样的格式。调用 API 需要一个通用接口模板实际使用时需要按服务商文档调整地址和鉴权字段import requests import json url https://api.example.com/v1/chat/completions api_key your-api-key headers { Authorization: fBearer {api_key}, Content-Type: application/json } prompt 用一句话解释什么是知识蒸馏 payload { model: your-teacher-model, messages: [ {role: user, content: prompt} ], temperature: 0.7, max_tokens: 512 } response requests.post(url, headersheaders, jsonpayload, timeout120) result response.json() print(result[choices][0][message][content])如果本地已有可用的 OpenAI 兼容接口也可以直接替换 base_url指向本地模型服务。6.3 数据清洗与格式化教师模型输出有噪声直接拿去训练会污染学生模型。建议至少做以下清洗去重教师模型对重复问题可能给出相似答案如果数据集中重复样本过多会导致学生模型过拟合。过滤空内容删除 output 为空的样本。长度过滤过长或过短的输出都可能质量不高可以设定一个字符区间超出过滤。格式统一将教师输出中的额外表语、解释性前缀去掉只保留核心回答。清洗后把数据转换为学生模型训练所需的格式对于指令微调场景推荐的对话格式是{ messages: [ {role: user, content: 用一句话解释什么是知识蒸馏}, {role: assistant, content: 知识蒸馏是一种模型压缩方法学生模型通过学习教师模型的输出分布来获得接近教师模型的能力。} ] }多轮对话样本也可按这种格式扩展开来。6.4 学生模型训练下面以 Hugging Face Transformers PEFT/LoRA 方式训练一个开源学生模型为例。LoRA 可以减少训练参数、降低显存需求对于单卡 24G 显存环境更友好。先用 datasets 库加载清洗后的数据from datasets import load_dataset dataset load_dataset(json, data_filescleaned_data.jsonl, splittrain)再加载学生模型和分词器from transformers import AutoTokenizer, AutoModelForCausalLM student_model_name your-student-model-path # 例如一个 1B/3B 开源模型 tokenizer AutoTokenizer.from_pretrained(student_model_name) model AutoModelForCausalLM.from_pretrained( student_model_name, torch_dtypetorch.float16, device_mapauto )对数据进行 tokenizedef tokenize_function(examples): texts [] for user_content, assistant_content in zip(examples[user], examples[assistant]): messages [ {role: user, content: user_content}, {role: assistant, content: assistant_content} ] text tokenizer.apply_chat_template(messages, tokenizeFalse) texts.append(text) tokenized tokenizer(texts, truncationTrue, paddingFalse, max_length1024) tokenized[labels] tokenized[input_ids].copy() return tokenized tokenized_dataset dataset.map(tokenize_function, batchedTrue, remove_columnsdataset.column_names)使用 LoRA 进行训练from peft import LoraConfig, get_peft_model lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, k_proj, v_proj, o_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters()设置训练参数from transformers import TrainingArguments, Trainer training_args TrainingArguments( output_dir./distill_output, per_device_train_batch_size1, gradient_accumulation_steps8, num_train_epochs3, learning_rate2e-4, fp16True, logging_steps10, save_steps500, save_total_limit2, remove_unused_columnsFalse, ) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset, ) trainer.train()如果显存不足可以减小 per_device_train_batch_size、增大 gradient_accumulation_steps或降低 max_length。训练完成后保存模型model.save_pretrained(./distill_output/final_checkpoint) tokenizer.save_pretrained(./distill_output/final_checkpoint)6.5 合并 LoRA 权重并导出LoRA 训练得到的是增量权重推理时需要合并回基础模型。合并代码from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer base_model_path your-student-model-path lora_path ./distill_output/final_checkpoint model AutoModelForCausalLM.from_pretrained( base_model_path, torch_dtypetorch.float16, device_mapauto ) model PeftModel.from_pretrained(model, lora_path) merged_model model.merge_and_unload() merged_model.save_pretrained(./distill_output/merged_model) tokenizer AutoTokenizer.from_pretrained(base_model_path) tokenizer.save_pretrained(./distill_output/merged_model)导出后的 merged_model 可以直接用于推理部署。7. 功能测试与效果验证蒸馏完成后不能只看训练 loss还需要从多个维度验证学生模型的真实能力。7.1 测试维度测试项测试内容判断标准基础问答常识、定义、生活问题回答是否准确、完整指令跟随按用户指令执行任务是否严格遵循格式或约束编码能力代码生成、代码解释语法是否正确、逻辑是否合理长文本处理长段落摘要、多轮对话是否有信息丢失、是否跑题稳定性相同问题多次生成输出是否一致、是否出现崩溃输出伦理安全违规请求是否拒绝是否有不当输出7.2 编写一个简单的批量评估脚本from transformers import AutoTokenizer, AutoModelForCausalLM import json model_path ./distill_output/merged_model tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.float16, device_mapauto ) test_cases [ 什么是知识蒸馏, 用 Python 写一个计算斐波那契数列的函数。, 把这句话翻译成英文今天天气很好。, 解释一下什么是 Transformer。, ] def generate(prompt): messages [{role: user, content: prompt}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt) inputs {k: v.to(model.device) for k, v in inputs.items()} with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens512, do_sampleFalse ) return tokenizer.decode(outputs[0], skip_special_tokensTrue) results [] for case in test_cases: result generate(case) results.append({input: case, output: result}) print(问题:, case) print(回答:, result) print( * 50) with open(eval_results.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)7.3 判断蒸馏效果的通用思路一个普遍的做法是拿“教师模型输出”和“学生模型输出”做对比评估观察学生在核心任务上是否保留了教师模型的能力。如果你有原始数据集还可以对比学生模型在测试集上的准确率/BLEU/ROUGE 等指标和教师模型差距是否明显。相同输入下学生模型的输出和教师模型的输出在语义上是否接近。学生模型在域外数据上的表现是否明显下降。如果学生模型在你的目标任务上已经接近或超过目标阈值就可以进入部署阶段。如果差距明显建议优先优化数据质量而不是加大训练轮数或提高模型参数。8. 接口 API 与批量任务部署蒸馏完成后的模型可以封装成 API 服务接到业务系统里。主流做法是把模型部署为 OpenAI 兼容接口这样可以直接使用 LangChain、FastGPT、Dify 等工具接入。8.1 使用 vLLM 部署vLLM 支持 OpenAI 兼容 API对批量推理也有优化。安装和启动方式pip install vllmpython -m vllm.entrypoints.openai.api_server \ --model ./distill_output/merged_model \ --served-model-name distil-model \ --port 8000 \ --gpu-memory-utilization 0.9 \ --max-model-len 4096启动后可用 curl 验证curl http://127.0.0.1:8000/v1/completions \ -H Content-Type: application/json \ -d { model: distil-model, prompt: 什么是知识蒸馏, max_tokens: 512, temperature: 0.7 }也可以使用 OpenAI Python SDK 调用from openai import OpenAI client OpenAI( base_urlhttp://127.0.0.1:8000/v1, api_keyEMPTY ) response client.chat.completions.create( modeldistil-model, messages[ {role: user, content: 什么是知识蒸馏} ], temperature0.7, max_tokens512 ) print(response.choices[0].message.content)8.2 批量任务设计如果需要对大量输入进行批量处理建议设计成任务队列读取输入文件、逐条构造请求。批量请求发送到 vLLM 或本地 API。控制并发数避免超出服务承受能力。对失败的请求做重试。保存输出结果时附带原始输入方便追踪。一个简单的批量调用脚本import json import requests from concurrent.futures import ThreadPoolExecutor, as_completed url http://127.0.0.1:8000/v1/completions def infer(text): payload { model: distil-model, prompt: text, max_tokens: 512, temperature: 0.7 } resp requests.post(url, jsonpayload, timeout120) if resp.status_code 200: return resp.json()[choices][0][text] else: return fERROR: {resp.status_code} {resp.text} inputs [ 请解释什么是 Transformer, 用 Python 写一个快速排序, 把这句话翻译成英文今天下雨了, ] results [] with ThreadPoolExecutor(max_workers4) as executor: futures {executor.submit(infer, text): text for text in inputs} for future in as_completed(futures): original_text futures[future] result future.result() results.append({input: original_text, output: result}) with open(batch_results.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2)8.3 批量任务队列示例输入目录 ./inputs/ ├── batch1.json ├── batch2.json └── batch3.json 任务处理器 - 调用蒸馏模型 API - 输出到 ./outputs/ ├── batch1_result.json ├── batch2_result.json └── batch3_result.json失败任务建议保存到单独的失败目录并记录失败原因方便后续重试。9. 资源占用与性能观察蒸馏模型的优势在于部署阶段的资源占用更低但训练阶段依然需要考虑显存和算力。9.1 训练阶段资源观察训练阶段需要重点观察两个指标教师模型推理阶段的显存占用。学生模型训练阶段的显存占用。教师模型推理时可以通过nvidia-smi观察显存变化nvidia-smi --query-gpuindex,memory.used,memory.total,utilization.gpu --formatcsv -l 2学生模型训练阶段的显存占用受 batch size、max_length、LoRA 秩等因素影响。建议在正式训练前先用小 batch size 测试一次确认显存足够后再拉大。降低显存占用的常用手段包括开启梯度检查点减少 batch size增大梯度累积步数降低 max_length使用 LoRA/QLoRA 等参数高效微调9.2 部署阶段性能观察部署蒸馏模型时关注响应时间、吞吐量和显存占用。一个 vLLM 部署的模型可以通过其内置的监控接口查看请求延迟curl http://127.0.0.1:8000/metrics也可以通过压测工具观察- 并发请求数每个请求的生成 token 数量batch size 对吞吐的影响显存占用是否达到物理上限实际运行时限制并发数比一次性大量并发更稳定。vLLM 的--max-num-seqs参数可以限制并发序列数。10. 常见问题与排查方法问题现象可能原因排查方式解决方案训练时显存不足batch size 过大或 max_length 过长查看 nvidia-smi 显存占用降低 batch size、开启梯度检查点、使用 LoRA教师模型推理速度极慢CPU 推理或 GPU 利用率低查看 GPU 利用率切换到 GPU、使用 vLLM 推理加速数据加载时格式错误JSON 文件格式不正确检查 JSON 是否合法使用 json.tool 校验训练 loss 下降但效果差数据质量低或数据重复检查清洗后的样本清洗数据、增加多样性学生模型输出重复训练数据长度不足或模型容量不够检查评估输出增加高质量长文本数据LoRA 微调后模型未生效未合并 LoRA 权重查看推理时是否加载 PeftModel使用 merge_and_unload 合并API 服务启动失败找不到模型文件或端口冲突查看启动日志修正模型路径或换端口接口返回 429并发过高查看 vLLM 日志限制并发数增加重试机制模型输出违反安全约束数据中包含不安全内容检查训练数据添加安全过滤、对齐训练如果出现显存不足优先排查 batch size、max_length、显存碎片。如果出现输出崩溃优先检查数据质量而不是增加训练时间。11. 最佳实践与使用建议11.1 先小后大第一次做蒸馏实验不要一次性准备几万条数据。先用几十条到几百条小样本跑通整个流程验证代码、硬件、数据格式都没有问题再逐步扩大数据规模。这样能节省大量时间。11.2 教师模型和数据质量决定上限蒸馏效果首先取决于你用的教师模型输出质量其次才是训练参数。如果教师输出质量差后面再怎么调训练参数效果都有限。数据清洗阶段宁可多花时间也不要草率开始训练。11.3 保留一套最小可复现配置训练参数、数据路径、模型路径、评估脚本都应该写成配置文件方便后续复现和调整。推荐目录结构distill_project/ ├── configs/ │ ├── teacher_infer.yaml │ └── student_train.yaml ├── data/ │ ├── raw/ │ ├── cleaned/ │ └── eval/ ├── models/ │ ├── teacher/ │ └── student/ ├── scripts/ │ ├── generate_data.py │ ├── train_student.py │ └── evaluate.py └── outputs/11.4 批量任务要加日志和失败重试批量推理任务涉及大量请求任何一个网络抖动或显存波动都可能导致任务中断。建议在任务脚本中加入断点续跑和失败重试机制避免中途重新开始。11.5 接口服务限制访问范围部署 API 服务时不要将服务直接暴露在公网。如果必须在公网访问建议加上鉴权、限流、白名单等安全措施。本地测试时优先绑定 127.0.0.1。11.6 合规提醒蒸馏过程涉及大模型输出的数据如果教师模型是闭源 API 服务必须确认服务条款是否允许将输出用于训练目的。如果数据中包含人脸、声音、个人隐私或版权内容必须获得授权才能使用。蒸馏模型的商用发布也要注意许可证兼容性和数据来源合法性。12. 小结与下一步从技术角度看蒸馏是目前模型轻量化、开放模型能力提升的重要方法。它把大模型的能力迁移到小模型上降低了部署成本也让更多开发者可以在有限硬件下使用接近前沿模型的效果。但蒸馏不是一次训练就完事它是一个需要持续迭代数据的工程流程。这篇文章从概念、适用场景、环境准备、实验流程、评估方法、API 部署和排查思路做了完整展开给出了从零开始做蒸馏实验的可行路径。如果你打算在自己项目中尝试蒸馏建议按顺序做三件事先准备一份高质量种子数据跑通教师模型生成数据流程再以最小参数规模验证学生模型训练和评估流程。之后根据自己的算力和业务需求逐步扩大数据范围和模型规模。关于热词里提到的“蒸馏一本书的 skill 知识库”“minimax h3 蒸馏模型”这些具体方案核心逻辑仍然是数据蒸馏和知识蒸馏的结合只是把“一本书”“一个知识库”作为蒸馏知识的来源本质上还是让强模型产出结构化的知识数据再用它来训练或微调目标模型。等你跑通本文的基础流程之后自然可以往这个方向扩展。蒸馏模型是一个长期有效的能力建设手段值得花时间系统掌握。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
