【免费下载链接】DeepSeek-V3-W4A8-Pruing项目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing点击查看免费下载初次接触 DeepSeek-V3-W4A8-Pruing 模型仓库时面对 3 个 safetensors 分片文件、一个 578KB 的 index 索引 JSON新手最容易发懵为什么权重要拆成 3 片index 文件里的 weight_map 到底在索引什么这篇文章带你逐层拆解 safetensors 三分片结构与 index 索引的完整对应关系看完你就能独立读懂任意量化模型的权重布局。仓库文件全景先看目录里有什么整个仓库可以分成三类文件各司其职类别文件作用权重数据quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors等 3 个分片存放模型全部张量数据权重索引quant_model_weight_w8a8_dynamic.safetensors.index.json记录哪个张量在哪个分片量化说明quant_model_description.json记录每个参数的量化类型模型配置config.json、configuration_deepseek.py定义模型结构与加载入口词表tokenizer.json、tokenizer_config.json分词与对话模板 记住一条主线index 索引管位置description 管精度safetensors 分片管数据。safetensors 三分片各自装了什么大模型权重通常按大小上限切成多个 shard分片。本模型共 4810 个张量键key被均匀地分配到 3 个分片中分布并不均匀分片张量键数量占比内容00001496约 10.3%词嵌入model.embed_tokens、第 0~2 层全部参数、第 3 层 MoE 专家 0~16000023132约 65.1%第 3 层 MoE 专家 17~190 的量化权重000031182约 24.6%第 3 层 MoE 专家 191~255、路由 gate、shared_experts、model.norm、lm_head 为什么第 2 片特别大因为 config.json 中n_routed_experts为 256、num_hidden_layers为 4第 3 层是 MoE 层256 个专家的权重占了全模型的大头而 MoE 层被切分在 3 个分片里。分片 1从词嵌入到 MoE 专家 16打开索引文件开头第一个键就是词嵌入model.embed_tokens.weight: quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors随后按层顺序排布第 0~2 层的self_attnq_a_proj、q_b_proj、kv_a_proj_with_mqa、o_proj 等 MLA 投影与mlp参数直到model.layers.3.mlp.experts.17.gate_proj.scale_bias为止。分片 2MoE 专家权重的主战场第 2 片几乎全部是model.layers.3.mlp.experts.17到experts.190的键每个专家都带有 gate_proj / up_proj / down_proj 三组矩阵及其量化伴随张量model.layers.3.mlp.experts.17.up_proj.weight model.layers.3.mlp.experts.17.up_proj.weight_scale model.layers.3.mlp.experts.17.up_proj.weight_offset model.layers.3.mlp.experts.17.up_proj.weight_scale_second model.layers.3.mlp.experts.17.up_proj.scale_bias这正是 W4A8 量化的典型特征——每个weight都配套 scale / offset / scale_bias 等伴随参数键数量是普通模型的 5~6 倍。分片 3专家尾部 归一化 输出头第 3 片从experts.191.up_proj.weight开始收在模型的最后三件套model.norm.weight: ...-00003-of-00003.safetensors, model.norm.bias: ...-00003-of-00003.safetensors, lm_head.weight: ...-00003-of-00003.safetensorslm_head是输出词表投影词表大小 129280永远位于权重文件的末尾这是判断一个分片是否为末片的最快标志。index 索引的完整解析metadata weight_map索引文件结构非常简洁只有两个顶层字段{ metadata: { total_size: 12073335872 }, weight_map: { 张量名: 分片文件名, ... } }metadata.total_size全模型张量总字节数12073335872约11.25 GB。加载器用它校验分片是否完整是判断下载齐没齐的第一依据。weight_map4810 条张量名 → 分片名映射。推理框架如 vLLM / MindIE加载时只读这个索引按需打开对应分片并做零拷贝内存映射而不是把整个模型读进内存。 实用技巧想确认某个参数在哪个分片直接搜索weight_map中的键名即可例如查model.layers.3.mlp.gate.weight会指向 00003 分片——这就是 MoE 路由表所在位置。用 quant_model_description.json 看懂每个参数的精度如果说 index 回答在哪那么 quant_model_description.json 回答的是以什么精度存储。文件头部声明version: 1.0.0, model_quant_type: W8A8_DYNAMIC, group_size: 256其中group_size: 256表示量化按 256 个元素一组做分组缩放。全文档按参数统计精度类型分布如下量化类型参数数量分布位置W4A8_DYNAMIC4608第 3 层 MoE 路由专家的 gate/up/down_projW8A8112各层 MLA 注意力投影q_a/q_b/kv_a/o_projFLOAT54词嵌入、layernorm、bias 等保持高精度W8A8_DYNAMIC36第 0~2 层 dense MLP 的 gate/up/down_proj这与 config.json 中的三个字段一一对应mla_quantize: w8a8, quantize: w8a8_dynamic, moe_quantize: w4a8_dynamic 项目名里的 W4A8 指的就是 MoE 专家部分权重 4-bit、激活 8-bit 的动态量化这也是整个模型最省显存的功臣。新手上手 3 步下载、校验、加载第 1 步获取完整权重在模型仓库页面下载全部文件或执行git clone https://gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing第 2 步校验完整性三个分片文件 index 文件必须齐全缺一不可index 中metadata.total_size约 11.25 GB应与各分片实际大小之和一致。第 3 步交给推理框架加载配置 configuration.json 声明了framework: pytorch、task: text-generationconfig.json 的auto_map字段把AutoConfig/AutoModel指向 configuration_deepseek.py 与 modeling_deepseek.py因此框架会自动识别DeepseekV3ForCausalLM架构通过 index 按需读取分片无需手工指定分片顺序。总结一张图记住权重读取链路config.json ── 决定架构与量化方案 │ ▼ .safetensors.index.json ── weight_map张量名 → 分片文件位置索引 │ ▼ 00001 / 00002 / 00003 分片 ── 实际张量数据safetensors 零拷贝读取 │ ▼ quant_model_description.json ── 每个张量的精度类型W4A8 / W8A8 / FLOAT核心结论只有一句话index 索引是目录分片是章节description 是书脊上的标注。掌握weight_map的键名 → 分片名映射规律按层顺序排布、MoE 专家体量大导致分片 2 最厚、lm_head收尾于分片 3你面对任何 safetensors 多分片量化模型都能快速建立全局认知。赞分享【免费下载链接】DeepSeek-V3-W4A8-Pruing项目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing点击查看免费下载相关推荐Qwen3-235B-A22B-W4A8权重文件解码读懂30个safetensors分片与量化索引文件Qwen3 235B A22B W4A8权重文件解码读懂30个safetensors分片与量化索引文件 Qwen3 235B A22B W4A8 是 Qwen为什么叫PruingDeepSeek-V3-W4A8-Pruing剪枝版与完整模型的区别一文看懂为什么叫PruingDeepSeek V3 W4A8 Pruing剪枝版与完整模型的区别一文看懂 如果你想在单卡昇腾 NPU 上体验 DeepSeek V3Qwen3-8B-W4A8 模型文件结构全解析safetensors 分片与 index.json 到底长什么样Qwen3 8B W4A8 模型文件结构全解析safetensors 分片与 index.json 到底长什么样 Qwen3 8B W4A8 是 vllm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
【免费下载链接】DeepSeek-V3-W4A8-Pruing项目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing点击查看免费下载初次接触 DeepSeek-V3-W4A8-Pruing 模型仓库时面对 3 个 safetensors 分片文件、一个 578KB 的 index 索引 JSON新手最容易发懵为什么权重要拆成 3 片index 文件里的 weight_map 到底在索引什么这篇文章带你逐层拆解 safetensors 三分片结构与 index 索引的完整对应关系看完你就能独立读懂任意量化模型的权重布局。仓库文件全景先看目录里有什么整个仓库可以分成三类文件各司其职类别文件作用权重数据quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors等 3 个分片存放模型全部张量数据权重索引quant_model_weight_w8a8_dynamic.safetensors.index.json记录哪个张量在哪个分片量化说明quant_model_description.json记录每个参数的量化类型模型配置config.json、configuration_deepseek.py定义模型结构与加载入口词表tokenizer.json、tokenizer_config.json分词与对话模板 记住一条主线index 索引管位置description 管精度safetensors 分片管数据。safetensors 三分片各自装了什么大模型权重通常按大小上限切成多个 shard分片。本模型共 4810 个张量键key被均匀地分配到 3 个分片中分布并不均匀分片张量键数量占比内容00001496约 10.3%词嵌入model.embed_tokens、第 0~2 层全部参数、第 3 层 MoE 专家 0~16000023132约 65.1%第 3 层 MoE 专家 17~190 的量化权重000031182约 24.6%第 3 层 MoE 专家 191~255、路由 gate、shared_experts、model.norm、lm_head 为什么第 2 片特别大因为 config.json 中n_routed_experts为 256、num_hidden_layers为 4第 3 层是 MoE 层256 个专家的权重占了全模型的大头而 MoE 层被切分在 3 个分片里。分片 1从词嵌入到 MoE 专家 16打开索引文件开头第一个键就是词嵌入model.embed_tokens.weight: quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors随后按层顺序排布第 0~2 层的self_attnq_a_proj、q_b_proj、kv_a_proj_with_mqa、o_proj 等 MLA 投影与mlp参数直到model.layers.3.mlp.experts.17.gate_proj.scale_bias为止。分片 2MoE 专家权重的主战场第 2 片几乎全部是model.layers.3.mlp.experts.17到experts.190的键每个专家都带有 gate_proj / up_proj / down_proj 三组矩阵及其量化伴随张量model.layers.3.mlp.experts.17.up_proj.weight model.layers.3.mlp.experts.17.up_proj.weight_scale model.layers.3.mlp.experts.17.up_proj.weight_offset model.layers.3.mlp.experts.17.up_proj.weight_scale_second model.layers.3.mlp.experts.17.up_proj.scale_bias这正是 W4A8 量化的典型特征——每个weight都配套 scale / offset / scale_bias 等伴随参数键数量是普通模型的 5~6 倍。分片 3专家尾部 归一化 输出头第 3 片从experts.191.up_proj.weight开始收在模型的最后三件套model.norm.weight: ...-00003-of-00003.safetensors, model.norm.bias: ...-00003-of-00003.safetensors, lm_head.weight: ...-00003-of-00003.safetensorslm_head是输出词表投影词表大小 129280永远位于权重文件的末尾这是判断一个分片是否为末片的最快标志。index 索引的完整解析metadata weight_map索引文件结构非常简洁只有两个顶层字段{ metadata: { total_size: 12073335872 }, weight_map: { 张量名: 分片文件名, ... } }metadata.total_size全模型张量总字节数12073335872约11.25 GB。加载器用它校验分片是否完整是判断下载齐没齐的第一依据。weight_map4810 条张量名 → 分片名映射。推理框架如 vLLM / MindIE加载时只读这个索引按需打开对应分片并做零拷贝内存映射而不是把整个模型读进内存。 实用技巧想确认某个参数在哪个分片直接搜索weight_map中的键名即可例如查model.layers.3.mlp.gate.weight会指向 00003 分片——这就是 MoE 路由表所在位置。用 quant_model_description.json 看懂每个参数的精度如果说 index 回答在哪那么 quant_model_description.json 回答的是以什么精度存储。文件头部声明version: 1.0.0, model_quant_type: W8A8_DYNAMIC, group_size: 256其中group_size: 256表示量化按 256 个元素一组做分组缩放。全文档按参数统计精度类型分布如下量化类型参数数量分布位置W4A8_DYNAMIC4608第 3 层 MoE 路由专家的 gate/up/down_projW8A8112各层 MLA 注意力投影q_a/q_b/kv_a/o_projFLOAT54词嵌入、layernorm、bias 等保持高精度W8A8_DYNAMIC36第 0~2 层 dense MLP 的 gate/up/down_proj这与 config.json 中的三个字段一一对应mla_quantize: w8a8, quantize: w8a8_dynamic, moe_quantize: w4a8_dynamic 项目名里的 W4A8 指的就是 MoE 专家部分权重 4-bit、激活 8-bit 的动态量化这也是整个模型最省显存的功臣。新手上手 3 步下载、校验、加载第 1 步获取完整权重在模型仓库页面下载全部文件或执行git clone https://gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing第 2 步校验完整性三个分片文件 index 文件必须齐全缺一不可index 中metadata.total_size约 11.25 GB应与各分片实际大小之和一致。第 3 步交给推理框架加载配置 configuration.json 声明了framework: pytorch、task: text-generationconfig.json 的auto_map字段把AutoConfig/AutoModel指向 configuration_deepseek.py 与 modeling_deepseek.py因此框架会自动识别DeepseekV3ForCausalLM架构通过 index 按需读取分片无需手工指定分片顺序。总结一张图记住权重读取链路config.json ── 决定架构与量化方案 │ ▼ .safetensors.index.json ── weight_map张量名 → 分片文件位置索引 │ ▼ 00001 / 00002 / 00003 分片 ── 实际张量数据safetensors 零拷贝读取 │ ▼ quant_model_description.json ── 每个张量的精度类型W4A8 / W8A8 / FLOAT核心结论只有一句话index 索引是目录分片是章节description 是书脊上的标注。掌握weight_map的键名 → 分片名映射规律按层顺序排布、MoE 专家体量大导致分片 2 最厚、lm_head收尾于分片 3你面对任何 safetensors 多分片量化模型都能快速建立全局认知。赞分享【免费下载链接】DeepSeek-V3-W4A8-Pruing项目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing点击查看免费下载相关推荐Qwen3-235B-A22B-W4A8权重文件解码读懂30个safetensors分片与量化索引文件Qwen3 235B A22B W4A8权重文件解码读懂30个safetensors分片与量化索引文件 Qwen3 235B A22B W4A8 是 Qwen为什么叫PruingDeepSeek-V3-W4A8-Pruing剪枝版与完整模型的区别一文看懂为什么叫PruingDeepSeek V3 W4A8 Pruing剪枝版与完整模型的区别一文看懂 如果你想在单卡昇腾 NPU 上体验 DeepSeek V3Qwen3-8B-W4A8 模型文件结构全解析safetensors 分片与 index.json 到底长什么样Qwen3 8B W4A8 模型文件结构全解析safetensors 分片与 index.json 到底长什么样 Qwen3 8B W4A8 是 vllm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
