DeepSeek-V3 权重解析与 FP8 转 BF16 部署实战指南【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3DeepSeek-V3 是 671B 参数的开源 MoE 大模型权重默认以 FP8 格式放出合计 685B 参数。开发者通常卡在三个地方.safetensors 到底拆成多少分片、权重索引指向哪个文件、FP8 转 BF16 的权重格式转换后怎么把模型跑起来。本文先用 4 条命令把模型跑通出对话再讲清分片与索引机制最后给选型数字。 先跑通从 clone 到出对话的最短命令链官方 DeepSeek-Infer Demo 按 16 卡2 节点 × 8 卡张量并行运行权重就位后 4 条命令即可出对话原理全部放后面讲。1. 装环境Demo 只支持 Linux Python 3.104 个依赖版本全部锁死不要自行升级git clone https://gitcode.com/GitHub_Trending/de/DeepSeek-V3 cd DeepSeek-V3/inference pip install -r requirements.txt依赖为 torch2.4.1、triton3.0.0、transformers4.46.3、safetensors0.4.5建议用 conda 或 uv 建独立环境。2. 切分、启动、看到回复HF 权重用的是 HF 命名Demo 需要把 256 个专家切到 16 张卡所以先跑 inference/convert.py 做分片它同时跳过 MTP 层再用 torchrun 启动python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/Demo --n-experts 256 --model-parallel 16 torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/Demo --config configs/config_671B.json --interactive第一条命令产出 16 个 model{i}-mp16.safetensors第二条按 inference/configs/config_671B.json 加载 61 层与 256 个专家每 token 激活 8 个。看到模型回话跑通这一步结束。685B 权重拆多少片.safetensors 索引机制速览核心机制一句话分片按文件大小切不按模型结构切由一个 JSON 索引负责张量名 → 文件的映射原理类似图书馆的索书卡。一个分片里的两部分model.safetensors.index.json 就是索书卡每个张量记着它在哪本书哪个 .safetensors、第几页offset。分片文件 头部 JSON每个张量的 shape、dtype、offset 二进制数据体。读单个权重时只打开对应文件按 offset 读不必加载全部 1.37TB。index.json ──► model.layers.33.mlp.experts.5.gate_proj.weight → model-00042-of-00176.safetensors 分片 ──► 头部 JSONshape/dtype/offset 二进制张量数据完整 685B 权重共 176 片每片约 4GB。config.json 里的两个关键字段按 README_WEIGHTS.md主模型占 model.layers.0 到 model.layers.60共 61 层MTP 模块占 model.layers.61与主模型共享 embedding 和 lm_headMTP 独有参数 11.5B。MTP 层数由 num_nextn_predict_layers 控制当前为 1。FP8 分片带 quantization_confige4m3 格式、128×128 块缩放反量化因子存在 weight_scale_invfloat32公式为权重块 × scale。⚠️ 三步完成 FP8 权重转 BF16外加 5 个常见报错 先给结论只有框架不支持 FP8 时才需要转。官方只发 FP8 权重1 字节/参数685B 约占盘 685GB转 BF16 后占盘翻倍到约 1.37TB。跑转换转换走 inference/fp8_cast_bf16.py必须在 CUDA 机器上跑逐片加载、转完即写显存里最多同时驻留 2 片python fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8 --output-bf16-hf-path /path/to/bf16脚本会丢弃 scale_inv 张量并在结尾重写索引文件、移除对应条目。5 个常见报错Warning: Missing scale_inv tensor for xxx权重与它的 scale 不在同一分片且索引缺条目。打开 model.safetensors.index.json 查 xxx_scale_inv 是否存在缺失就重新下载。AssertionError: Number of experts must be divisible by ...convert.py 的 --model-parallel 必须整除 256取 8、16、32 之类。Dimension X must be divisible by 16非专家参数的切分维度不整除并行度核对 --model-parallel 与实际卡数一致。Key xxx not found in mapping权重出现新张量名而 convert.py 的映射表没跟上核对权重与仓库版本对应关系。转换时 OOM脚本显存只驻留 2 片约 8GB单卡 A100-80G 足够仍 OOM 说明显存被其他进程占用了。框架选型SGLang、vLLM、TensorRT-LLM 的部署数字生产环境优先 SGLang 或 vLLM两者原生支持 FP8 W8A8不必先转 BF16省一半磁盘和网络传输。框架能力对比框架精度并行方式硬件SGLang ≥0.4.1BF16 / FP8含 FP8 KV多机 TPNVIDIA / AMDvLLM ≥0.6.6BF16 / FP8TP 流水线并行NVIDIA / AMDTensorRT-LLMBF16 / INT4 / INT8TPNVIDIAFP8 在路上LMDeployBF16 / FP8TPNVIDIA本仓库 DemoBF16 / FP8固定 16 卡 TPNVIDIA用于验证权重SGLang 额外带 MLA 与 DP Attention 优化是开源里吞吐最高的vLLM 的流水线并行适合多台低配机器凑显存。三种精度的占盘与显存精度磁盘671B 显存下限FP8官方默认685GB16×80G1.28TBKV 还有余量BF16转换后约 1.37TB32×80G 及以上INT4TRT-LLM 量化约 343GB8~16×80GNIAH 测试显示 DeepSeek-V3 在 128K 全上下文窗口内保持召回部署长上下文时优先开 FP8 KV CacheKV 显存约省一半。✅ 部署前速查清单上线前逐项过一遍磁盘FP8 留 685GBBF16 留 1.37TB另加 10% 写入余量显存FP8 按 16×80G 起步BF16 按 32 卡以上规划索引完整性model.safetensors.index.json 的 weight_map 条目与实际分片一一对应MTP社区版支持尚未完整不影响主模型推理可先忽略框架优先 SGLang / vLLM 直接吃 FP8不要先做无谓的 BF16 转换【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
DeepSeek-V3 权重解析与 FP8 转 BF16 部署实战指南【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3DeepSeek-V3 是 671B 参数的开源 MoE 大模型权重默认以 FP8 格式放出合计 685B 参数。开发者通常卡在三个地方.safetensors 到底拆成多少分片、权重索引指向哪个文件、FP8 转 BF16 的权重格式转换后怎么把模型跑起来。本文先用 4 条命令把模型跑通出对话再讲清分片与索引机制最后给选型数字。 先跑通从 clone 到出对话的最短命令链官方 DeepSeek-Infer Demo 按 16 卡2 节点 × 8 卡张量并行运行权重就位后 4 条命令即可出对话原理全部放后面讲。1. 装环境Demo 只支持 Linux Python 3.104 个依赖版本全部锁死不要自行升级git clone https://gitcode.com/GitHub_Trending/de/DeepSeek-V3 cd DeepSeek-V3/inference pip install -r requirements.txt依赖为 torch2.4.1、triton3.0.0、transformers4.46.3、safetensors0.4.5建议用 conda 或 uv 建独立环境。2. 切分、启动、看到回复HF 权重用的是 HF 命名Demo 需要把 256 个专家切到 16 张卡所以先跑 inference/convert.py 做分片它同时跳过 MTP 层再用 torchrun 启动python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/Demo --n-experts 256 --model-parallel 16 torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/Demo --config configs/config_671B.json --interactive第一条命令产出 16 个 model{i}-mp16.safetensors第二条按 inference/configs/config_671B.json 加载 61 层与 256 个专家每 token 激活 8 个。看到模型回话跑通这一步结束。685B 权重拆多少片.safetensors 索引机制速览核心机制一句话分片按文件大小切不按模型结构切由一个 JSON 索引负责张量名 → 文件的映射原理类似图书馆的索书卡。一个分片里的两部分model.safetensors.index.json 就是索书卡每个张量记着它在哪本书哪个 .safetensors、第几页offset。分片文件 头部 JSON每个张量的 shape、dtype、offset 二进制数据体。读单个权重时只打开对应文件按 offset 读不必加载全部 1.37TB。index.json ──► model.layers.33.mlp.experts.5.gate_proj.weight → model-00042-of-00176.safetensors 分片 ──► 头部 JSONshape/dtype/offset 二进制张量数据完整 685B 权重共 176 片每片约 4GB。config.json 里的两个关键字段按 README_WEIGHTS.md主模型占 model.layers.0 到 model.layers.60共 61 层MTP 模块占 model.layers.61与主模型共享 embedding 和 lm_headMTP 独有参数 11.5B。MTP 层数由 num_nextn_predict_layers 控制当前为 1。FP8 分片带 quantization_confige4m3 格式、128×128 块缩放反量化因子存在 weight_scale_invfloat32公式为权重块 × scale。⚠️ 三步完成 FP8 权重转 BF16外加 5 个常见报错 先给结论只有框架不支持 FP8 时才需要转。官方只发 FP8 权重1 字节/参数685B 约占盘 685GB转 BF16 后占盘翻倍到约 1.37TB。跑转换转换走 inference/fp8_cast_bf16.py必须在 CUDA 机器上跑逐片加载、转完即写显存里最多同时驻留 2 片python fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8 --output-bf16-hf-path /path/to/bf16脚本会丢弃 scale_inv 张量并在结尾重写索引文件、移除对应条目。5 个常见报错Warning: Missing scale_inv tensor for xxx权重与它的 scale 不在同一分片且索引缺条目。打开 model.safetensors.index.json 查 xxx_scale_inv 是否存在缺失就重新下载。AssertionError: Number of experts must be divisible by ...convert.py 的 --model-parallel 必须整除 256取 8、16、32 之类。Dimension X must be divisible by 16非专家参数的切分维度不整除并行度核对 --model-parallel 与实际卡数一致。Key xxx not found in mapping权重出现新张量名而 convert.py 的映射表没跟上核对权重与仓库版本对应关系。转换时 OOM脚本显存只驻留 2 片约 8GB单卡 A100-80G 足够仍 OOM 说明显存被其他进程占用了。框架选型SGLang、vLLM、TensorRT-LLM 的部署数字生产环境优先 SGLang 或 vLLM两者原生支持 FP8 W8A8不必先转 BF16省一半磁盘和网络传输。框架能力对比框架精度并行方式硬件SGLang ≥0.4.1BF16 / FP8含 FP8 KV多机 TPNVIDIA / AMDvLLM ≥0.6.6BF16 / FP8TP 流水线并行NVIDIA / AMDTensorRT-LLMBF16 / INT4 / INT8TPNVIDIAFP8 在路上LMDeployBF16 / FP8TPNVIDIA本仓库 DemoBF16 / FP8固定 16 卡 TPNVIDIA用于验证权重SGLang 额外带 MLA 与 DP Attention 优化是开源里吞吐最高的vLLM 的流水线并行适合多台低配机器凑显存。三种精度的占盘与显存精度磁盘671B 显存下限FP8官方默认685GB16×80G1.28TBKV 还有余量BF16转换后约 1.37TB32×80G 及以上INT4TRT-LLM 量化约 343GB8~16×80GNIAH 测试显示 DeepSeek-V3 在 128K 全上下文窗口内保持召回部署长上下文时优先开 FP8 KV CacheKV 显存约省一半。✅ 部署前速查清单上线前逐项过一遍磁盘FP8 留 685GBBF16 留 1.37TB另加 10% 写入余量显存FP8 按 16×80G 起步BF16 按 32 卡以上规划索引完整性model.safetensors.index.json 的 weight_map 条目与实际分片一一对应MTP社区版支持尚未完整不影响主模型推理可先忽略框架优先 SGLang / vLLM 直接吃 FP8不要先做无谓的 BF16 转换【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
