如何用 Hugging Face 加载 DeepSeek-V4-Pro-0813新手完整教程【免费下载链接】DeepSeek-V4-Pro-0813项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813想在本地用 Hugging Face 加载 DeepSeek-V4-Pro-0813 跑推理这篇文章就是为你准备的零基础教程。DeepSeek-V4-Pro-0813 是 DeepSeek-V4-Pro 的正式版本在 Agent 能力、推理速度和生产环境表现上全面超越预览版采用 MoE 架构61 层、384 个路由专家并原生支持 FP8/FP4 量化权重部署门槛比想象中低得多。下面我会从环境准备、加载权重、配置编码格式到验证结果一步步带你完成 Hugging Face 加载 DeepSeek-V4-Pro-0813 的全过程。一、准备工作新手必装的环境依赖在开始之前请确保你的机器满足以下条件这是 Hugging Face 加载大模型的基础环境依赖建议版本说明Python3.10推荐使用 conda 创建独立环境PyTorch2.1建议开启 CUDA 支持Transformers4.57.1与仓库 config.json 声明的版本匹配显存24GBFP8/FP4 量化权重可大幅降低显存占用 小提示仓库权重以 safetensors 格式分成 66 个分片model-00001-of-00066.safetensors至model-00066-of-00066.safetensorsTransformers 会自动读取 model.safetensors.index.json 完成拼接你无需手动合并。二、加载模型权重最核心的 3 行代码使用 Hugging Face 加载 DeepSeek-V4-Pro-0813 的模型权重非常简单核心代码只有 3 行import torch from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained( deepseek-ai/DeepSeek-V4-Pro-0813, torch_dtypetorch.bfloat16, device_mapauto )几点新手注意事项torch_dtypetorch.bfloat16权重实际以 FP8e4m3量化存储加载时由框架自动反量化无需额外处理device_mapauto自动将模型分配到可用 GPU显存不足时可配合offload_folder启用 CPU 卸载如果使用 vLLM 部署官方推荐额外开启 DSpark 投机解码参数可获得数倍推理加速。三、配置 Tokenizer 与对话编码格式重点DeepSeek-V4 系列没有提供 Jinja 对话模板而是使用自定义的编码格式。这是新手最容易踩坑的地方务必仔细看。3.1 加载 Tokenizertokenizer AutoTokenizer.from_pretrained(deepseek-ai/DeepSeek-V4-Pro-0813) tokens tokenizer.encode(prompt)3.2 使用官方编码脚本构造输入仓库在 encoding/encoding_dsv4.py 提供了完整的自包含参考实现支持多轮对话、工具调用DSML 格式、思维链thinking和快速指令任务。用法如下from encoding_dsv4 import encode_messages, parse_message_from_completion_text messages [ {role: system, content: You are a helpful assistant.}, {role: user, content: What is 22?}, ] # messages - 字符串作为模型输入 prompt encode_messages(messages, thinking_modethinking) # 解析模型输出为结构化消息 completion Simple arithmetic./think2 2 4.end▁of▁sentence parsed parse_message_from_completion_text(completion, thinking_modethinking)详细的特殊 Token 说明如begin▁of▁sentence、think、DSML等和完整编码规则见 encoding/README.md仓库还附带了 test_input_1.json 等 4 组测试用例和对应输出可直接对照学习。3.3 控制推理深度reasoning_effort 三档reasoning_effort参数支持low、high、max三档控制模型在回答前的思考深度low默认快速直接回答适合简单任务high更深入的推理适合代码与数学任务max极限推理配合最长 384K 输出使用适合复杂 Agent 场景。四、验证加载是否成功一次简单的对话测试加载完成后建议先用一段简单对话验证全流程是否跑通prompt encode_messages( [{role: user, content: 用一句话介绍你自己}], thinking_modethinking, reasoning_effortlow ) inputs tokenizer(prompt, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens256, temperature1.0, top_p0.95) print(tokenizer.decode(outputs[0]))✅ 若输出以think开头并在/think后给出正文说明编码、加载、生成全链路已经成功打通五、进阶官方本地推理脚本如果你的目标是完整复现官方评测效果Agent 场景建议temperature1.0, top_p0.95可以直接使用 inference/ 目录下的官方脚本。先通过 convert.py 将 Hugging Face 权重转换为项目格式再用 generate.py 交互式对话具体命令见 inference/README.md。六、常见问题排查FAQQ1加载时报trust_remote_code相关错误A模型结构使用自定义架构DeepseekV4ForCausalLM加载时可加上trust_remote_codeTrue。Q2对话输出格式错乱、没有思考过程A大概率是消息编码格式不对请使用仓库自带的encode_messages而不是套用旧版 DeepSeek 模板。Q3显存不足怎么办A模型本身采用 FP8/FP4 量化配合device_mapauto或使用 vLLM 的--kv-cache-dtype fp8可进一步压缩显存占用。七、总结到这里你已经掌握了用 Hugging Face 加载 DeepSeek-V4-Pro-0813 的核心方法准备环境 → 加载权重 → 配置编码 → 验证对话。这套流程适用于对话、工具调用、Agent 开发等各种场景。如果遇到问题建议优先阅读仓库内的 encoding/README.md 和 inference/README.md 两份文档它们几乎覆盖了所有你可能遇到的坑。祝你玩得开心【免费下载链接】DeepSeek-V4-Pro-0813项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
如何用 Hugging Face 加载 DeepSeek-V4-Pro-0813新手完整教程【免费下载链接】DeepSeek-V4-Pro-0813项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813想在本地用 Hugging Face 加载 DeepSeek-V4-Pro-0813 跑推理这篇文章就是为你准备的零基础教程。DeepSeek-V4-Pro-0813 是 DeepSeek-V4-Pro 的正式版本在 Agent 能力、推理速度和生产环境表现上全面超越预览版采用 MoE 架构61 层、384 个路由专家并原生支持 FP8/FP4 量化权重部署门槛比想象中低得多。下面我会从环境准备、加载权重、配置编码格式到验证结果一步步带你完成 Hugging Face 加载 DeepSeek-V4-Pro-0813 的全过程。一、准备工作新手必装的环境依赖在开始之前请确保你的机器满足以下条件这是 Hugging Face 加载大模型的基础环境依赖建议版本说明Python3.10推荐使用 conda 创建独立环境PyTorch2.1建议开启 CUDA 支持Transformers4.57.1与仓库 config.json 声明的版本匹配显存24GBFP8/FP4 量化权重可大幅降低显存占用 小提示仓库权重以 safetensors 格式分成 66 个分片model-00001-of-00066.safetensors至model-00066-of-00066.safetensorsTransformers 会自动读取 model.safetensors.index.json 完成拼接你无需手动合并。二、加载模型权重最核心的 3 行代码使用 Hugging Face 加载 DeepSeek-V4-Pro-0813 的模型权重非常简单核心代码只有 3 行import torch from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained( deepseek-ai/DeepSeek-V4-Pro-0813, torch_dtypetorch.bfloat16, device_mapauto )几点新手注意事项torch_dtypetorch.bfloat16权重实际以 FP8e4m3量化存储加载时由框架自动反量化无需额外处理device_mapauto自动将模型分配到可用 GPU显存不足时可配合offload_folder启用 CPU 卸载如果使用 vLLM 部署官方推荐额外开启 DSpark 投机解码参数可获得数倍推理加速。三、配置 Tokenizer 与对话编码格式重点DeepSeek-V4 系列没有提供 Jinja 对话模板而是使用自定义的编码格式。这是新手最容易踩坑的地方务必仔细看。3.1 加载 Tokenizertokenizer AutoTokenizer.from_pretrained(deepseek-ai/DeepSeek-V4-Pro-0813) tokens tokenizer.encode(prompt)3.2 使用官方编码脚本构造输入仓库在 encoding/encoding_dsv4.py 提供了完整的自包含参考实现支持多轮对话、工具调用DSML 格式、思维链thinking和快速指令任务。用法如下from encoding_dsv4 import encode_messages, parse_message_from_completion_text messages [ {role: system, content: You are a helpful assistant.}, {role: user, content: What is 22?}, ] # messages - 字符串作为模型输入 prompt encode_messages(messages, thinking_modethinking) # 解析模型输出为结构化消息 completion Simple arithmetic./think2 2 4.end▁of▁sentence parsed parse_message_from_completion_text(completion, thinking_modethinking)详细的特殊 Token 说明如begin▁of▁sentence、think、DSML等和完整编码规则见 encoding/README.md仓库还附带了 test_input_1.json 等 4 组测试用例和对应输出可直接对照学习。3.3 控制推理深度reasoning_effort 三档reasoning_effort参数支持low、high、max三档控制模型在回答前的思考深度low默认快速直接回答适合简单任务high更深入的推理适合代码与数学任务max极限推理配合最长 384K 输出使用适合复杂 Agent 场景。四、验证加载是否成功一次简单的对话测试加载完成后建议先用一段简单对话验证全流程是否跑通prompt encode_messages( [{role: user, content: 用一句话介绍你自己}], thinking_modethinking, reasoning_effortlow ) inputs tokenizer(prompt, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens256, temperature1.0, top_p0.95) print(tokenizer.decode(outputs[0]))✅ 若输出以think开头并在/think后给出正文说明编码、加载、生成全链路已经成功打通五、进阶官方本地推理脚本如果你的目标是完整复现官方评测效果Agent 场景建议temperature1.0, top_p0.95可以直接使用 inference/ 目录下的官方脚本。先通过 convert.py 将 Hugging Face 权重转换为项目格式再用 generate.py 交互式对话具体命令见 inference/README.md。六、常见问题排查FAQQ1加载时报trust_remote_code相关错误A模型结构使用自定义架构DeepseekV4ForCausalLM加载时可加上trust_remote_codeTrue。Q2对话输出格式错乱、没有思考过程A大概率是消息编码格式不对请使用仓库自带的encode_messages而不是套用旧版 DeepSeek 模板。Q3显存不足怎么办A模型本身采用 FP8/FP4 量化配合device_mapauto或使用 vLLM 的--kv-cache-dtype fp8可进一步压缩显存占用。七、总结到这里你已经掌握了用 Hugging Face 加载 DeepSeek-V4-Pro-0813 的核心方法准备环境 → 加载权重 → 配置编码 → 验证对话。这套流程适用于对话、工具调用、Agent 开发等各种场景。如果遇到问题建议优先阅读仓库内的 encoding/README.md 和 inference/README.md 两份文档它们几乎覆盖了所有你可能遇到的坑。祝你玩得开心【免费下载链接】DeepSeek-V4-Pro-0813项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
