如何复现 GSM8K 99.9% 精度恢复？DeepSeek-V4-Flash-MXFP4 评估流程完整指南

如何复现 GSM8K 99.9% 精度恢复DeepSeek-V4-Flash-MXFP4 评估流程完整指南【免费下载链接】DeepSeek-V4-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Flash-MXFP4GSM8K 数学推理评测是检验大模型能力的重要标尺而DeepSeek-V4-Flash-MXFP4作为 AMD 基于 MXFP4 量化技术打造的旗舰模型在 GSM8K 上实现了惊人的99.9% 精度恢复率。本文将用最通俗的语言为你完整拆解如何一步步复现这份 GSM8K 评估结果从环境准备、模型部署到执行评测全程零门槛上手。一、先认识 DeepSeek-V4-Flash-MXFP4 是什么简单来说这是由 AMD 官方基于 DeepSeek-V4-Flash 原始模型通过AMD Quark 量化工具压缩而来的开源模型。它只对 MoE 专家层权重与激活做MXFP4OCP 4-bit 浮点量化而注意力、路由器、归一化层等关键模块全部保留原始精度从而在显著降低显存与算力开销的同时把精度损失压到几乎为零。 架构DeepseekV4ForCausalLMMoE 混合专家256 个路由专家⚙️ 量化方案权重 MXFP4 静态量化 激活 MXFP4 动态量化️ 目标硬件AMD MI355 / MI350gfx950 推理引擎vLLM lm_eval官方 GSM8K 评测数据一览评测项DeepSeek-V4-Flash原版DeepSeek-V4-Flash-MXFP4量化版精度恢复率GSM8K8-shotflexible-extract95.0094.9299.9%结论一句话量化前后只差 0.08 分这就是 MXFP4 低比特量化的无损魔法。✨二、复现前的环境准备清单想跑通整个评估流程请先对照以下软硬件清单检查环境类别要求显卡AMD MI355 / MI350gfx950驱动栈ROCm 7.2.0推理框架vLLM源码安装推荐 Docker 镜像rocm/vllm-dev:nightly_main_20260714评测框架lm_eval源码安装其他PyTorch 2.9.1、Transformers 5.13.1新手提示强烈建议直接用官方提供的 Docker 镜像一条命令即可获得 vLLM lm_eval 双就绪的环境省去大量编译踩坑时间。三、第一步获取模型权重文件首先把模型仓库克隆到本地仓库地址为https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Flash-MXFP4git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4-Flash-MXFP4克隆完成后你会看到 46 个 safetensors 权重分片model-00001-of-00046.safetensors至model-00046-of-00046.safetensors以及模型索引文件model.safetensors.index.json、分词器tokenizer.json和量化配置config.json。其中config.json里的quantization_config字段完整记录了 MXFP4 量化细节group_size32、e8m0 缩放格式等是理解模型结构的第一手资料。四、第二步启动 vLLM 推理服务这是整个复现流程中最关键的一步。请在服务端终端执行以下命令启动 vLLMexport VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS1 vllm serve amd/DeepSeek-V4-Flash-MXFP4 --tensor-parallel-size 4 --kv-cache-dtype fp8 \ --trust-remote-code --tokenizer-mode deepseek_v4 --reasoning-parser deepseek_v4 \ --tool-call-parser deepseek_v4 --enable-auto-tool-choice \ --compilation-config {mode: 3, cudagraph_mode: FULL_DECODE_ONLY}几个容易被忽略但至关重要的参数--tensor-parallel-size 44 卡张量并行与官方评测环境保持一致--tokenizer-mode deepseek_v4必须指定 DeepSeek-V4 专用分词模式否则 prompt 编码会出错--reasoning-parser deepseek_v4与--tool-call-parser deepseek_v4让模型正确输出思维链thinking内容VLLM_ROCM_USE_AITER1开启 ROCm 上的 AITER 优化尤其是共享专家融合直接影响生成效率。✅启动成功标志日志中出现服务地址http://localhost:30000且无报错输出。五、第三步运行 lm_eval 评测 GSM8K服务启动后另开一个新的终端窗口执行以下命令进行评测lm_eval --model local-completions \ --model_args modelamd/DeepSeek-V4-Flash-MXFP4,base_urlhttp://localhost:30000/v1/completions,tokenized_requestsFalse,num_concurrent32 \ --tasks gsm8k --batch_size auto --num_fewshot 8命令拆解新手也能看懂参数含义--model local-completions以补全completions方式调用本地 vLLM 服务base_url.../v1/completions指向刚才启动的服务地址端口 30000num_concurrent3232 路并发请求加快评测速度--tasks gsm8k评测任务为 GSM8K 数学推理基准--num_fewshot 8采用 8-shot8 个示例少样本提示与官方口径一致⏱️等待与收获评测 GSMM8K 全部约 1300 道题目通常需要数分钟到数十分钟。跑完后日志末尾会输出flexible-extract准确率复现目标为 94.92即原版的 99.9%。六、评测结果怎么读99.9% 从何而来lm_eval 输出的核心指标是flexible-extract得分。官方口径下原版 DeepSeek-V4-Flash95.00MXFP4 量化版94.92恢复率 94.92 ÷ 95.00 ≈99.9%只要你的复现结果在 94.9 左右浮动都属正常范围评测存在轻微随机性。若偏差过大请优先检查提示词是否 8-shot、服务参数是否与上文完全一致。七、常见问题速查表 ️症状可能原因解决办法服务启动报 tokenizer 错误未加--tokenizer-mode deepseek_v4补全该参数后重启评测一直卡住无输出端口不一致或并发过高确认base_url端口为 30000适当调低num_concurrent结果明显偏低fewshot 数不对确保--num_fewshot 8显存不足4 卡并行要求 4 张 MI350检查 GPU 数量与 tensor-parallel 是否匹配八、进阶想进一步理解模型与评测想搞懂 DeepSeek-V4 的 prompt 编码格式思维链、工具调用、DSML 语法可阅读encoding/README.md参考实现见encoding/encoding_dsv4.py配套测试用例在encoding/tests/目录下想了解模型权重转换与本地推理脚本可参考inference/目录下的convert.py与generate.py模型的完整量化配置排除层列表、量化参数均记录在仓库根目录config.json中。总结复现DeepSeek-V4-Flash-MXFP4的 GSM8K 99.9% 精度恢复本质上只需三步clone 模型 → 启动 vLLM 服务 → 运行 lm_eval 8-shot 评测。只要严格对齐官方环境ROCm 7.2.0 4 卡 MI350 指定 Docker 镜像你就能亲手验证 MXFP4 量化在数学推理任务上的无损表现。快动手试试吧【免费下载链接】DeepSeek-V4-Flash-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4-Flash-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考