如何在AMD MI350/MI355上部署DeepSeek-R1-0528-MXFP4-v2完整教程在此【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2DeepSeek-R1-0528-MXFP4-v2是一款针对AMD MI350/MI355硬件优化的文本生成模型采用MXFP4量化技术实现高效推理。本教程将详细介绍在AMD MI350/MI355上部署该模型的完整步骤帮助你快速搭建高性能AI推理服务。 系统要求与依赖准备在开始部署前请确保你的系统满足以下要求硬件要求AMD MI350/MI355 GPU操作系统Linux软件依赖ROCm 7.0PyTorch 2.8.0Transformers 4.53.0推理引擎SGLang或vLLM模型优化工具AMD-Quark V0.10 环境配置步骤1. 安装ROCm环境首先需要安装ROCm 7.0驱动和运行时环境具体安装步骤请参考AMD官方文档。2. 创建Python虚拟环境python -m venv deepseek_env source deepseek_env/bin/activate3. 安装依赖包pip install torch2.8.0 transformers4.53.0 sglang vllm 模型获取克隆模型仓库git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2 cd DeepSeek-R1-0528-MXFP4-v2 模型部署DeepSeek-R1-0528-MXFP4-v2支持SGLang和vLLM两种推理引擎以下是使用SGLang部署的步骤使用SGLang启动服务创建启动脚本start_server.sh内容如下#!/bin/bash MODEL/path/to/DeepSeek-R1-0528-MXFP4-v2 LOGsglang-serving.log SGLANG_AITER_MLA_PERSIST1 \ python3 -m sglang.launch_server \ --model-path $MODEL \ --tensor-parallel-size 8 \ --trust-remote-code \ --chunked-prefill-size 131072 \ --host 0.0.0.0 \ --port 8321 \ --disable-radix-cache \ --mem-fraction-static 0.8 \ --max-running-requests 64 \ --attention-backend aiter 21 | tee $LOG运行启动脚本chmod x start_server.sh ./start_server.sh✅ 模型验证服务启动后可以通过以下方式验证模型是否正常工作使用lm-evaluation-harness进行评估AIME24评估lm_eval --model local-completions \ --model_args model/path/to/DeepSeek-R1-0528-MXFP4-v2,base_urlhttp://0.0.0.0:8321/v1/completions,num_concurrent999999,timeout999999,tokenized_requestsFalse,max_length32000,temperature0.6,top_p0.95 \ --tasks aime24 \ --num_fewshot 0 \ --gen_kwargs do_sampleTrue,temperature0.6,top_p0.95,max_tokens32000 \ --batch_size auto 21 | tee aime24.logGSM8K评估lm_eval --model local-completions \ --model_args model/path/to/DeepSeek-R1-0528-MXFP4-v2,base_urlhttp://0.0.0.0:8321/v1/completions,num_concurrent256,max_retries10,max_gen_toks2048,tokenized_requestsFalse \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto 21 | tee gsm8k.log 模型性能根据官方测试DeepSeek-R1-0528-MXFP4-v2在AMD MI350/MI355上表现出优异的性能基准测试DeepSeek-R1-0528-MXFP4-v2 (non MTP)DeepSeek-R1-0528-MXFP4-v2 (MTP3)AIME2480.0083.33GSM8K95.0095.30 许可证信息Modifications Copyright(c) 2025 Advanced Micro Devices, Inc. All rights reserved.【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
如何在AMD MI350/MI355上部署DeepSeek-R1-0528-MXFP4-v2完整教程在此【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2DeepSeek-R1-0528-MXFP4-v2是一款针对AMD MI350/MI355硬件优化的文本生成模型采用MXFP4量化技术实现高效推理。本教程将详细介绍在AMD MI350/MI355上部署该模型的完整步骤帮助你快速搭建高性能AI推理服务。 系统要求与依赖准备在开始部署前请确保你的系统满足以下要求硬件要求AMD MI350/MI355 GPU操作系统Linux软件依赖ROCm 7.0PyTorch 2.8.0Transformers 4.53.0推理引擎SGLang或vLLM模型优化工具AMD-Quark V0.10 环境配置步骤1. 安装ROCm环境首先需要安装ROCm 7.0驱动和运行时环境具体安装步骤请参考AMD官方文档。2. 创建Python虚拟环境python -m venv deepseek_env source deepseek_env/bin/activate3. 安装依赖包pip install torch2.8.0 transformers4.53.0 sglang vllm 模型获取克隆模型仓库git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2 cd DeepSeek-R1-0528-MXFP4-v2 模型部署DeepSeek-R1-0528-MXFP4-v2支持SGLang和vLLM两种推理引擎以下是使用SGLang部署的步骤使用SGLang启动服务创建启动脚本start_server.sh内容如下#!/bin/bash MODEL/path/to/DeepSeek-R1-0528-MXFP4-v2 LOGsglang-serving.log SGLANG_AITER_MLA_PERSIST1 \ python3 -m sglang.launch_server \ --model-path $MODEL \ --tensor-parallel-size 8 \ --trust-remote-code \ --chunked-prefill-size 131072 \ --host 0.0.0.0 \ --port 8321 \ --disable-radix-cache \ --mem-fraction-static 0.8 \ --max-running-requests 64 \ --attention-backend aiter 21 | tee $LOG运行启动脚本chmod x start_server.sh ./start_server.sh✅ 模型验证服务启动后可以通过以下方式验证模型是否正常工作使用lm-evaluation-harness进行评估AIME24评估lm_eval --model local-completions \ --model_args model/path/to/DeepSeek-R1-0528-MXFP4-v2,base_urlhttp://0.0.0.0:8321/v1/completions,num_concurrent999999,timeout999999,tokenized_requestsFalse,max_length32000,temperature0.6,top_p0.95 \ --tasks aime24 \ --num_fewshot 0 \ --gen_kwargs do_sampleTrue,temperature0.6,top_p0.95,max_tokens32000 \ --batch_size auto 21 | tee aime24.logGSM8K评估lm_eval --model local-completions \ --model_args model/path/to/DeepSeek-R1-0528-MXFP4-v2,base_urlhttp://0.0.0.0:8321/v1/completions,num_concurrent256,max_retries10,max_gen_toks2048,tokenized_requestsFalse \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto 21 | tee gsm8k.log 模型性能根据官方测试DeepSeek-R1-0528-MXFP4-v2在AMD MI350/MI355上表现出优异的性能基准测试DeepSeek-R1-0528-MXFP4-v2 (non MTP)DeepSeek-R1-0528-MXFP4-v2 (MTP3)AIME2480.0083.33GSM8K95.0095.30 许可证信息Modifications Copyright(c) 2025 Advanced Micro Devices, Inc. All rights reserved.【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
