Kimi-K2.5-Eagle3-FP8从入门到实战官方文档、Docker镜像与社区资源一站清单【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8Kimi-K2.5-Eagle3-FP8 是 AMD 推出的 FP8 量化草稿模型通过推测解码Speculative Decoding技术为 Kimi-K2.5 大模型提供推理加速。本篇文章面向新手和普通开发者带你完整认识这个仓库的官方文档、源码结构、性能数据并给出基于 vLLM 和 Docker 镜像的推理加速部署步骤是一份 Kimi-K2.5-Eagle3-FP8 从入门到实战的资源清单。Kimi-K2.5-Eagle3-FP8 是什么一文看懂 FP8 量化草稿模型简单来说这个模型不是用来独立回答问题的而是一位聪明的速记员——它的职责是辅助 Kimi-K2.5 更快地生成内容。仓库 README.md 中明确指出它是一个 Eagle3 MTP多 token 预测草稿模型属于LlamaForCausalLMEagle3架构。推测解码让慢模型偷师快草稿 为什么大模型会慢因为每生成一个 token 都要做一次完整的前向计算。推测解码的思路很巧妙草稿模型Draft Model先用一个轻量小模型快速猜出接下来 6 个 token目标模型验证Target Model再由 Kimi-K2.5 一次性验证这串猜测对的直接采纳错的重新生成。这样一次前向计算就能产出多个 token推理速度自然大幅提升。而Kimi-K2.5-Eagle3-FP8就是那个猜得快的草稿模型。FP8 量化更小体积、更快速度的秘诀原版 Eagle3 草稿模型是 BF16 精度而本仓库用 AMD Quark 工具做了FP8 E4M3 量化量化维度具体配置权重量化FP8 E4M3、静态、按通道channel axis 0激活量化FP8 E4M3、动态、按通道channel axis 1量化工具AMD-Quark v0.12校准数据无需校准file-to-file 量化排除层fc投影层与lm_head有意保留不量化这些细节都记录在 config.json 的quantization_config字段中。✅ 无需校准数据集、文件级直接量化大大降低了上手门槛。仓库文件结构速览官方文档与核心源码都放在哪对于想深入了解原理或二次开发的读者这份文件地图非常有用文件/目录作用说明README.md官方文档模型说明、量化方式、性能数据、部署步骤config.json模型配置与 Quark 量化元数据model-00001-of-00002.safetensors / model-00002-of-00002.safetensorsFP8 量化权重共 2 个分片model.safetensors.index.json权重分片索引与参数总览tokenizer_config.json / tokenization_kimi.py / tiktoken.modelKimi 分词器配置与实现chat_template.jinja对话模板含多模态与工具调用支持modeling_kimi_k25.pyKimi-K2.5 建模源码基于 LLaVA 与 DeepSeek-V3 改进configuration_kimi_k25.py模型配置类定义kimi_k25_processor.py / kimi_k25_vision_processing.py多模态处理器图片/视频输入tool_declaration_ts.py工具调用声明函数调用能力THIRD_PARTY_NOTICES.md第三方组件声明与许可说明从 generation_config.json 可以看到模型支持最长 262144 token 的上下文窗口配合多模态处理能力是一套相当完整的推理加速方案。性能实测推测解码能把 Kimi-K2.5 加速多少官方在 README.md 中给出了在单台 AMD Instinct MI355X 节点TP4上的实测吞吐数据对比无推测解码与FP8 草稿模型两种模式并发数无推测 (tok/s/GPU)FP8 Eagle3 (tok/s/GPU)加速比482.7165.2 2.00x8142.2270.11.90x16220.5412.71.87x32342.2633.81.85x64533.3936.61.76x可以看到在所有测试并发下FP8 草稿模型都追平或超越了 BF16 草稿版本最高实现 2.00 倍的吞吐提升而且无需额外校准数据即可获得性价比极高。Docker 镜像一键部署最快配置方法官方推荐使用vLLM ROCm 版 Docker 镜像无需手动编译环境是新手最友好的入门路径镜像vllm/vllm-openai-rocm:nightly-fb1ac806c55a6dc96fe92261b80c8550e9c39d2f启动容器并拉起 vLLM 服务核心步骤整理如下启动容器挂载 AMD ROCm 设备/dev/kfd、/dev/dri并设置--shm-size 16g保证共享内存充足设置环境变量启用 AITER 加速如VLLM_ROCM_USE_AITER1TP 8 时需设置VLLM_ROCM_USE_AITER_RMSNORM0启动 vLLM 服务目标模型指定为amd/Kimi-K2.5-MXFP4通过--speculative-config挂载本仓库的 FP8 草稿模型推荐参数为method:eagle3、num_speculative_tokens:6。若本地已克隆仓库也可直接用git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8获取全部文件后离线加载。实战验证用 vLLM 基准测试跑通吞吐对比部署完成后官方还提供了完整的压测方法用vllm bench serve对并发数{4, 8, 16, 32, 64}逐一测试即可复现上文的加速数据。关键参数包括--random-input-len 1024与--random-output-len 1024模拟 1K/1K 的输入输出长度--max-concurrency逐档调整并发--ignore-eos强制每个请求输出完整长度保证数据可比性。测试结果以每个 GPU 的 decode token 数/秒为单位加速比相对同并发下的无推测基线计算。建议在自有服务栈中先验证质量与接受长度再正式上线。部署避坑指南常见问题与注意事项 想把 FP8 草稿模型接入 vLLM 的朋友务必留意以下 3 个坑排除层必须写成正则README 特别提醒config.json中exclude字段要写成re:.*fc.*和re:.*lm_head.*这样的正则格式否则 vLLM 加载会出问题本仓库的 config.json 已正确配置环境依赖有硬性要求需要 ROCm 7.0.0、PyTorch 2.9.0、Transformers 4.57 及 Linux 系统硬件为 AMD Instinct MI355X草稿模型不是万金油它必须配合 Kimi-K2.5 目标模型使用且推理运行时需同时支持 Eagle3 推测解码与 FP8 量化格式部署前请先验证。总结Kimi-K2.5-Eagle3-FP8 资源一站清单最后把整篇文章沉淀成一张速查清单 官方文档README.md含量化说明、性能表、复现步骤️核心配置config.jsonFP8 量化元数据权重文件model.safetensors.index.json 索引下的 2 个 safetensors 分片Docker 镜像vllm/vllm-openai-rocm:nightly-fb1ac806c55a6dc96fe92261b80c8550e9c39d2f⚙️推理引擎vLLM Eagle3 推测解码num_speculative_tokens: 6预期收益最高 2.00x 吞吐加速无需校准数据无论你是想快速体验 Kimi-K2.5 推理加速的新手还是需要二次开发的进阶用户这份 Kimi-K2.5-Eagle3-FP8 从入门到实战的清单都能帮你少走弯路尽快跑通第一个推测解码推理服务。【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Kimi-K2.5-Eagle3-FP8从入门到实战官方文档、Docker镜像与社区资源一站清单【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8Kimi-K2.5-Eagle3-FP8 是 AMD 推出的 FP8 量化草稿模型通过推测解码Speculative Decoding技术为 Kimi-K2.5 大模型提供推理加速。本篇文章面向新手和普通开发者带你完整认识这个仓库的官方文档、源码结构、性能数据并给出基于 vLLM 和 Docker 镜像的推理加速部署步骤是一份 Kimi-K2.5-Eagle3-FP8 从入门到实战的资源清单。Kimi-K2.5-Eagle3-FP8 是什么一文看懂 FP8 量化草稿模型简单来说这个模型不是用来独立回答问题的而是一位聪明的速记员——它的职责是辅助 Kimi-K2.5 更快地生成内容。仓库 README.md 中明确指出它是一个 Eagle3 MTP多 token 预测草稿模型属于LlamaForCausalLMEagle3架构。推测解码让慢模型偷师快草稿 为什么大模型会慢因为每生成一个 token 都要做一次完整的前向计算。推测解码的思路很巧妙草稿模型Draft Model先用一个轻量小模型快速猜出接下来 6 个 token目标模型验证Target Model再由 Kimi-K2.5 一次性验证这串猜测对的直接采纳错的重新生成。这样一次前向计算就能产出多个 token推理速度自然大幅提升。而Kimi-K2.5-Eagle3-FP8就是那个猜得快的草稿模型。FP8 量化更小体积、更快速度的秘诀原版 Eagle3 草稿模型是 BF16 精度而本仓库用 AMD Quark 工具做了FP8 E4M3 量化量化维度具体配置权重量化FP8 E4M3、静态、按通道channel axis 0激活量化FP8 E4M3、动态、按通道channel axis 1量化工具AMD-Quark v0.12校准数据无需校准file-to-file 量化排除层fc投影层与lm_head有意保留不量化这些细节都记录在 config.json 的quantization_config字段中。✅ 无需校准数据集、文件级直接量化大大降低了上手门槛。仓库文件结构速览官方文档与核心源码都放在哪对于想深入了解原理或二次开发的读者这份文件地图非常有用文件/目录作用说明README.md官方文档模型说明、量化方式、性能数据、部署步骤config.json模型配置与 Quark 量化元数据model-00001-of-00002.safetensors / model-00002-of-00002.safetensorsFP8 量化权重共 2 个分片model.safetensors.index.json权重分片索引与参数总览tokenizer_config.json / tokenization_kimi.py / tiktoken.modelKimi 分词器配置与实现chat_template.jinja对话模板含多模态与工具调用支持modeling_kimi_k25.pyKimi-K2.5 建模源码基于 LLaVA 与 DeepSeek-V3 改进configuration_kimi_k25.py模型配置类定义kimi_k25_processor.py / kimi_k25_vision_processing.py多模态处理器图片/视频输入tool_declaration_ts.py工具调用声明函数调用能力THIRD_PARTY_NOTICES.md第三方组件声明与许可说明从 generation_config.json 可以看到模型支持最长 262144 token 的上下文窗口配合多模态处理能力是一套相当完整的推理加速方案。性能实测推测解码能把 Kimi-K2.5 加速多少官方在 README.md 中给出了在单台 AMD Instinct MI355X 节点TP4上的实测吞吐数据对比无推测解码与FP8 草稿模型两种模式并发数无推测 (tok/s/GPU)FP8 Eagle3 (tok/s/GPU)加速比482.7165.2 2.00x8142.2270.11.90x16220.5412.71.87x32342.2633.81.85x64533.3936.61.76x可以看到在所有测试并发下FP8 草稿模型都追平或超越了 BF16 草稿版本最高实现 2.00 倍的吞吐提升而且无需额外校准数据即可获得性价比极高。Docker 镜像一键部署最快配置方法官方推荐使用vLLM ROCm 版 Docker 镜像无需手动编译环境是新手最友好的入门路径镜像vllm/vllm-openai-rocm:nightly-fb1ac806c55a6dc96fe92261b80c8550e9c39d2f启动容器并拉起 vLLM 服务核心步骤整理如下启动容器挂载 AMD ROCm 设备/dev/kfd、/dev/dri并设置--shm-size 16g保证共享内存充足设置环境变量启用 AITER 加速如VLLM_ROCM_USE_AITER1TP 8 时需设置VLLM_ROCM_USE_AITER_RMSNORM0启动 vLLM 服务目标模型指定为amd/Kimi-K2.5-MXFP4通过--speculative-config挂载本仓库的 FP8 草稿模型推荐参数为method:eagle3、num_speculative_tokens:6。若本地已克隆仓库也可直接用git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8获取全部文件后离线加载。实战验证用 vLLM 基准测试跑通吞吐对比部署完成后官方还提供了完整的压测方法用vllm bench serve对并发数{4, 8, 16, 32, 64}逐一测试即可复现上文的加速数据。关键参数包括--random-input-len 1024与--random-output-len 1024模拟 1K/1K 的输入输出长度--max-concurrency逐档调整并发--ignore-eos强制每个请求输出完整长度保证数据可比性。测试结果以每个 GPU 的 decode token 数/秒为单位加速比相对同并发下的无推测基线计算。建议在自有服务栈中先验证质量与接受长度再正式上线。部署避坑指南常见问题与注意事项 想把 FP8 草稿模型接入 vLLM 的朋友务必留意以下 3 个坑排除层必须写成正则README 特别提醒config.json中exclude字段要写成re:.*fc.*和re:.*lm_head.*这样的正则格式否则 vLLM 加载会出问题本仓库的 config.json 已正确配置环境依赖有硬性要求需要 ROCm 7.0.0、PyTorch 2.9.0、Transformers 4.57 及 Linux 系统硬件为 AMD Instinct MI355X草稿模型不是万金油它必须配合 Kimi-K2.5 目标模型使用且推理运行时需同时支持 Eagle3 推测解码与 FP8 量化格式部署前请先验证。总结Kimi-K2.5-Eagle3-FP8 资源一站清单最后把整篇文章沉淀成一张速查清单 官方文档README.md含量化说明、性能表、复现步骤️核心配置config.jsonFP8 量化元数据权重文件model.safetensors.index.json 索引下的 2 个 safetensors 分片Docker 镜像vllm/vllm-openai-rocm:nightly-fb1ac806c55a6dc96fe92261b80c8550e9c39d2f⚙️推理引擎vLLM Eagle3 推测解码num_speculative_tokens: 6预期收益最高 2.00x 吞吐加速无需校准数据无论你是想快速体验 Kimi-K2.5 推理加速的新手还是需要二次开发的进阶用户这份 Kimi-K2.5-Eagle3-FP8 从入门到实战的清单都能帮你少走弯路尽快跑通第一个推测解码推理服务。【免费下载链接】Kimi-K2.5-Eagle3-FP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2.5-Eagle3-FP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
