近日云原生分布式推理开源项目 llm-d 正式纳入沐曦曦云 C系列GPU 支持这也是 llm-d 官方支持的加速器名单中首次纳入国产 GPU。llm-d 是由Red Hat发起构建在 vLLM 、SGLang等推理引擎与 Kubernetes 之上的云原生分布式推理框架目前已交由CNCFCloud Native Computing FoundationLinux旗下云原生计算基金会)托管。项目聚焦大模型服务化落地中的前缀缓存感知路由、负载感知调度与 Prefill/Decode 分离等关键能力将单服务器节点的推理引擎转换为多节点协同的“生产级分布式推理系统”诞生至今已获得超过 4400 个 GitHub Star英伟达 GPU、谷歌 TPU、AMD GPU、英特尔 XPU 等主流算力平台均已在该社区中形成各自的部署指南。沐曦股份此次与密瓜智能Dynamia AI合作率先完成曦云C系列 GPU 在 llm-d 社区的完整适配实现了基于曦云C系列GPU硬件环境下的单卡、多卡及 Prefill/Decode 分离推理部署验证。大模型从可运行到可规模化服务算力芯片本身只是起点芯片能否顺畅接入云原生推理调度体系才是决定落地效率的关键。此前此类国际开源项目的默认配置多以国外芯片为假设前提国产 GPU 即便已能运行主流推理引擎用户若要复用社区成熟部署方案仍需自行摸索大量隐性适配细节。本次适配打通的正是这一环节为曦云 C系列 GPU提供了三条开箱即用的部署路径优化基线单卡路径以 Qwen3-14B、张量并行 TP1 为配置验证曦云 C系列 在 llm-d 标准模型服务栈下的基础推理能力。优化基线八卡路径以 DeepSeekR1-Distill-Llama-70B、张量并行 TP8 为配置验证单机八卡下的大参数量模型服务能力。Prefill/Decode 分离路径以 Prefill 1 Decode 拓扑运行 Qwen3-14B基于 vLLM NixlConnector 与 llm-d 路由 Sidecar 打通 KV 缓存跨实例传输链路。P/D 分离将推理过程中计算特征迥异的两个阶段拆分至不同实例分别优化是当前提升大模型推理资源利用率的关键技术方向之一。该路径在实现上通过NIXL适配并优化的MIXL大幅提升传输效率并降低用户落地门槛。同时团队在曦云 C系列 GPU上完成了 llm-d 推理路由器的实测性能标定Qwen3-14B 单卡配置下测得峰值 Prefill 吞吐 5773 tokens/sDeepSeek-R1-Distill-Llama-70B 八卡配置下测得 5468 tokens/s两组数据已并入 llm-d 社区公开标定矩阵国内用户在沐曦平台部署时可直接引用来自真实硬件的性能基线。适配所需的 vLLM-MetaX 推理镜像已通过公开镜像仓库发布用户可直接获取使用。本次 llm-d 适配中沐曦股份提供了完整的测试运行环境、vLLM-MetaX 推理镜像及 MXMACA 软件栈层面的技术支持。密瓜智能则承担了 llm-d 侧的功能实现、端到端验证及与上游社区的持续沟通协作推动方案通过国际社区技术评审。在 llm-d 社区加速器维护者名单中已同步登记了分别来自双方的两位维护者后续将共同负责该路径的长期维护与迭代。未来沐曦股份将持续推进GPU硬件与全栈软件技术的迭代升级深化与密瓜智能等云原生技术企业的生态协作推动国产算力在国际主流开源基础设施项目中的深度参与完善国产芯片—云原生底座—产业落地的完整技术链条为人工智能技术在各行各业的规模化落地提供坚实支撑。项目链接llmd 项目主页https://github.com/llmd/llmd本次适配 PRhttps://github.com/llmd/llmd/pull/2308加速器支持说明https://github.com/llmd/llmd/blob/main/docs/gettingstarted/accelerators.mdP/D 分离部署指南https://github.com/llmd/llmd/bl
近日云原生分布式推理开源项目 llm-d 正式纳入沐曦曦云 C系列GPU 支持这也是 llm-d 官方支持的加速器名单中首次纳入国产 GPU。llm-d 是由Red Hat发起构建在 vLLM 、SGLang等推理引擎与 Kubernetes 之上的云原生分布式推理框架目前已交由CNCFCloud Native Computing FoundationLinux旗下云原生计算基金会)托管。项目聚焦大模型服务化落地中的前缀缓存感知路由、负载感知调度与 Prefill/Decode 分离等关键能力将单服务器节点的推理引擎转换为多节点协同的“生产级分布式推理系统”诞生至今已获得超过 4400 个 GitHub Star英伟达 GPU、谷歌 TPU、AMD GPU、英特尔 XPU 等主流算力平台均已在该社区中形成各自的部署指南。沐曦股份此次与密瓜智能Dynamia AI合作率先完成曦云C系列 GPU 在 llm-d 社区的完整适配实现了基于曦云C系列GPU硬件环境下的单卡、多卡及 Prefill/Decode 分离推理部署验证。大模型从可运行到可规模化服务算力芯片本身只是起点芯片能否顺畅接入云原生推理调度体系才是决定落地效率的关键。此前此类国际开源项目的默认配置多以国外芯片为假设前提国产 GPU 即便已能运行主流推理引擎用户若要复用社区成熟部署方案仍需自行摸索大量隐性适配细节。本次适配打通的正是这一环节为曦云 C系列 GPU提供了三条开箱即用的部署路径优化基线单卡路径以 Qwen3-14B、张量并行 TP1 为配置验证曦云 C系列 在 llm-d 标准模型服务栈下的基础推理能力。优化基线八卡路径以 DeepSeekR1-Distill-Llama-70B、张量并行 TP8 为配置验证单机八卡下的大参数量模型服务能力。Prefill/Decode 分离路径以 Prefill 1 Decode 拓扑运行 Qwen3-14B基于 vLLM NixlConnector 与 llm-d 路由 Sidecar 打通 KV 缓存跨实例传输链路。P/D 分离将推理过程中计算特征迥异的两个阶段拆分至不同实例分别优化是当前提升大模型推理资源利用率的关键技术方向之一。该路径在实现上通过NIXL适配并优化的MIXL大幅提升传输效率并降低用户落地门槛。同时团队在曦云 C系列 GPU上完成了 llm-d 推理路由器的实测性能标定Qwen3-14B 单卡配置下测得峰值 Prefill 吞吐 5773 tokens/sDeepSeek-R1-Distill-Llama-70B 八卡配置下测得 5468 tokens/s两组数据已并入 llm-d 社区公开标定矩阵国内用户在沐曦平台部署时可直接引用来自真实硬件的性能基线。适配所需的 vLLM-MetaX 推理镜像已通过公开镜像仓库发布用户可直接获取使用。本次 llm-d 适配中沐曦股份提供了完整的测试运行环境、vLLM-MetaX 推理镜像及 MXMACA 软件栈层面的技术支持。密瓜智能则承担了 llm-d 侧的功能实现、端到端验证及与上游社区的持续沟通协作推动方案通过国际社区技术评审。在 llm-d 社区加速器维护者名单中已同步登记了分别来自双方的两位维护者后续将共同负责该路径的长期维护与迭代。未来沐曦股份将持续推进GPU硬件与全栈软件技术的迭代升级深化与密瓜智能等云原生技术企业的生态协作推动国产算力在国际主流开源基础设施项目中的深度参与完善国产芯片—云原生底座—产业落地的完整技术链条为人工智能技术在各行各业的规模化落地提供坚实支撑。项目链接llmd 项目主页https://github.com/llmd/llmd本次适配 PRhttps://github.com/llmd/llmd/pull/2308加速器支持说明https://github.com/llmd/llmd/blob/main/docs/gettingstarted/accelerators.mdP/D 分离部署指南https://github.com/llmd/llmd/bl
