KTransformers 的 CPU-GPU 专家放置策略kt-expert-placement-strategy怎么选【免费下载链接】ktransformersA Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations项目地址: https://gitcode.com/GitHub_Trending/ktr/ktransformers在 KTransformers 的 KT-Kernel 与 SGLang 集成中MoE 模型的专家会被拆到 GPU 和 CPU 上执行--kt-num-gpu-experts/--kt-gpu-experts-ratio决定 GPU 上放多少专家而--kt-expert-placement-strategy决定具体放哪些专家。选错策略时专家权重占显存的比例相同但命中率不同直接体现为吞吐差异。本文基于 experts-sched-Tutorial.md 和 kt-kernel/README.md给出四种策略的定义、启动命令和一份官方基准数据用于指导选型。运行前提启动前按教程要求准备好环境详见 CPU-GPU Expert Scheduling TutorialGPUNVIDIA RTX 4090 24 GB或等效、至少 24 GB 显存教程实测环境为 4 x RTX 4090 Intel Xeon Gold 6454S 512 GB DDR5CPU支持 AVX512 的 x86 CPU内存至少 256 GBSGLang安装 kvcache-ai 分支./install.sh从 ktransformers 根目录或pip install sglang-ktKTransformersgit clone https://github.com/kvcache-ai/ktransformers.git cd ktransformers/kt-kernel bash ./install.sh kt version # 验证 CLI 可用CUDA12.0 推荐Hugging Face CLIpip install -U huggingface-hub。下载一个 MoE 模型权重文档以 Qwen3-Next-80B-A3B-Instruct-FP8 为例huggingface-cli download Qwen/Qwen3-Next-80B-A3B-Instruct-FP8 --local-dir /path/to/qwen3-next-80b下文命令中的/path/to/model、/path/to/activation_stats.pt均为文档原有占位符需替换为你本地的模型目录和统计数据文件路径。四种策略是什么策略行为文档给出的适用场景uniform把 GPU 专家均匀分布到所有 MoE 层默认策略不需要任何先验统计frequency把激活频率最高的专家放到 GPU已有激活统计activation statistics文件时性能最好front-loading从第一层开始依次填满 GPU 专家测试或特定负载模式random随机挑选专家固定种子 42基线对比--kt-expert-placement-strategy的默认值是uniform不显式指定时按此运行。注意frequency有一个硬前提必须通过--init-expert-location指向一个.pt格式的激活统计文件缺了它就无法使用。按策略启动服务默认路径uniform——最简单的启动方式无需任何统计文件python -m sglang.launch_server \ --model /path/to/model \ --kt-num-gpu-experts 8 \ --kt-expert-placement-strategy uniformfrequency 策略——在 uniform 基础上加两个参数python -m sglang.launch_server \ --model /path/to/model \ --kt-num-gpu-experts 8 \ --kt-expert-placement-strategy frequency \ --init-expert-location /path/to/activation_stats.ptfrequency 动态专家更新——推理过程中根据实际路由统计再重新分配 GPU 专家python -m sglang.launch_server \ --model /path/to/model \ --kt-num-gpu-experts 8 \ --kt-expert-placement-strategy frequency \ --init-expert-location /path/to/activation_stats.pt \ --kt-enable-dynamic-expert-update \ --kt-gpu-prefill-token-threshold 512相关参数速查来自 experts-sched-Tutorial.md参数说明--kt-num-gpu-experts每个 MoE 层的 GPU 专家数内部会乘以 MoE 层数得到总数若设置了--kt-gpu-experts-ratio则被忽略--kt-gpu-experts-ratio放到 GPU 的专家总比例0.0-1.0设置后覆盖--kt-num-gpu-experts--init-expert-locationfrequency策略所需的激活统计文件.pt路径--kt-enable-dynamic-expert-update启用推理期动态专家更新--kt-gpu-prefill-token-threshold触发动态专家重分配的 prefill token 阈值--record-kt-gpu-expert-distribution启用 GPU 专家分布记录供分析--expert-distribution-recorder-mode记录模式stat默认、stat_approx、per_pass、per_token如何选择官方基准数据教程在 Qwen3-Next-80B-A3B-Instruct-FP8、4 x RTX 4090、Intel Xeon Gold 6454S、tensor parallel size 4、ShareGPT 数据集上测得以下吞吐tokens/s可作为选型参考GPU Expert Ratiorandomuniformfront-loadingfrequencydynamic-expert-update0%53.0152.9654.1852.7253.3710%56.6356.5757.1858.6070.2220%58.7560.2858.8261.9274.7330%62.8662.0863.8766.5075.5540%66.8166.8267.4572.7880.9850%70.3865.2573.6576.1981.1760%71.3372.8077.9582.3382.3070%74.4076.1781.5989.3788.7080%79.7179.2089.20100.6792.3190%88.8281.0698.14107.1595.04100%112.61112.32111.82114.26112.99从这张表可以读出文档结论frequency和dynamic-expert-update相对random、uniform、front-loading有明显优势且在 GPU 专家比例较低时差距最大例如 10% 时 dynamic-expert-update 为 70.22而其余策略在 56.63-57.18 之间当 GPU 专家比例接近 100% 时各策略差距收敛。这与 kt-kernel/README.md 中的说法一致动态更新在低 GPU 专家比例10%-70%下可显著优于静态策略。据此的选择路径是显存紧张、GPU 专家比例低 → 优先frequency有动态更新条件时叠加--kt-enable-dynamic-expert-update没有激活统计文件 → 用默认uniformrandom只用于做基线对比front-loading用于特定测试。验证服务与策略是否生效服务默认监听http://localhost:30000。确认推理可用有两种方式kt chat打开交互式终端会话输入消息回车发送CtrlC退出或者调用 OpenAI 兼容 APIcurl http://localhost:30000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: model-name, messages: [{role: user, content: Hello!}], stream: true }另外可开启分布记录把专家分布统计写到自定义路径用于核对放置结果是否符合预期export SGLANG_EXPERT_DISTRIBUTION_RECORDER_DIR/path/to/output配合--record-kt-gpu-expert-distribution和--expert-distribution-recorder-mode使用。常见问题遇到 OOM按教程调整启动参数——--kt-num-gpu-experts/--kt-gpu-experts-ratio降低专家权重显存占用--chunked-prefill-size降低 prefill 额外显存--max-total-tokens降低 KV cache 显存。动态专家更新没有触发三个条件缺一不可——--kt-enable-dynamic-expert-update已启用、--kt-gpu-prefill-token-threshold已设置、且实际 prefill 长度 ≥ 阈值。参考资料CPU-GPU Expert Scheduling Tutorial策略定义、启动命令、基准与排查的完整来源KT-Kernel README--kt-expert-placement-strategy及kt-enable-dynamic-expert-update等参数在参数调优指南中的说明Qwen3-Coder-Next Tutorial另一个使用该参数的实际启动示例【免费下载链接】ktransformersA Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations项目地址: https://gitcode.com/GitHub_Trending/ktr/ktransformers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
KTransformers 的 CPU-GPU 专家放置策略kt-expert-placement-strategy怎么选【免费下载链接】ktransformersA Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations项目地址: https://gitcode.com/GitHub_Trending/ktr/ktransformers在 KTransformers 的 KT-Kernel 与 SGLang 集成中MoE 模型的专家会被拆到 GPU 和 CPU 上执行--kt-num-gpu-experts/--kt-gpu-experts-ratio决定 GPU 上放多少专家而--kt-expert-placement-strategy决定具体放哪些专家。选错策略时专家权重占显存的比例相同但命中率不同直接体现为吞吐差异。本文基于 experts-sched-Tutorial.md 和 kt-kernel/README.md给出四种策略的定义、启动命令和一份官方基准数据用于指导选型。运行前提启动前按教程要求准备好环境详见 CPU-GPU Expert Scheduling TutorialGPUNVIDIA RTX 4090 24 GB或等效、至少 24 GB 显存教程实测环境为 4 x RTX 4090 Intel Xeon Gold 6454S 512 GB DDR5CPU支持 AVX512 的 x86 CPU内存至少 256 GBSGLang安装 kvcache-ai 分支./install.sh从 ktransformers 根目录或pip install sglang-ktKTransformersgit clone https://github.com/kvcache-ai/ktransformers.git cd ktransformers/kt-kernel bash ./install.sh kt version # 验证 CLI 可用CUDA12.0 推荐Hugging Face CLIpip install -U huggingface-hub。下载一个 MoE 模型权重文档以 Qwen3-Next-80B-A3B-Instruct-FP8 为例huggingface-cli download Qwen/Qwen3-Next-80B-A3B-Instruct-FP8 --local-dir /path/to/qwen3-next-80b下文命令中的/path/to/model、/path/to/activation_stats.pt均为文档原有占位符需替换为你本地的模型目录和统计数据文件路径。四种策略是什么策略行为文档给出的适用场景uniform把 GPU 专家均匀分布到所有 MoE 层默认策略不需要任何先验统计frequency把激活频率最高的专家放到 GPU已有激活统计activation statistics文件时性能最好front-loading从第一层开始依次填满 GPU 专家测试或特定负载模式random随机挑选专家固定种子 42基线对比--kt-expert-placement-strategy的默认值是uniform不显式指定时按此运行。注意frequency有一个硬前提必须通过--init-expert-location指向一个.pt格式的激活统计文件缺了它就无法使用。按策略启动服务默认路径uniform——最简单的启动方式无需任何统计文件python -m sglang.launch_server \ --model /path/to/model \ --kt-num-gpu-experts 8 \ --kt-expert-placement-strategy uniformfrequency 策略——在 uniform 基础上加两个参数python -m sglang.launch_server \ --model /path/to/model \ --kt-num-gpu-experts 8 \ --kt-expert-placement-strategy frequency \ --init-expert-location /path/to/activation_stats.ptfrequency 动态专家更新——推理过程中根据实际路由统计再重新分配 GPU 专家python -m sglang.launch_server \ --model /path/to/model \ --kt-num-gpu-experts 8 \ --kt-expert-placement-strategy frequency \ --init-expert-location /path/to/activation_stats.pt \ --kt-enable-dynamic-expert-update \ --kt-gpu-prefill-token-threshold 512相关参数速查来自 experts-sched-Tutorial.md参数说明--kt-num-gpu-experts每个 MoE 层的 GPU 专家数内部会乘以 MoE 层数得到总数若设置了--kt-gpu-experts-ratio则被忽略--kt-gpu-experts-ratio放到 GPU 的专家总比例0.0-1.0设置后覆盖--kt-num-gpu-experts--init-expert-locationfrequency策略所需的激活统计文件.pt路径--kt-enable-dynamic-expert-update启用推理期动态专家更新--kt-gpu-prefill-token-threshold触发动态专家重分配的 prefill token 阈值--record-kt-gpu-expert-distribution启用 GPU 专家分布记录供分析--expert-distribution-recorder-mode记录模式stat默认、stat_approx、per_pass、per_token如何选择官方基准数据教程在 Qwen3-Next-80B-A3B-Instruct-FP8、4 x RTX 4090、Intel Xeon Gold 6454S、tensor parallel size 4、ShareGPT 数据集上测得以下吞吐tokens/s可作为选型参考GPU Expert Ratiorandomuniformfront-loadingfrequencydynamic-expert-update0%53.0152.9654.1852.7253.3710%56.6356.5757.1858.6070.2220%58.7560.2858.8261.9274.7330%62.8662.0863.8766.5075.5540%66.8166.8267.4572.7880.9850%70.3865.2573.6576.1981.1760%71.3372.8077.9582.3382.3070%74.4076.1781.5989.3788.7080%79.7179.2089.20100.6792.3190%88.8281.0698.14107.1595.04100%112.61112.32111.82114.26112.99从这张表可以读出文档结论frequency和dynamic-expert-update相对random、uniform、front-loading有明显优势且在 GPU 专家比例较低时差距最大例如 10% 时 dynamic-expert-update 为 70.22而其余策略在 56.63-57.18 之间当 GPU 专家比例接近 100% 时各策略差距收敛。这与 kt-kernel/README.md 中的说法一致动态更新在低 GPU 专家比例10%-70%下可显著优于静态策略。据此的选择路径是显存紧张、GPU 专家比例低 → 优先frequency有动态更新条件时叠加--kt-enable-dynamic-expert-update没有激活统计文件 → 用默认uniformrandom只用于做基线对比front-loading用于特定测试。验证服务与策略是否生效服务默认监听http://localhost:30000。确认推理可用有两种方式kt chat打开交互式终端会话输入消息回车发送CtrlC退出或者调用 OpenAI 兼容 APIcurl http://localhost:30000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: model-name, messages: [{role: user, content: Hello!}], stream: true }另外可开启分布记录把专家分布统计写到自定义路径用于核对放置结果是否符合预期export SGLANG_EXPERT_DISTRIBUTION_RECORDER_DIR/path/to/output配合--record-kt-gpu-expert-distribution和--expert-distribution-recorder-mode使用。常见问题遇到 OOM按教程调整启动参数——--kt-num-gpu-experts/--kt-gpu-experts-ratio降低专家权重显存占用--chunked-prefill-size降低 prefill 额外显存--max-total-tokens降低 KV cache 显存。动态专家更新没有触发三个条件缺一不可——--kt-enable-dynamic-expert-update已启用、--kt-gpu-prefill-token-threshold已设置、且实际 prefill 长度 ≥ 阈值。参考资料CPU-GPU Expert Scheduling Tutorial策略定义、启动命令、基准与排查的完整来源KT-Kernel README--kt-expert-placement-strategy及kt-enable-dynamic-expert-update等参数在参数调优指南中的说明Qwen3-Coder-Next Tutorial另一个使用该参数的实际启动示例【免费下载链接】ktransformersA Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations项目地址: https://gitcode.com/GitHub_Trending/ktr/ktransformers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
