深入理解Ascend-SACT/glm-4.7-flash补丁文件修改解析与算子选型【免费下载链接】glm-4.7-flash项目地址: https://ai.gitcode.com/Ascend-SACT/glm-4.7-flashAscend-SACT/glm-4.7-flash是针对GLM-4.7-Flash模型在Ascend NPU上进行vLLM适配的项目通过补丁文件修改和算子选型优化实现了模型在Ascend 910B/A2/A3等硬件上的高效运行。本文将详细解析补丁文件的关键修改内容和算子选型策略帮助开发者更好地理解和应用该项目。一、项目概述1.1 模型基本信息GLM-4.7-Flashglm4_moe_lite是一个约30B参数的MoE架构模型采用MLAMulti-Head Latent Attention注意力机制具有20个注意力头、20个KV头、2048隐藏层维度和47层结构。其MLA关键参数如下qk_nope_head_dim 192Query/Key非位置编码维度qk_rope_head_dim 64Query/Key的RoPE维度v_head_dim 256Value维度kv_lora_rank 512KV压缩秩q_lora_rank 768Query压缩秩1.2 环境准备使用该项目需准备以下环境镜像版本vllm-ascend:v0.17.0rc1模型路径/models/GLM-4.7-FlashvLLM仓库路径/vllm-workspace/vllmvLLM-Ascend仓库路径/vllm-workspace/vllm-ascend补丁文件vllm-v0.17.0rc1-glm47flash.patch、vllm-ascend-v0.17.0rc1-glm47flash.patch二、补丁文件修改解析2.1 vllm-v0.17.0rc1-glm47flash.patch关键修改该补丁主要针对vLLM框架进行适配关键修改文件及说明如下文件路径修改说明vllm/tokenizers/hf.py按模型config.json决定fix_mistral_regex避免数字/日期token拆分异常vllm/config/speculative.py兼容checkpoint中num_nextn_predict_layers: 0但实际含MTP权重的情况vllm/model_executor/models/glm4_moe_lite.py修正get_spec_layer_idx_from_weight_name以发现隐藏的MTP层vllm/model_executor/models/glm4_moe_lite_mtp.pyMTP从speculative_config.draft_model_config读取drafter configvllm/transformers_utils/config.py注册glm4_moe_liteconfig入口vllm/transformers_utils/configs/__init__.py导出Glm4MoeLiteConfigvllm/transformers_utils/configs/glm4_moe_lite.py为目标0.17.0rc1环境补齐Glm4MoeLiteConfig其中在vllm/transformers_utils/configs/glm4_moe_lite.py中新增了Glm4MoeLiteConfig类并将model_type设置为glm4_moe_lite确保模型配置正确加载。2.2 vllm-ascend-v0.17.0rc1-glm47flash.patch关键修改该补丁主要针对Ascend NPU的适配关键修改文件为vllm_ascend/attention/mla_v1.py主要添加了head padding和prefill fallback含chunked-prefix支持功能。在decode阶段通过head padding将单卡本地头数从5补到8满足NPU MLA算子的group约束计算结束后再裁剪回原始头数local_num_heads self.num_heads # TP4时为5 need_head_padding not _is_power_of_2(local_num_heads) padded_num_heads _next_power_of_2(local_num_heads) # 5 - 8 # 对Q张量进行填充 if need_head_padding: q_nope torch.nn.functional.pad(q_nope, (0, 0, 0, pad_heads)) q_pe torch.nn.functional.pad(q_pe, (0, 0, 0, pad_heads)) # 计算后裁剪回原始头数 if need_head_padding: attn_output attn_output[:local_num_heads]三、算子选型策略3.1 问题诊断GLM-4.7-Flash的MLA维度与Ascend NPU优化算子npu_ring_mla不兼容主要问题如下TP8无法使用因为20个注意力头不能被8整除。TP4的decode路径仍会失败因为本地头数20/45不是2的幂次不满足NPU MLA算子的group约束。Prefill路径不能继续使用npu_ring_mla因为该算子硬编码期望维度为128/64/128与GLM的192/64/256不一致。3.2 算子选型结论算子可用性原因npu_ring_mla不可用维度硬编码为128/64/128无法适配GLM的192/64/256npu_fusion_attention不可用TND布局下causal mask无法正确生效与MLA metadata不匹配npu_fused_infer_attention_score可用在BNSD布局、sparse_mode3、动态causal mask大小为max(2048, seq_len)条件下结果正确在prefill路径中最终选择使用npu_fused_infer_attention_score算子关键实现如下attn_out, lse torch_npu.npu_fused_infer_attention_score( queryq_bnsd, keyk_bnsd, valuev_bnsd, input_layoutBNSD, sparse_mode3, atten_maskcausal_mask, softmax_lse_flagTrue, )四、应用补丁与启动服务4.1 应用补丁在当前仓库根目录执行以下命令将两个补丁分别应用到vllm和vllm-ascendcd /path/to/glm-4.7-flash PATCH_DIR$(pwd) cd /vllm-workspace/vllm git apply --check ${PATCH_DIR}/vllm-v0.17.0rc1-glm47flash.patch git apply ${PATCH_DIR}/vllm-v0.17.0rc1-glm47flash.patch cd /vllm-workspace/vllm-ascend git apply --check ${PATCH_DIR}/vllm-ascend-v0.17.0rc1-glm47flash.patch git apply ${PATCH_DIR}/vllm-ascend-v0.17.0rc1-glm47flash.patch4.2 校验补丁是否生效ls /vllm-workspace/vllm/vllm/model_executor/models/glm4_moe_lite*.py ls /vllm-workspace/vllm/vllm/transformers_utils/configs/glm4_moe_lite.py4.3 启动服务Graph基线HCCL_OP_EXPANSION_MODEAIV vllm serve /models/GLM-4.7-Flash \ --served-model-name GLM-4.7-Flash \ --tensor-parallel-size 4 \ --max-model-len 32768 \ --port 8000EP MTP推荐快路径HCCL_OP_EXPANSION_MODEAIV vllm serve /models/GLM-4.7-Flash \ --served-model-name GLM-4.7-Flash \ --tensor-parallel-size 4 \ --max-model-len 32768 \ --enable-expert-parallel \ --speculative-config {method:mtp,num_speculative_tokens:1} \ --port 8013五、测试结果与结论5.1 MTP在线服务性能在本地Ascend环境复测的vllm bench serve结果TP4request-rateinftemperature0--ignore-eos1k input/1k output如下场景基线MTP k1MTP k3观察1k/1k115.1 tok/s31.4 tok/s25.5 tok/sk1最高1k/1k16219.8 tok/s370.7 tok/s359.9 tok/sk1最高5.2 长上下文测试在启用MTP k1TP4--max-model-len 202752的情况下长上下文测试结果如下输入Token数输出Token数耗时吞吐量TTFTTPOT10k1k34.7s28.8 tok/s1344.0 ms33.4 ms50k2k75.2s26.6 tok/s8140.9 ms33.6 ms100k4k157.7s25.4 tok/s18376.3 ms34.8 ms150k32k2123.4s15.1 tok/s27353.4 ms65.5 ms5.3 结论MTPk1在单并发和16并发场景下都优于k3相比graph基线带来约69%-108%的吞吐提升。TP4配置下已验证支持150k tokens输入模型最大上下文长度约为202752 tokens。长上下文在线服务测试中MTPk1对10k/1k、50k/2k、100k/4k三组请求带来约89%-97%的吞吐提升但150k/32k仅提升约11%。通过本文的解析相信开发者对Ascend-SACT/glm-4.7-flash项目的补丁文件修改和算子选型有了更深入的理解能够更好地将该项目应用到实际生产环境中。【免费下载链接】glm-4.7-flash项目地址: https://ai.gitcode.com/Ascend-SACT/glm-4.7-flash创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
深入理解Ascend-SACT/glm-4.7-flash补丁文件修改解析与算子选型【免费下载链接】glm-4.7-flash项目地址: https://ai.gitcode.com/Ascend-SACT/glm-4.7-flashAscend-SACT/glm-4.7-flash是针对GLM-4.7-Flash模型在Ascend NPU上进行vLLM适配的项目通过补丁文件修改和算子选型优化实现了模型在Ascend 910B/A2/A3等硬件上的高效运行。本文将详细解析补丁文件的关键修改内容和算子选型策略帮助开发者更好地理解和应用该项目。一、项目概述1.1 模型基本信息GLM-4.7-Flashglm4_moe_lite是一个约30B参数的MoE架构模型采用MLAMulti-Head Latent Attention注意力机制具有20个注意力头、20个KV头、2048隐藏层维度和47层结构。其MLA关键参数如下qk_nope_head_dim 192Query/Key非位置编码维度qk_rope_head_dim 64Query/Key的RoPE维度v_head_dim 256Value维度kv_lora_rank 512KV压缩秩q_lora_rank 768Query压缩秩1.2 环境准备使用该项目需准备以下环境镜像版本vllm-ascend:v0.17.0rc1模型路径/models/GLM-4.7-FlashvLLM仓库路径/vllm-workspace/vllmvLLM-Ascend仓库路径/vllm-workspace/vllm-ascend补丁文件vllm-v0.17.0rc1-glm47flash.patch、vllm-ascend-v0.17.0rc1-glm47flash.patch二、补丁文件修改解析2.1 vllm-v0.17.0rc1-glm47flash.patch关键修改该补丁主要针对vLLM框架进行适配关键修改文件及说明如下文件路径修改说明vllm/tokenizers/hf.py按模型config.json决定fix_mistral_regex避免数字/日期token拆分异常vllm/config/speculative.py兼容checkpoint中num_nextn_predict_layers: 0但实际含MTP权重的情况vllm/model_executor/models/glm4_moe_lite.py修正get_spec_layer_idx_from_weight_name以发现隐藏的MTP层vllm/model_executor/models/glm4_moe_lite_mtp.pyMTP从speculative_config.draft_model_config读取drafter configvllm/transformers_utils/config.py注册glm4_moe_liteconfig入口vllm/transformers_utils/configs/__init__.py导出Glm4MoeLiteConfigvllm/transformers_utils/configs/glm4_moe_lite.py为目标0.17.0rc1环境补齐Glm4MoeLiteConfig其中在vllm/transformers_utils/configs/glm4_moe_lite.py中新增了Glm4MoeLiteConfig类并将model_type设置为glm4_moe_lite确保模型配置正确加载。2.2 vllm-ascend-v0.17.0rc1-glm47flash.patch关键修改该补丁主要针对Ascend NPU的适配关键修改文件为vllm_ascend/attention/mla_v1.py主要添加了head padding和prefill fallback含chunked-prefix支持功能。在decode阶段通过head padding将单卡本地头数从5补到8满足NPU MLA算子的group约束计算结束后再裁剪回原始头数local_num_heads self.num_heads # TP4时为5 need_head_padding not _is_power_of_2(local_num_heads) padded_num_heads _next_power_of_2(local_num_heads) # 5 - 8 # 对Q张量进行填充 if need_head_padding: q_nope torch.nn.functional.pad(q_nope, (0, 0, 0, pad_heads)) q_pe torch.nn.functional.pad(q_pe, (0, 0, 0, pad_heads)) # 计算后裁剪回原始头数 if need_head_padding: attn_output attn_output[:local_num_heads]三、算子选型策略3.1 问题诊断GLM-4.7-Flash的MLA维度与Ascend NPU优化算子npu_ring_mla不兼容主要问题如下TP8无法使用因为20个注意力头不能被8整除。TP4的decode路径仍会失败因为本地头数20/45不是2的幂次不满足NPU MLA算子的group约束。Prefill路径不能继续使用npu_ring_mla因为该算子硬编码期望维度为128/64/128与GLM的192/64/256不一致。3.2 算子选型结论算子可用性原因npu_ring_mla不可用维度硬编码为128/64/128无法适配GLM的192/64/256npu_fusion_attention不可用TND布局下causal mask无法正确生效与MLA metadata不匹配npu_fused_infer_attention_score可用在BNSD布局、sparse_mode3、动态causal mask大小为max(2048, seq_len)条件下结果正确在prefill路径中最终选择使用npu_fused_infer_attention_score算子关键实现如下attn_out, lse torch_npu.npu_fused_infer_attention_score( queryq_bnsd, keyk_bnsd, valuev_bnsd, input_layoutBNSD, sparse_mode3, atten_maskcausal_mask, softmax_lse_flagTrue, )四、应用补丁与启动服务4.1 应用补丁在当前仓库根目录执行以下命令将两个补丁分别应用到vllm和vllm-ascendcd /path/to/glm-4.7-flash PATCH_DIR$(pwd) cd /vllm-workspace/vllm git apply --check ${PATCH_DIR}/vllm-v0.17.0rc1-glm47flash.patch git apply ${PATCH_DIR}/vllm-v0.17.0rc1-glm47flash.patch cd /vllm-workspace/vllm-ascend git apply --check ${PATCH_DIR}/vllm-ascend-v0.17.0rc1-glm47flash.patch git apply ${PATCH_DIR}/vllm-ascend-v0.17.0rc1-glm47flash.patch4.2 校验补丁是否生效ls /vllm-workspace/vllm/vllm/model_executor/models/glm4_moe_lite*.py ls /vllm-workspace/vllm/vllm/transformers_utils/configs/glm4_moe_lite.py4.3 启动服务Graph基线HCCL_OP_EXPANSION_MODEAIV vllm serve /models/GLM-4.7-Flash \ --served-model-name GLM-4.7-Flash \ --tensor-parallel-size 4 \ --max-model-len 32768 \ --port 8000EP MTP推荐快路径HCCL_OP_EXPANSION_MODEAIV vllm serve /models/GLM-4.7-Flash \ --served-model-name GLM-4.7-Flash \ --tensor-parallel-size 4 \ --max-model-len 32768 \ --enable-expert-parallel \ --speculative-config {method:mtp,num_speculative_tokens:1} \ --port 8013五、测试结果与结论5.1 MTP在线服务性能在本地Ascend环境复测的vllm bench serve结果TP4request-rateinftemperature0--ignore-eos1k input/1k output如下场景基线MTP k1MTP k3观察1k/1k115.1 tok/s31.4 tok/s25.5 tok/sk1最高1k/1k16219.8 tok/s370.7 tok/s359.9 tok/sk1最高5.2 长上下文测试在启用MTP k1TP4--max-model-len 202752的情况下长上下文测试结果如下输入Token数输出Token数耗时吞吐量TTFTTPOT10k1k34.7s28.8 tok/s1344.0 ms33.4 ms50k2k75.2s26.6 tok/s8140.9 ms33.6 ms100k4k157.7s25.4 tok/s18376.3 ms34.8 ms150k32k2123.4s15.1 tok/s27353.4 ms65.5 ms5.3 结论MTPk1在单并发和16并发场景下都优于k3相比graph基线带来约69%-108%的吞吐提升。TP4配置下已验证支持150k tokens输入模型最大上下文长度约为202752 tokens。长上下文在线服务测试中MTPk1对10k/1k、50k/2k、100k/4k三组请求带来约89%-97%的吞吐提升但150k/32k仅提升约11%。通过本文的解析相信开发者对Ascend-SACT/glm-4.7-flash项目的补丁文件修改和算子选型有了更深入的理解能够更好地将该项目应用到实际生产环境中。【免费下载链接】glm-4.7-flash项目地址: https://ai.gitcode.com/Ascend-SACT/glm-4.7-flash创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
