How WhatDreamsCost-ComfyUI实现1.5-3x加速模型缓存与SageAttention优化完全指南【免费下载链接】WhatDreamsCost-ComfyUILTX Director and a variety of other custom ComfyUI nodes and workflows项目地址: https://gitcode.com/gh_mirrors/wh/WhatDreamsCost-ComfyUI 使用WhatDreamsCost-ComfyUI的 LTX Director 做 AI 视频生成时很多人卡在漫长的出片等待上。这个开源 ComfyUI 自定义节点项目在 v2.0.4 版本中内置了多项性能优化——模型缓存Model Caching与SageAttention/Triton 注意力优化官方称不同硬件下可带来1.5~3 倍加速。本文带你从零搞懂这些加速到底是怎么实现的以及如何在自己的工作流中吃满这些收益。加速背景为什么 LTX Director 会慢先理解慢从哪里来才能明白优化为什么有效。LTX Director 的核心卖点是Prompt Relay提示词接力一段长视频里不同时间段的画面可以对应不同的提示词片段。实现方式是对模型做clone 注意力掩码补丁——克隆一份扩散模型把自定义的掩码逻辑注入到每个 Transformer 的交叉注意力层里。这就带来两个开销每次运行都要model.clone() 重新打补丁克隆大视频模型如 LTX-2.3 / Wan是纯 CPU 内存拷贝动辄几秒到十几秒之后还要逐块打补丁注意力掩码与快速注意力后端冲突SageAttention、Flash Attention、Triton 等加速后端不支持任意掩码矩阵一旦传 mask 就会失效甚至报错。v2.0.4 正是针对这两点下手。以下四大优化叠加起来就是官方 1.5-3x speed up 的来源——范围大是因为取决于你的硬件VRAM 大小、CPU 速度和参数是否启用 Prompt Relay、IC-LoRA 等。优化一模型缓存——克隆和打补丁只做一次打开 ltx_director.py 可以看到核心设计_CLONED_MODEL_CACHE weakref.WeakKeyDictionary()项目用一张弱引用字典WeakKeyDictionary作为全局模型缓存以原始模型对象为键再按(patched/unpatched, 节点ID)二级索引缓存已克隆、已打补丁的模型第二次运行时直接命中缓存跳过整个model.clone()apply_patches()流程只在transformer_options里更新一次掩码函数即可见 ltx_director.py妙处在于弱引用一旦 ComfyUI 把原始模型从显存/内存中卸载回收对应的缓存条目自动随之消失不会造成 VRAM 泄漏。你完全不用手动管理内存这是普通缓存方案最容易踩的坑。 效果连续出片、调参重跑时重新加载/克隆模型的时间几乎被完全省掉CPU 开销同步下降。这也是官方强调 prevents the model from needing to be reloaded every run 的原因。同样的思路也应用在了IC-LoRA上ltx_director_guide.py 中用_LORA_MODEL_CACHE按(LoRA名称, 强度, 节点ID)缓存加载好 LoRA 的模型——反复调整提示词而 LoRA 不变时LoRA 权重也只需融合一次。优化二单段工作流绕过注意力掩码很多用户其实只用一段提示词普通 t2v / i2v / v2v并不需要分段接力。项目对此做了快速通道检测# If there is at most one segment on the timeline, bypass attention masking for full speed当时间线上只有一个提示词片段时ltx_director.py 会直接跳过全部掩码与补丁逻辑按标准流程编码提示词。结果就是不用 Prompt Relay 的生成速度回归到与普通工作流完全一致——这是1.5~3x 区间下限的主要贡献者因为不再有任何额外注意力计算。优化三SageAttention / Triton 兼容性改造这是最见功力的部分实现在 patches.py。思路是该快的时候走加速后端该准的时候走掩码路径场景走哪条路依据代码注意力无掩码走 ComfyUI 的optimized_attention自动启用 SageAttention / Flash / Triton 等最快后端patches.py注意力带掩码绕过封装直接调用attention_pytorch保证掩码不被加速后端丢弃patches.py关键机制是 patches.py 中的_make_masked_override它给模型的transformer_options注入一个可链式叠加的注意力重写函数——有 mask 就交给纯 PyTorch 路径注释直言 sage/etc. drop arbitrary masks没有 mask 就透传给上一个 override 或原后端绝不破坏别的节点或全局设置。对 LTX 架构patches.py 还会包装现有交叉注意力forward把 Prompt Relay 的加性掩码以mask参数注入同时兼容 KJNodes NAG 等其他节点的补丁——多节点混用不会打架。 实际意义以前启用 Prompt Relay 往往只能退回慢速注意力现在带分段提示词的生成也能保住大部分注意力加速分段视频的工作流不再一用接力就变慢。优化四视频加载内存优化出片流程的前半段往往耗在视频解码上。项目对 load_video_ui.py 做了多项优化用 PyAV 向最近关键帧快速回退定位seek to keyframe、预计算待提取帧数、进度条节流并整体降低 RAM 占用。官方更新日志将其列为 Multiple Video Loading optimizations配合上面三项整条流水线的每个环节都瘦了一圈。如何让你的工作流吃满加速升级到 v2.0.4先更新 ComfyUI-LTXVideo 与 ComfyUI-KJNodes 到最新版README 明确强调不可省略再通过 ComfyUI Manager 更新本节点当前版本见 pyproject.tomlv2.0.5cd ComfyUI/custom_nodes git clone https://gitcode.com/gh_mirrors/wh/WhatDreamsCost-ComfyUI装好 SageAttentionSageAttention 走的是 ComfyUI 的全局注意力后端装好后所有无掩码注意力自动提速与本项目优化天然互补单段生成就用单段只有需要分段控制时才放多个提示词块单段时自动全速连续跑图跑片模型缓存的收益在第二次及以后的运行中体现同一会话内反复出片提速最明显别频繁切换 LoRA/强度IC-LoRA 缓存按名称强度命中保持固定 LoRA 设置可稳定命中。常见问题速查Q为什么我的加速不到 3 倍A1.5~3x 是区间。硬件越强大 CPU、高带宽内存克隆/加载省下的绝对时间越多如果你每次只跑一次就不重跑缓存收益有限。Q缓存会不会把显存吃满A不会失控。缓存是弱引用的模型被 ComfyUI 卸载后缓存自动释放无需手动干预。Q不更新 ComfyUI-LTXVideo 会怎样A节点直接不可用。这些优化与新版 LTX 视频模型接口深度耦合务必同步更新。总结WhatDreamsCost-ComfyUI 的 1.5-3 倍加速不是玄学而是四件实事的叠加弱引用模型缓存让克隆和打补丁只做一次、单段绕过掩码让普通生成回归全速、SageAttention/Triton 兼容层让带掩码的接力生成也不丢速度、️视频加载优化压缩了前处理时间。源码全部开放在 ltx_director.py、patches.py、ltx_director_guide.py 中想深入理解 ComfyUI 节点级性能优化的同学非常值得逐行读一读。【免费下载链接】WhatDreamsCost-ComfyUILTX Director and a variety of other custom ComfyUI nodes and workflows项目地址: https://gitcode.com/gh_mirrors/wh/WhatDreamsCost-ComfyUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
How WhatDreamsCost-ComfyUI实现1.5-3x加速模型缓存与SageAttention优化完全指南【免费下载链接】WhatDreamsCost-ComfyUILTX Director and a variety of other custom ComfyUI nodes and workflows项目地址: https://gitcode.com/gh_mirrors/wh/WhatDreamsCost-ComfyUI 使用WhatDreamsCost-ComfyUI的 LTX Director 做 AI 视频生成时很多人卡在漫长的出片等待上。这个开源 ComfyUI 自定义节点项目在 v2.0.4 版本中内置了多项性能优化——模型缓存Model Caching与SageAttention/Triton 注意力优化官方称不同硬件下可带来1.5~3 倍加速。本文带你从零搞懂这些加速到底是怎么实现的以及如何在自己的工作流中吃满这些收益。加速背景为什么 LTX Director 会慢先理解慢从哪里来才能明白优化为什么有效。LTX Director 的核心卖点是Prompt Relay提示词接力一段长视频里不同时间段的画面可以对应不同的提示词片段。实现方式是对模型做clone 注意力掩码补丁——克隆一份扩散模型把自定义的掩码逻辑注入到每个 Transformer 的交叉注意力层里。这就带来两个开销每次运行都要model.clone() 重新打补丁克隆大视频模型如 LTX-2.3 / Wan是纯 CPU 内存拷贝动辄几秒到十几秒之后还要逐块打补丁注意力掩码与快速注意力后端冲突SageAttention、Flash Attention、Triton 等加速后端不支持任意掩码矩阵一旦传 mask 就会失效甚至报错。v2.0.4 正是针对这两点下手。以下四大优化叠加起来就是官方 1.5-3x speed up 的来源——范围大是因为取决于你的硬件VRAM 大小、CPU 速度和参数是否启用 Prompt Relay、IC-LoRA 等。优化一模型缓存——克隆和打补丁只做一次打开 ltx_director.py 可以看到核心设计_CLONED_MODEL_CACHE weakref.WeakKeyDictionary()项目用一张弱引用字典WeakKeyDictionary作为全局模型缓存以原始模型对象为键再按(patched/unpatched, 节点ID)二级索引缓存已克隆、已打补丁的模型第二次运行时直接命中缓存跳过整个model.clone()apply_patches()流程只在transformer_options里更新一次掩码函数即可见 ltx_director.py妙处在于弱引用一旦 ComfyUI 把原始模型从显存/内存中卸载回收对应的缓存条目自动随之消失不会造成 VRAM 泄漏。你完全不用手动管理内存这是普通缓存方案最容易踩的坑。 效果连续出片、调参重跑时重新加载/克隆模型的时间几乎被完全省掉CPU 开销同步下降。这也是官方强调 prevents the model from needing to be reloaded every run 的原因。同样的思路也应用在了IC-LoRA上ltx_director_guide.py 中用_LORA_MODEL_CACHE按(LoRA名称, 强度, 节点ID)缓存加载好 LoRA 的模型——反复调整提示词而 LoRA 不变时LoRA 权重也只需融合一次。优化二单段工作流绕过注意力掩码很多用户其实只用一段提示词普通 t2v / i2v / v2v并不需要分段接力。项目对此做了快速通道检测# If there is at most one segment on the timeline, bypass attention masking for full speed当时间线上只有一个提示词片段时ltx_director.py 会直接跳过全部掩码与补丁逻辑按标准流程编码提示词。结果就是不用 Prompt Relay 的生成速度回归到与普通工作流完全一致——这是1.5~3x 区间下限的主要贡献者因为不再有任何额外注意力计算。优化三SageAttention / Triton 兼容性改造这是最见功力的部分实现在 patches.py。思路是该快的时候走加速后端该准的时候走掩码路径场景走哪条路依据代码注意力无掩码走 ComfyUI 的optimized_attention自动启用 SageAttention / Flash / Triton 等最快后端patches.py注意力带掩码绕过封装直接调用attention_pytorch保证掩码不被加速后端丢弃patches.py关键机制是 patches.py 中的_make_masked_override它给模型的transformer_options注入一个可链式叠加的注意力重写函数——有 mask 就交给纯 PyTorch 路径注释直言 sage/etc. drop arbitrary masks没有 mask 就透传给上一个 override 或原后端绝不破坏别的节点或全局设置。对 LTX 架构patches.py 还会包装现有交叉注意力forward把 Prompt Relay 的加性掩码以mask参数注入同时兼容 KJNodes NAG 等其他节点的补丁——多节点混用不会打架。 实际意义以前启用 Prompt Relay 往往只能退回慢速注意力现在带分段提示词的生成也能保住大部分注意力加速分段视频的工作流不再一用接力就变慢。优化四视频加载内存优化出片流程的前半段往往耗在视频解码上。项目对 load_video_ui.py 做了多项优化用 PyAV 向最近关键帧快速回退定位seek to keyframe、预计算待提取帧数、进度条节流并整体降低 RAM 占用。官方更新日志将其列为 Multiple Video Loading optimizations配合上面三项整条流水线的每个环节都瘦了一圈。如何让你的工作流吃满加速升级到 v2.0.4先更新 ComfyUI-LTXVideo 与 ComfyUI-KJNodes 到最新版README 明确强调不可省略再通过 ComfyUI Manager 更新本节点当前版本见 pyproject.tomlv2.0.5cd ComfyUI/custom_nodes git clone https://gitcode.com/gh_mirrors/wh/WhatDreamsCost-ComfyUI装好 SageAttentionSageAttention 走的是 ComfyUI 的全局注意力后端装好后所有无掩码注意力自动提速与本项目优化天然互补单段生成就用单段只有需要分段控制时才放多个提示词块单段时自动全速连续跑图跑片模型缓存的收益在第二次及以后的运行中体现同一会话内反复出片提速最明显别频繁切换 LoRA/强度IC-LoRA 缓存按名称强度命中保持固定 LoRA 设置可稳定命中。常见问题速查Q为什么我的加速不到 3 倍A1.5~3x 是区间。硬件越强大 CPU、高带宽内存克隆/加载省下的绝对时间越多如果你每次只跑一次就不重跑缓存收益有限。Q缓存会不会把显存吃满A不会失控。缓存是弱引用的模型被 ComfyUI 卸载后缓存自动释放无需手动干预。Q不更新 ComfyUI-LTXVideo 会怎样A节点直接不可用。这些优化与新版 LTX 视频模型接口深度耦合务必同步更新。总结WhatDreamsCost-ComfyUI 的 1.5-3 倍加速不是玄学而是四件实事的叠加弱引用模型缓存让克隆和打补丁只做一次、单段绕过掩码让普通生成回归全速、SageAttention/Triton 兼容层让带掩码的接力生成也不丢速度、️视频加载优化压缩了前处理时间。源码全部开放在 ltx_director.py、patches.py、ltx_director_guide.py 中想深入理解 ComfyUI 节点级性能优化的同学非常值得逐行读一读。【免费下载链接】WhatDreamsCost-ComfyUILTX Director and a variety of other custom ComfyUI nodes and workflows项目地址: https://gitcode.com/gh_mirrors/wh/WhatDreamsCost-ComfyUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
，环境配置)
