最近在尝试用AI生成视频和短剧时发现很多工具要么操作复杂要么效果生硬直到深入研究了ComfyUI的工作流搭建才发现这才是实现高质量、可控AI内容创作的“终极武器”。它不像一些在线平台有诸多限制而是将AI绘画Stable Diffusion和AI视频生成的强大能力像搭积木一样交到我们手中。从一张图、一段文字开始构建出连贯的动态视频甚至完整短剧整个过程清晰、可调试充满了创造的乐趣。本文将从零开始手把手带你搭建ComfyUI环境并深入讲解如何构建用于AI绘画、文生视频、图生视频乃至AI短剧的核心工作流。无论你是刚接触Stable Diffusion的新手还是想从WebUI转向更强大工作流模式的进阶用户都能在这里找到从安装部署到实战应用的全套方案。我们将避开华而不实的理论全程聚焦于可运行、可复现的“干货”操作。1. ComfyUI核心概念与优势为什么选择它在开始动手之前我们有必要理解ComfyUI究竟是什么以及它为何在资深AI创作者中备受推崇。1.1 什么是ComfyUIComfyUI是一个基于节点式工作流的Stable Diffusion图形用户界面。你可以把它想象成一个视觉化的编程工具其中每个功能如加载模型、输入提示词、生成图片、放大图片、生成视频帧等都被封装成一个独立的“节点”。通过连接这些节点的输入和输出端口你就能构建出一个完整的AI图像或视频生成流水线。与Automatic1111 WebUI这类传统界面相比ComfyUI最大的特点是可视化、可保存、可分享的流程。你的整个创作过程不再是一堆零散的参数设置而是一个清晰的、可重复执行的“配方”。1.2 ComfyUI的核心优势极高的灵活性与可控性你可以精确控制生成流程的每一个环节例如先文生图再图生图修复细节然后进行高清放大最后送入视频生成模型。这种模块化设计让复杂任务变得条理清晰。可重复性与分享性工作流可以保存为.json或.png文件。这意味着你可以完美复现自己或他人创作的优秀作品也可以将成熟的工作流分享给社区极大提升了学习和协作效率。资源利用更高效ComfyUI的运行机制通常被认为比某些WebUI更节省显存并且能够更好地支持大型、复杂的工作流在处理多步生成和长视频时稳定性更佳。面向工作流的设计哲学它天生适合处理需要多步骤、有条件分支的复杂任务比如生成动画序列、制作角色一致性短片AI短剧、结合不同模型输出等这是制作AI视频和短剧的基石。1.3 核心应用场景基于节点工作流ComfyUI能轻松驾驭以下场景AI绘画从基础文生图、图生图到复杂的高清修复、局部重绘、LoRA模型混合。文生视频/图生视频使用AnimateDiff、SVD等视频生成模型将静态的提示词或图片转化为动态视频。AI短剧/漫剧制作通过工作流控制角色一致性、场景转换、镜头运动生成具有故事情节的连贯视频片段。首尾帧视频生成定义视频的开始帧和结束帧让AI自动补全中间过渡动画实现平滑转场。理解了这些我们就知道学习ComfyUI不仅仅是学习一个新软件更是掌握一种更强大、更专业的AI内容创作方法论。2. 环境准备与一键安装部署对于大多数用户特别是Windows用户最快速、省心的方式是使用社区大神制作的整合包。这里我们以最流行的“秋叶一键整合包”为例进行部署。2.1 系统与硬件要求操作系统Windows 10/11 64位。macOS和Linux也可通过源码部署但整合包主要面向Windows。显卡NVIDIA显卡显存建议6GB以上。4GB显存可运行基础绘画但视频生成和复杂工作流会非常吃力。AMD显卡可通过DirectML版本运行但性能和兼容性可能不如NVIDIA。硬盘空间至少准备20GB可用空间用于存放整合包、模型和生成的文件。2.2 下载秋叶ComfyUI整合包为了避免从零配置Python、Git、依赖库等复杂环境我们直接使用整合包。访问可靠的资源发布平台如B站秋叶大佬的专栏或相关GitHub页面找到最新的ComfyUI整合包下载链接。通常文件名类似ComfyUI_windows_portable_nvidia_vX.X.X.7z。下载完成后使用解压软件如7-Zip将其解压到一个英文路径的文件夹中例如D:\AI_Tools\ComfyUI。路径中不要包含中文或特殊字符这是很多奇怪错误的根源。2.3 启动与初步配置进入解压后的文件夹你会看到很多文件。找到并运行run_nvidia_gpu.batN卡用户或相应的启动脚本。首次运行会自动安装一些依赖。启动完成后命令行窗口会显示一行类似http://127.0.0.1:8188的地址。打开你的浏览器推荐Chrome或Edge访问这个地址通常是http://127.0.0.1:8188即可看到ComfyUI的空白工作流界面。重要模型放置。整合包通常自带基础模型。但你需要的其他模型如Checkpoint大模型、LoRA、VAE、ControlNet等需要手动放入对应文件夹。进入ComfyUI\models\checkpoints放置 Stable Diffusion 大模型.safetensors或.ckpt文件。进入ComfyUI\models\loras放置 LoRA 模型。进入ComfyUI\models\controlnet放置 ControlNet 模型。进入ComfyUI\models\vae放置 VAE 模型。视频生成模型如AnimateDiff的运动模块通常放在ComfyUI\models\animatediff。至此你的ComfyUI基础环境就已经准备就绪了。3. ComfyUI界面与基础操作速览面对空白的节点界面可能会感到困惑让我们先熟悉一下核心操作。3.1 主界面介绍节点图区域中间最大的空白区域用于搭建和显示工作流。节点菜单在节点图区域右键点击会弹出所有可用节点的分类菜单。工作流管理左上角有Load加载、Save保存、Clear清除等按钮用于管理你的工作流文件。队列按钮右侧有“Queue Prompt”按钮点击它就会开始执行当前工作流。3.2 基础节点操作添加节点右键 - 选择类别如loaders-Checkpoint Loader- 点击节点名。连接节点鼠标拖动一个节点的输出端口右侧小圆点到另一个节点的输入端口左侧小圆点。移动节点点击节点标题栏拖动。调整节点选中节点后在左侧设置面板调整参数。删除节点/连线选中节点或连线按键盘Delete键。3.3 你的第一个工作流文生图让我们搭建一个最简单的文生图流程理解节点如何串联。加载模型右键 -loaders-CheckpointLoader。这个节点负责载入你的绘画大模型。输入提示词右键 -conditioning-CLIP Text Encode (Prompt)。需要添加两个一个用于正向提示词positive一个用于负向提示词negative。设置采样器右键 -sampling-KSampler。这是核心生成节点控制采样步数、方法等。解码图片右键 -latent-VAEDecode。将采样器生成的“潜空间”数据解码成最终图片。保存/显示图片右键 -image-SaveImage。注意ComfyUI默认输出到ComfyUI\output文件夹。现在像拼图一样连接它们将CheckpointLoader的CLIP输出连接到两个CLIP Text Encode节点的CLIP输入。将CheckpointLoader的model和vae分别连接到KSampler的model和VAEDecode的vae。将CLIP Text Encode (positive)的CONDITIONING输出连接到KSampler的positive。将CLIP Text Encode (negative)的CONDITIONING输出连接到KSampler的negative。将KSampler的LATENT输出连接到VAEDecode的samples。将VAEDecode的IMAGE输出连接到SaveImage的images。最后在KSampler节点设置总步数steps如20在CLIP Text Encode节点输入你的提示词。点击Queue Prompt你的第一张ComfyUI作品就诞生了这个流程是所有复杂工作的基础。4. 核心工作流搭建实战从绘画到视频掌握了基础我们开始构建更实用的工作流。本节将构建一个支持图生图、高清修复并能衔接视频生成的增强型工作流。4.1 进阶文生图与高清修复工作流基础文生图分辨率较低。我们引入高清修复Hires. fix来提升质量。在基础文生图流程后延伸使用基础文生图流程得到一个小图例如512x512。添加潜在图像放大节点右键 -latent-LatentUpscale。将KSampler输出的LATENT连接到这里。设置放大方法upscale_method如nearest-exact和目标尺寸width,height如1024x1024。添加第二次采样精炼再添加一个KSampler我们称之为KSampler (hires)。将第一个CheckpointLoader的model也连接到这个新采样器的model。将放大后的LATENT来自LatentUpscale连接到新采样器的latent_image。关键为了保持内容一致需要复用之前的提示词条件。将之前两个CLIP Text Encode节点的CONDITIONING输出也连接到新采样器的positive和negative。在新采样器上将步数steps设少一些如10-15去噪强度denoise设置为一个较低的值如0.3-0.5这样能在放大细节的同时不改变原图构图。连接解码与保存将第二个KSampler的输出连接到VAEDecode最后到SaveImage。这个流程实现了“先生成小构图再放大并细化”的高质量出图流程。4.2 图生图工作流搭建图生图的核心是有一个初始图像输入。加载初始图片右键 -image-LoadImage。节点会允许你选择一张本地图片。编码图片为潜空间右键 -latent-VAEEncode。将LoadImage的IMAGE输出和CheckpointLoader的vae输出连接到这里得到LATENT。连接至采样器将这个LATENT连接到KSampler的latent_image输入。控制变化程度在KSampler中去噪强度denoise是关键参数。1代表完全重画0代表原封不动通常0.4-0.7可以产生既有变化又保留原图结构的图像。你可以将这个VAEEncode节点接入到之前的高清修复流程中替换掉第一个文生图的KSampler输出就构成了一个支持“图生图高清修复”的强大工作流。4.3 文生视频工作流搭建基于AnimateDiff这是实现AI视频的关键。我们需要引入AnimateDiff模型来赋予图像序列动态。准备运动模块确保已将AnimateDiff的运动模块如mm_sd_v15_v2.ckpt放入models/animatediff文件夹。加载运动模块右键 -loaders-AnimateDiffLoader。选择对应的运动模块。注入运动参数右键 -AnimateDiff-AnimateDiff Combine。这个节点是核心。将CheckpointLoader的model连接到它的model输入。将AnimateDiffLoader的输出连接到它的motion_module输入。在这里设置总帧数frames如16、帧率fps如8、循环次数等。调整采样器使用一个支持动画的采样器节点通常是KSampler (Efficient)或专门的AnimateDiffKSampler。将AnimateDiff Combine输出的model连接到这个采样器的model。连接提示词这里有个重要概念——提示词调度。简单的视频可以使用统一的提示词但若要控制内容变化需要使用Conditioning类下的Schedule节点来让提示词在不同帧生效。例如使用Conditioning (Schedule)节点你可以设置在第1帧提示词是“a cat sitting”在第16帧变成“a cat standing”AI会自动生成中间过渡。生成与保存采样器输出的LATENT是包含多帧的批次。连接VAEDecode解码后会得到一组图像帧。编码为视频右键 -video-VAEEncode或使用专门的视频合成节点如SaveAnimatedWEBP或FFMPEG Video Encoder。将多张图片序列连接进去设置好帧率即可输出视频文件如MP4、GIF、WEBP。4.4 图生视频与首尾帧视频图生视频是文生视频的变种只需将初始的“统一提示词”或“首帧提示词”条件替换为由一张初始图片通过CLIP Vision Encode等方式生成的图像条件。首尾帧视频则是图生视频的进阶应用分别准备一张开始图片和一张结束图片。使用两个CLIP Vision Encode节点或IPAdapter节点分别编码这两张图片得到它们的图像特征。使用Conditioning (Blend)或专门的插值节点将这两个特征按照帧数进行线性或自定义曲线混合。例如第1帧100%开始特征第16帧100%结束特征中间帧按比例混合。将这个混合后的、随时间变化的图像条件与你的动作提示词如“zoom in”一起输入给AnimateDiff流程。这样AI就会生成一个从开始画面平滑变化到结束画面的视频实现了首尾帧控制。5. 构建AI短剧工作流角色一致性与场景管理短剧需要角色在不同镜头中保持一致。我们可以通过多种节点组合实现。5.1 使用LoRA固定角色形象这是最常用的方法。为你剧本中的每个主要角色训练一个LoRA模型。在工作流中添加LoraLoader节点。将CheckpointLoader的model和CLIP输出连接到LoraLoader。在LoraLoader中选择对应的角色LoRA文件并设置强度strength_model,strength_clip。LoraLoader输出的model和CLIP将携带该角色特征供后续采样使用。通过切换不同的LoraLoader节点或使用脚本控制可以在不同镜头中调用不同角色。5.2 使用Reference ControlNet保持一致性对于没有预训练LoRA的角色可以使用Reference ControlNet。添加ControlNetLoader节点加载reference模型。添加ControlNetApply节点。将参考角色图片输入ControlNetApply它会提取图片的风格、姿态、人物特征并注入到生成过程中。通过调整权重可以在保持角色大致特征的同时允许其做出新的动作和表情。5.3 分镜脚本与提示词调度一个短剧由多个镜头分镜组成。在ComfyUI中你可以通过两种方式管理方式一外部脚本驱动。用Python脚本依次加载不同的工作流.json文件每个文件代表一个镜头并替换其中的提示词、ControlNet参考图等参数然后依次执行。这适合复杂项目。方式二巨型内部工作流。在一个工作流内使用多个并行的采样分支每个分支对应一个镜头通过Primitive节点或Switch节点来控制当前执行哪个分支。这种方式更直观但节点图会非常庞大。提示词调度在短剧中至关重要。你需要为每个镜头的每一帧或帧区间精心设计提示词描述场景、角色动作、表情、镜头运动如“pan left”, “zoom in on face”。使用Conditioning (Schedule)或Prompt Schedule类节点来精确安排这些提示词生效的时间点。5.4 工作流整合与输出最终的短剧工作流可能非常复杂但逻辑清晰输入层加载基础模型、多个角色LoRA、多个场景LoRA/Embedding、背景图片等。控制层使用多个CLIP Text Encode和Schedule节点管理剧情提示词和镜头语言。使用ControlNet节点管理姿势、景深、构图。生成层AnimateDiff Combine和KSampler负责根据以上条件生成每一帧的潜空间图像。后处理层VAEDecode解码可能接ImageUpscale节点进行超分放大最后通过Video Encoder将帧序列合成视频。输出层保存每个镜头的视频片段。你可以将每个镜头的工作流保存为子流程利用Group功能折叠使主工作流看起来更简洁。6. 常见问题与排查思路在搭建和使用工作流时你一定会遇到各种问题。下面是一些高频问题的排查指南。问题现象可能原因排查与解决思路启动时提示“缺少节点”或“缺少依赖”未安装必要的自定义节点Custom Node。1. 在ComfyUI管理器如果已安装中搜索并安装对应节点。2. 或手动进入ComfyUI\custom_nodes文件夹git clone节点的仓库并按其README安装依赖。点击“Queue Prompt”后无反应命令行报错工作流节点连接有逻辑错误模型文件损坏或路径错误显存不足。1. 检查节点连线确保输入输出数据类型匹配如LATENT连LATENTIMAGE连IMAGE。2. 检查模型文件名是否正确是否放在正确的models子文件夹。3. 查看命令行错误信息通常会有明确提示。尝试先运行一个极简工作流测试。生成图片全黑、全灰或扭曲VAE不匹配模型本身问题采样步数太少或CFG值异常。1. 在CheckpointLoader后显式连接一个VAELoader节点尝试切换不同的VAE。2. 检查使用的Checkpoint模型是否完整下载。3. 调整KSampler的steps如20-30和cfg如7-9。生成视频闪烁、抖动严重AnimateDiff参数不当提示词变化太剧烈帧间噪声种子固定问题。1. 调整AnimateDiff Combine中的motion_scale运动幅度调低可能减少抖动。2. 使用UniformContextOptions节点并启用context_length和context_stride增强帧间一致性。3. 确保提示词调度是平滑过渡避免相邻帧提示词内容突变。显存不足OOM错误工作流太大生成分辨率或帧数太高同时加载了多个大模型。1. 使用ComfyUI Manager安装ComfyUI-Impact-Pack等工具包利用其ImpactCache节点卸载暂不使用的模型。2. 降低生成分辨率、批处理大小batch size或总帧数。3. 采用“分步执行”策略将文生图、放大、视频生成拆成多个独立工作流依次运行中间保存图片作为中转。无法加载.safetensors模型模型文件下载不完整模型类型与节点不匹配。1. 重新下载模型文件并验证哈希值。2. 确认模型是Checkpoint、LoRA还是VAE并放入正确的文件夹。对于LoRA必须使用LoraLoader节点而不是CheckpointLoader。自定义节点安装后不显示安装方式错误节点与当前ComfyUI版本不兼容。1. 确保将自定义节点克隆到custom_nodes文件夹后重启ComfyUI。2. 查看节点的GitHub页面检查其兼容的ComfyUI版本。可能需要更新ComfyUI或回退节点版本。7. 最佳实践与工程化建议将ComfyUI用于实际创作尤其是AI短剧这类复杂项目时遵循一些最佳实践能事半功倍。7.1 工作流管理与版本控制模块化设计将常用功能如高清修复、人脸修复、特定风格LoRA加载封装成宏节点Macro或自定义节点。这样在主工作流中只需一个节点代替一整组节点极大提升可读性和复用性。善用分组Group选中多个节点按CtrlG可以将其放入一个彩色分组框内并命名如“角色控制组”、“视频生成组”。这对于管理超大型工作流至关重要。版本化保存每次对工作流做出重大修改或得到满意效果时使用“Save”功能保存为新的.json文件并附上有意义的文件名如short_ep01_scene01_v2.json。这相当于你的项目版本库。备份关键配置除了工作流文件将你常用的模型名称、LoRA名称、提示词模板记录在文档中。重装系统或迁移时能快速恢复。7.2 性能优化利用缓存对于需要反复调参的环节如提示词、种子使用ImpactCache等节点缓存模型加载结果避免每次生成都重新加载模型节省大量时间。分步渲染对于超长视频或高分辨率作品不要试图在一个工作流中从头跑到尾。可以先生成低分辨率、低帧率的预览版确定脚本和节奏无误后再使用LoadImage节点加载预览版的每一帧进行高清放大和细节修复最后合成最终版视频。显存监控在启动ComfyUI的命令行窗口可以观察显存占用。合理安排工作流及时断开不再需要的大模型节点或使用缓存/卸载节点。7.3 提示词与参数工程结构化提示词将提示词分为“画面质量”、“主体描述”、“场景环境”、“镜头构图”、“艺术风格”等部分便于管理和调整。可以在ComfyUI中使用Text节点拼接或使用CLIP Text Encode (Prompt)的多行输入。种子Seed管理KSampler中的seed是控制随机性的关键。固定种子可以完全复现同一张图。在制作短剧时为同一角色在不同镜头中使用相同或相近的种子有助于保持稳定性。可以使用RandomSeed节点生成种子并传递给多个采样器。系统性测试当效果不佳时采用“控制变量法”。固定其他所有参数只调整一个如CFG Scale、去噪强度、LoRA权重生成一组对比图找到最优解。7.4 项目文件组织建立清晰的文件夹结构来管理你的AI视频项目My_AI_ShortFilm/ ├── workflow/ # 存放所有工作流.json文件 ├── scripts/ # 存放分镜脚本和提示词表格 ├── assets/ │ ├── characters/ # 角色原画、LoRA模型 │ ├── backgrounds/ # 场景图片 │ ├── audio/ # 背景音乐、音效 │ └── references/ # ControlNet参考图 ├── output/ │ ├── drafts/ # 草稿和测试输出 │ ├── scenes/ # 最终分镜视频 │ └── final/ # 合成后的成片 └── models/ # 项目专用模型可链接到ComfyUI全局模型库从零开始学习ComfyUI工作流搭建就像学习一门新的视觉化编程语言。初期可能会被复杂的节点连线吓到但一旦理解了“数据流”从模型加载到条件编码到采样生成再到解码输出这一核心逻辑一切都会变得清晰起来。本文带你走完了从环境部署、基础操作到构建AI绘画、AI视频乃至规划AI短剧工作流的完整路径。真正的掌握源于实践建议你从复现文中的每一个小流程开始然后尝试修改参数、组合节点最终创造出属于你自己的、自动化生产高质量AI内容的强大工作流。当你能将一个创意想法通过自己搭建的流水线稳定地转化为视频时那种成就感是无与伦比的。
最近在尝试用AI生成视频和短剧时发现很多工具要么操作复杂要么效果生硬直到深入研究了ComfyUI的工作流搭建才发现这才是实现高质量、可控AI内容创作的“终极武器”。它不像一些在线平台有诸多限制而是将AI绘画Stable Diffusion和AI视频生成的强大能力像搭积木一样交到我们手中。从一张图、一段文字开始构建出连贯的动态视频甚至完整短剧整个过程清晰、可调试充满了创造的乐趣。本文将从零开始手把手带你搭建ComfyUI环境并深入讲解如何构建用于AI绘画、文生视频、图生视频乃至AI短剧的核心工作流。无论你是刚接触Stable Diffusion的新手还是想从WebUI转向更强大工作流模式的进阶用户都能在这里找到从安装部署到实战应用的全套方案。我们将避开华而不实的理论全程聚焦于可运行、可复现的“干货”操作。1. ComfyUI核心概念与优势为什么选择它在开始动手之前我们有必要理解ComfyUI究竟是什么以及它为何在资深AI创作者中备受推崇。1.1 什么是ComfyUIComfyUI是一个基于节点式工作流的Stable Diffusion图形用户界面。你可以把它想象成一个视觉化的编程工具其中每个功能如加载模型、输入提示词、生成图片、放大图片、生成视频帧等都被封装成一个独立的“节点”。通过连接这些节点的输入和输出端口你就能构建出一个完整的AI图像或视频生成流水线。与Automatic1111 WebUI这类传统界面相比ComfyUI最大的特点是可视化、可保存、可分享的流程。你的整个创作过程不再是一堆零散的参数设置而是一个清晰的、可重复执行的“配方”。1.2 ComfyUI的核心优势极高的灵活性与可控性你可以精确控制生成流程的每一个环节例如先文生图再图生图修复细节然后进行高清放大最后送入视频生成模型。这种模块化设计让复杂任务变得条理清晰。可重复性与分享性工作流可以保存为.json或.png文件。这意味着你可以完美复现自己或他人创作的优秀作品也可以将成熟的工作流分享给社区极大提升了学习和协作效率。资源利用更高效ComfyUI的运行机制通常被认为比某些WebUI更节省显存并且能够更好地支持大型、复杂的工作流在处理多步生成和长视频时稳定性更佳。面向工作流的设计哲学它天生适合处理需要多步骤、有条件分支的复杂任务比如生成动画序列、制作角色一致性短片AI短剧、结合不同模型输出等这是制作AI视频和短剧的基石。1.3 核心应用场景基于节点工作流ComfyUI能轻松驾驭以下场景AI绘画从基础文生图、图生图到复杂的高清修复、局部重绘、LoRA模型混合。文生视频/图生视频使用AnimateDiff、SVD等视频生成模型将静态的提示词或图片转化为动态视频。AI短剧/漫剧制作通过工作流控制角色一致性、场景转换、镜头运动生成具有故事情节的连贯视频片段。首尾帧视频生成定义视频的开始帧和结束帧让AI自动补全中间过渡动画实现平滑转场。理解了这些我们就知道学习ComfyUI不仅仅是学习一个新软件更是掌握一种更强大、更专业的AI内容创作方法论。2. 环境准备与一键安装部署对于大多数用户特别是Windows用户最快速、省心的方式是使用社区大神制作的整合包。这里我们以最流行的“秋叶一键整合包”为例进行部署。2.1 系统与硬件要求操作系统Windows 10/11 64位。macOS和Linux也可通过源码部署但整合包主要面向Windows。显卡NVIDIA显卡显存建议6GB以上。4GB显存可运行基础绘画但视频生成和复杂工作流会非常吃力。AMD显卡可通过DirectML版本运行但性能和兼容性可能不如NVIDIA。硬盘空间至少准备20GB可用空间用于存放整合包、模型和生成的文件。2.2 下载秋叶ComfyUI整合包为了避免从零配置Python、Git、依赖库等复杂环境我们直接使用整合包。访问可靠的资源发布平台如B站秋叶大佬的专栏或相关GitHub页面找到最新的ComfyUI整合包下载链接。通常文件名类似ComfyUI_windows_portable_nvidia_vX.X.X.7z。下载完成后使用解压软件如7-Zip将其解压到一个英文路径的文件夹中例如D:\AI_Tools\ComfyUI。路径中不要包含中文或特殊字符这是很多奇怪错误的根源。2.3 启动与初步配置进入解压后的文件夹你会看到很多文件。找到并运行run_nvidia_gpu.batN卡用户或相应的启动脚本。首次运行会自动安装一些依赖。启动完成后命令行窗口会显示一行类似http://127.0.0.1:8188的地址。打开你的浏览器推荐Chrome或Edge访问这个地址通常是http://127.0.0.1:8188即可看到ComfyUI的空白工作流界面。重要模型放置。整合包通常自带基础模型。但你需要的其他模型如Checkpoint大模型、LoRA、VAE、ControlNet等需要手动放入对应文件夹。进入ComfyUI\models\checkpoints放置 Stable Diffusion 大模型.safetensors或.ckpt文件。进入ComfyUI\models\loras放置 LoRA 模型。进入ComfyUI\models\controlnet放置 ControlNet 模型。进入ComfyUI\models\vae放置 VAE 模型。视频生成模型如AnimateDiff的运动模块通常放在ComfyUI\models\animatediff。至此你的ComfyUI基础环境就已经准备就绪了。3. ComfyUI界面与基础操作速览面对空白的节点界面可能会感到困惑让我们先熟悉一下核心操作。3.1 主界面介绍节点图区域中间最大的空白区域用于搭建和显示工作流。节点菜单在节点图区域右键点击会弹出所有可用节点的分类菜单。工作流管理左上角有Load加载、Save保存、Clear清除等按钮用于管理你的工作流文件。队列按钮右侧有“Queue Prompt”按钮点击它就会开始执行当前工作流。3.2 基础节点操作添加节点右键 - 选择类别如loaders-Checkpoint Loader- 点击节点名。连接节点鼠标拖动一个节点的输出端口右侧小圆点到另一个节点的输入端口左侧小圆点。移动节点点击节点标题栏拖动。调整节点选中节点后在左侧设置面板调整参数。删除节点/连线选中节点或连线按键盘Delete键。3.3 你的第一个工作流文生图让我们搭建一个最简单的文生图流程理解节点如何串联。加载模型右键 -loaders-CheckpointLoader。这个节点负责载入你的绘画大模型。输入提示词右键 -conditioning-CLIP Text Encode (Prompt)。需要添加两个一个用于正向提示词positive一个用于负向提示词negative。设置采样器右键 -sampling-KSampler。这是核心生成节点控制采样步数、方法等。解码图片右键 -latent-VAEDecode。将采样器生成的“潜空间”数据解码成最终图片。保存/显示图片右键 -image-SaveImage。注意ComfyUI默认输出到ComfyUI\output文件夹。现在像拼图一样连接它们将CheckpointLoader的CLIP输出连接到两个CLIP Text Encode节点的CLIP输入。将CheckpointLoader的model和vae分别连接到KSampler的model和VAEDecode的vae。将CLIP Text Encode (positive)的CONDITIONING输出连接到KSampler的positive。将CLIP Text Encode (negative)的CONDITIONING输出连接到KSampler的negative。将KSampler的LATENT输出连接到VAEDecode的samples。将VAEDecode的IMAGE输出连接到SaveImage的images。最后在KSampler节点设置总步数steps如20在CLIP Text Encode节点输入你的提示词。点击Queue Prompt你的第一张ComfyUI作品就诞生了这个流程是所有复杂工作的基础。4. 核心工作流搭建实战从绘画到视频掌握了基础我们开始构建更实用的工作流。本节将构建一个支持图生图、高清修复并能衔接视频生成的增强型工作流。4.1 进阶文生图与高清修复工作流基础文生图分辨率较低。我们引入高清修复Hires. fix来提升质量。在基础文生图流程后延伸使用基础文生图流程得到一个小图例如512x512。添加潜在图像放大节点右键 -latent-LatentUpscale。将KSampler输出的LATENT连接到这里。设置放大方法upscale_method如nearest-exact和目标尺寸width,height如1024x1024。添加第二次采样精炼再添加一个KSampler我们称之为KSampler (hires)。将第一个CheckpointLoader的model也连接到这个新采样器的model。将放大后的LATENT来自LatentUpscale连接到新采样器的latent_image。关键为了保持内容一致需要复用之前的提示词条件。将之前两个CLIP Text Encode节点的CONDITIONING输出也连接到新采样器的positive和negative。在新采样器上将步数steps设少一些如10-15去噪强度denoise设置为一个较低的值如0.3-0.5这样能在放大细节的同时不改变原图构图。连接解码与保存将第二个KSampler的输出连接到VAEDecode最后到SaveImage。这个流程实现了“先生成小构图再放大并细化”的高质量出图流程。4.2 图生图工作流搭建图生图的核心是有一个初始图像输入。加载初始图片右键 -image-LoadImage。节点会允许你选择一张本地图片。编码图片为潜空间右键 -latent-VAEEncode。将LoadImage的IMAGE输出和CheckpointLoader的vae输出连接到这里得到LATENT。连接至采样器将这个LATENT连接到KSampler的latent_image输入。控制变化程度在KSampler中去噪强度denoise是关键参数。1代表完全重画0代表原封不动通常0.4-0.7可以产生既有变化又保留原图结构的图像。你可以将这个VAEEncode节点接入到之前的高清修复流程中替换掉第一个文生图的KSampler输出就构成了一个支持“图生图高清修复”的强大工作流。4.3 文生视频工作流搭建基于AnimateDiff这是实现AI视频的关键。我们需要引入AnimateDiff模型来赋予图像序列动态。准备运动模块确保已将AnimateDiff的运动模块如mm_sd_v15_v2.ckpt放入models/animatediff文件夹。加载运动模块右键 -loaders-AnimateDiffLoader。选择对应的运动模块。注入运动参数右键 -AnimateDiff-AnimateDiff Combine。这个节点是核心。将CheckpointLoader的model连接到它的model输入。将AnimateDiffLoader的输出连接到它的motion_module输入。在这里设置总帧数frames如16、帧率fps如8、循环次数等。调整采样器使用一个支持动画的采样器节点通常是KSampler (Efficient)或专门的AnimateDiffKSampler。将AnimateDiff Combine输出的model连接到这个采样器的model。连接提示词这里有个重要概念——提示词调度。简单的视频可以使用统一的提示词但若要控制内容变化需要使用Conditioning类下的Schedule节点来让提示词在不同帧生效。例如使用Conditioning (Schedule)节点你可以设置在第1帧提示词是“a cat sitting”在第16帧变成“a cat standing”AI会自动生成中间过渡。生成与保存采样器输出的LATENT是包含多帧的批次。连接VAEDecode解码后会得到一组图像帧。编码为视频右键 -video-VAEEncode或使用专门的视频合成节点如SaveAnimatedWEBP或FFMPEG Video Encoder。将多张图片序列连接进去设置好帧率即可输出视频文件如MP4、GIF、WEBP。4.4 图生视频与首尾帧视频图生视频是文生视频的变种只需将初始的“统一提示词”或“首帧提示词”条件替换为由一张初始图片通过CLIP Vision Encode等方式生成的图像条件。首尾帧视频则是图生视频的进阶应用分别准备一张开始图片和一张结束图片。使用两个CLIP Vision Encode节点或IPAdapter节点分别编码这两张图片得到它们的图像特征。使用Conditioning (Blend)或专门的插值节点将这两个特征按照帧数进行线性或自定义曲线混合。例如第1帧100%开始特征第16帧100%结束特征中间帧按比例混合。将这个混合后的、随时间变化的图像条件与你的动作提示词如“zoom in”一起输入给AnimateDiff流程。这样AI就会生成一个从开始画面平滑变化到结束画面的视频实现了首尾帧控制。5. 构建AI短剧工作流角色一致性与场景管理短剧需要角色在不同镜头中保持一致。我们可以通过多种节点组合实现。5.1 使用LoRA固定角色形象这是最常用的方法。为你剧本中的每个主要角色训练一个LoRA模型。在工作流中添加LoraLoader节点。将CheckpointLoader的model和CLIP输出连接到LoraLoader。在LoraLoader中选择对应的角色LoRA文件并设置强度strength_model,strength_clip。LoraLoader输出的model和CLIP将携带该角色特征供后续采样使用。通过切换不同的LoraLoader节点或使用脚本控制可以在不同镜头中调用不同角色。5.2 使用Reference ControlNet保持一致性对于没有预训练LoRA的角色可以使用Reference ControlNet。添加ControlNetLoader节点加载reference模型。添加ControlNetApply节点。将参考角色图片输入ControlNetApply它会提取图片的风格、姿态、人物特征并注入到生成过程中。通过调整权重可以在保持角色大致特征的同时允许其做出新的动作和表情。5.3 分镜脚本与提示词调度一个短剧由多个镜头分镜组成。在ComfyUI中你可以通过两种方式管理方式一外部脚本驱动。用Python脚本依次加载不同的工作流.json文件每个文件代表一个镜头并替换其中的提示词、ControlNet参考图等参数然后依次执行。这适合复杂项目。方式二巨型内部工作流。在一个工作流内使用多个并行的采样分支每个分支对应一个镜头通过Primitive节点或Switch节点来控制当前执行哪个分支。这种方式更直观但节点图会非常庞大。提示词调度在短剧中至关重要。你需要为每个镜头的每一帧或帧区间精心设计提示词描述场景、角色动作、表情、镜头运动如“pan left”, “zoom in on face”。使用Conditioning (Schedule)或Prompt Schedule类节点来精确安排这些提示词生效的时间点。5.4 工作流整合与输出最终的短剧工作流可能非常复杂但逻辑清晰输入层加载基础模型、多个角色LoRA、多个场景LoRA/Embedding、背景图片等。控制层使用多个CLIP Text Encode和Schedule节点管理剧情提示词和镜头语言。使用ControlNet节点管理姿势、景深、构图。生成层AnimateDiff Combine和KSampler负责根据以上条件生成每一帧的潜空间图像。后处理层VAEDecode解码可能接ImageUpscale节点进行超分放大最后通过Video Encoder将帧序列合成视频。输出层保存每个镜头的视频片段。你可以将每个镜头的工作流保存为子流程利用Group功能折叠使主工作流看起来更简洁。6. 常见问题与排查思路在搭建和使用工作流时你一定会遇到各种问题。下面是一些高频问题的排查指南。问题现象可能原因排查与解决思路启动时提示“缺少节点”或“缺少依赖”未安装必要的自定义节点Custom Node。1. 在ComfyUI管理器如果已安装中搜索并安装对应节点。2. 或手动进入ComfyUI\custom_nodes文件夹git clone节点的仓库并按其README安装依赖。点击“Queue Prompt”后无反应命令行报错工作流节点连接有逻辑错误模型文件损坏或路径错误显存不足。1. 检查节点连线确保输入输出数据类型匹配如LATENT连LATENTIMAGE连IMAGE。2. 检查模型文件名是否正确是否放在正确的models子文件夹。3. 查看命令行错误信息通常会有明确提示。尝试先运行一个极简工作流测试。生成图片全黑、全灰或扭曲VAE不匹配模型本身问题采样步数太少或CFG值异常。1. 在CheckpointLoader后显式连接一个VAELoader节点尝试切换不同的VAE。2. 检查使用的Checkpoint模型是否完整下载。3. 调整KSampler的steps如20-30和cfg如7-9。生成视频闪烁、抖动严重AnimateDiff参数不当提示词变化太剧烈帧间噪声种子固定问题。1. 调整AnimateDiff Combine中的motion_scale运动幅度调低可能减少抖动。2. 使用UniformContextOptions节点并启用context_length和context_stride增强帧间一致性。3. 确保提示词调度是平滑过渡避免相邻帧提示词内容突变。显存不足OOM错误工作流太大生成分辨率或帧数太高同时加载了多个大模型。1. 使用ComfyUI Manager安装ComfyUI-Impact-Pack等工具包利用其ImpactCache节点卸载暂不使用的模型。2. 降低生成分辨率、批处理大小batch size或总帧数。3. 采用“分步执行”策略将文生图、放大、视频生成拆成多个独立工作流依次运行中间保存图片作为中转。无法加载.safetensors模型模型文件下载不完整模型类型与节点不匹配。1. 重新下载模型文件并验证哈希值。2. 确认模型是Checkpoint、LoRA还是VAE并放入正确的文件夹。对于LoRA必须使用LoraLoader节点而不是CheckpointLoader。自定义节点安装后不显示安装方式错误节点与当前ComfyUI版本不兼容。1. 确保将自定义节点克隆到custom_nodes文件夹后重启ComfyUI。2. 查看节点的GitHub页面检查其兼容的ComfyUI版本。可能需要更新ComfyUI或回退节点版本。7. 最佳实践与工程化建议将ComfyUI用于实际创作尤其是AI短剧这类复杂项目时遵循一些最佳实践能事半功倍。7.1 工作流管理与版本控制模块化设计将常用功能如高清修复、人脸修复、特定风格LoRA加载封装成宏节点Macro或自定义节点。这样在主工作流中只需一个节点代替一整组节点极大提升可读性和复用性。善用分组Group选中多个节点按CtrlG可以将其放入一个彩色分组框内并命名如“角色控制组”、“视频生成组”。这对于管理超大型工作流至关重要。版本化保存每次对工作流做出重大修改或得到满意效果时使用“Save”功能保存为新的.json文件并附上有意义的文件名如short_ep01_scene01_v2.json。这相当于你的项目版本库。备份关键配置除了工作流文件将你常用的模型名称、LoRA名称、提示词模板记录在文档中。重装系统或迁移时能快速恢复。7.2 性能优化利用缓存对于需要反复调参的环节如提示词、种子使用ImpactCache等节点缓存模型加载结果避免每次生成都重新加载模型节省大量时间。分步渲染对于超长视频或高分辨率作品不要试图在一个工作流中从头跑到尾。可以先生成低分辨率、低帧率的预览版确定脚本和节奏无误后再使用LoadImage节点加载预览版的每一帧进行高清放大和细节修复最后合成最终版视频。显存监控在启动ComfyUI的命令行窗口可以观察显存占用。合理安排工作流及时断开不再需要的大模型节点或使用缓存/卸载节点。7.3 提示词与参数工程结构化提示词将提示词分为“画面质量”、“主体描述”、“场景环境”、“镜头构图”、“艺术风格”等部分便于管理和调整。可以在ComfyUI中使用Text节点拼接或使用CLIP Text Encode (Prompt)的多行输入。种子Seed管理KSampler中的seed是控制随机性的关键。固定种子可以完全复现同一张图。在制作短剧时为同一角色在不同镜头中使用相同或相近的种子有助于保持稳定性。可以使用RandomSeed节点生成种子并传递给多个采样器。系统性测试当效果不佳时采用“控制变量法”。固定其他所有参数只调整一个如CFG Scale、去噪强度、LoRA权重生成一组对比图找到最优解。7.4 项目文件组织建立清晰的文件夹结构来管理你的AI视频项目My_AI_ShortFilm/ ├── workflow/ # 存放所有工作流.json文件 ├── scripts/ # 存放分镜脚本和提示词表格 ├── assets/ │ ├── characters/ # 角色原画、LoRA模型 │ ├── backgrounds/ # 场景图片 │ ├── audio/ # 背景音乐、音效 │ └── references/ # ControlNet参考图 ├── output/ │ ├── drafts/ # 草稿和测试输出 │ ├── scenes/ # 最终分镜视频 │ └── final/ # 合成后的成片 └── models/ # 项目专用模型可链接到ComfyUI全局模型库从零开始学习ComfyUI工作流搭建就像学习一门新的视觉化编程语言。初期可能会被复杂的节点连线吓到但一旦理解了“数据流”从模型加载到条件编码到采样生成再到解码输出这一核心逻辑一切都会变得清晰起来。本文带你走完了从环境部署、基础操作到构建AI绘画、AI视频乃至规划AI短剧工作流的完整路径。真正的掌握源于实践建议你从复现文中的每一个小流程开始然后尝试修改参数、组合节点最终创造出属于你自己的、自动化生产高质量AI内容的强大工作流。当你能将一个创意想法通过自己搭建的流水线稳定地转化为视频时那种成就感是无与伦比的。
