1. 项目概述与方案选型1.1 核心需求解析这几年AI出图工具一个接一个冒出来在线网站确实方便但用久了谁都逃不过那几个痛点排队等半天、免费额度用光、生成内容受平台审核限制、想微调模型又没权限。更不用说一旦断网手里一个能用的工具都没有。我大概在两年前开始折腾本地AI出图环境从最早的SD WebUI一路换到ComfyUI期间踩了无数坑也积累了不少真正能落地的经验。所谓“本地搭建AI出图环境”本质上就是把AI绘画所需的模型、运行框架和依赖库全部装到自己电脑上由本地显卡完成计算和推理不依赖任何在线服务。装上之后你就能获得一个完全自主可控的出图工具不限次数、不限分辨率、离线可跑、模型随便换最关键的是所有数据都留在本地不存在隐私泄露的问题。这篇文章适合这几类人正在用在线AI绘图工具但觉得不够自由的用户、想把显卡利用起来但又不知道从何下手的新手、已经在用WebUI想出图效率更高准备迁移到ComfyUI的老手。我尽量把每个环节都讲透包括为什么这么做、哪些地方容易踩坑只要你有一台配置还过得去的NVIDIA显卡电脑跟着操作下来就能跑通第一张AI图。1.2 方案对比本地部署与在线工具先说结论不想折腾的人用在线工具完全没问题但如果你有高频出图、模型定制、批量生成、隐私保护之类的需求本地部署是绕不开的选项。在线工具的最大优势是零门槛打开网页、输入提示词、点生成三步完事。但劣势同样明显——生成一张图常常要等好几分钟高峰期更是排队一小时出图十秒钟免费额度用完就只能充值对画面内容的审核限制也经常会误伤正常创作更别说很多网站根本不提供模型微调、ControlNet局部重绘这类进阶玩法。本地部署看上去要多花些时间但装上之后是真省心。以我实测过的数据来说一张512x512的基础图在8GB显存的显卡上大约10到20秒出图1024x1024的高清图也就一分钟上下而且同时开两三个进程跑批量任务也不心疼。更重要的是本地环境让你能接触到AI绘画的全部技术细节模型是哪个版本的、采样器用什么算法、CFG对画面影响有多大这些参数你都能亲手调、亲眼看到变化。对想真正学习AI绘画原理的人来说这一步绕不过去。1.3 工具选型ComfyUI还是WebUI确定走本地路线后第一个要做的选择是用ComfyUI还是Stable Diffusion WebUI简称WebUI。WebUI是老牌方案Graphical界面做得非常友好新手开箱即用。所有参数都摆在你面前点几下就能出图教程也最多遇到问题随便一搜就能找到解决方案。我最初就是用WebUI起步的第一周就出了上百张图上手体验确实没得说。ComfyUI则是另一种思路它是节点式工作流设计整个出图过程从加载模型、编写提示词、设置采样参数到保存图片全部由一个个节点连接而成。第一次打开的人大概率会被满屏的线和节点吓到但用熟练之后你会明显感觉到它有多强大显存占用更低实测同参数下比WebUI省20%左右、工作流可以高度复用、节点化调度让复杂任务比如多人重绘、多阶段生成变得轻而易举。如果非要给个建议纯新手先装ComfyUI反而更合适——因为它的节点结构天然地把AI绘画的流程可视化了每一张图由什么生成、中间经历了哪些步骤一眼就能看懂。理解原理之后再回头看WebUI很多东西就通了。2. 搭建前的硬件检测与基础准备2.1 显卡是决定成败的第一要素本地AI出图对电脑的要求说高也高、说低也低但有一项是硬指标——显卡。AI绘图的底层计算是大量的矩阵运算最适合用GPU并行处理显卡的算力和显存直接决定了你能跑多大的模型、多高的分辨率。NVIDIA显卡是目前最省心的选择因为AI绘画框架普遍基于CUDA英伟达的并行计算平台开发驱动装上以后基本零障碍。AMD显卡理论上也能跑但需要额外的转换层性能和稳定性都打折扣我不太推荐新手用A卡入坑。显存大小是比显卡型号更关键的参数。我用一张表直观说明显存容量体验情况适合做什么4GB很吃力仅能跑小模型低分辨率勉强测试不建议认真用6GB入门可用能跑SD1.5基础模型512x512图像简单调参学习8GB比较舒适的主流水平1024x1024左右图像LoRA微调12GB非常流畅高分辨率、多模型切换、大Batch24GB几乎无瓶颈模型训练/微调内存建议16GB起步32GB更宽裕——加载模型时要先把权重数据读入内存再传给显存内存太小会导致频繁的磁盘交换出图速度直接拉胯。硬盘方面模型文件动辄好几个GB留出至少50GB的空间再开工。2.2 Python环境与虚拟环境创建ComfyUI是基于Python开发的所以第一步是确认电脑上有没有Python。有些教程说“下载解压整合包双击启动就行”不用管Python确实有这类整合包但我还是建议你理解环境搭建的原理后面自己装插件、调依赖的时候才能不抓瞎。我推荐用Miniconda来管理Python环境因为它能创建相互独立的虚拟环境不同项目用不同的Python版本和包依赖互不干扰。当初我第一次折腾时直接往系统Python里装包结果把环境搞乱了好几个项目都跑不起来后来才老老实实学虚拟环境。# 安装Miniconda后创建AI出图的专用环境 conda create -n aigc python3.10 conda activate aigc注意Python版本选3.10或3.11就好太新的版本有些依赖库还没跟上容易装到一半报错。2.3 安装ComfyUI本体Git方式与整合包ComfyUI的安装渠道主要有两种Git克隆官方仓库或者下载网友做好的整合包。Git方式最干净所有代码和依赖都在你的掌控之中更新也方便一条git pull就能升级到最新版。但前提是你得装好Git并且愿意处理依赖安装过程中可能出现的各种报错。# 克隆官方仓库 git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI # 安装依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt这里有个容易踩坑的地方PyTorch默认安装的是CPU版本如果不指定--index-url从CUDA的源安装装完以后虽然能运行但出图慢到怀疑人生。上面代码里的cu121表示CUDA 12.1版本你可以先运行nvidia-smi查看自己驱动支持的CUDA版本然后去PyTorch官网找到对应的安装命令。整合包则适合不想折腾的人。有热心网友把Python、依赖、ComfyUI本体甚至常用模型都打包好了解压即用启动脚本一键运行。它的好处是省事坏处是你不知道环境里到底装了什么东西出了问题很难排查插件兼容性也可能有隐患。我的建议是先图省事用整合包跑通一遍流程之后想认真玩再换Git方式也不迟。3. 模型体系认知与关键文件准备3.1 模型的基本分类与作用环境装好只是完成了地基真正让AI出图“有脑子”的是模型文件。很多新手上来就问“模型在哪下载”但连模型分几种都不知道结果把文件下了一堆放到错误的位置出图一片乱七八糟。先理解AI出图的基本原理你输入的提示词会先被编码成机器能理解的特征向量然后在一个充满噪声的图可以理解成一张全是雪花点的电视画面上不断去噪逐渐还原出与提示词匹配的画面。整个过程中最关键的是下面几类文件Checkpoint大模型是核心权重文件通常2GB到7GB不等GPU推理时主要计算的就是它。目前开源生态里最主流的还是SD系列模型和它的社区微调版本它们各自擅长不同风格的画面有偏写实的、有偏二次元的还有专门做了优化能够稳定生成特定题材的模型。LoRA模型是小体量的风格或角色插件一般几十MB到几百MB作用是在不改变大模型主体的前提下施加一个特定的“风格偏移”。想生成某个特定画师风格、某个角色形象在正向提示词里加上LoRA触发词就能实现。VAE负责图像解码把潜在空间里的特征还原成最终的像素图。现在主流的大模型很多已经内置了VAE不需要单独配置但老版本模型可能会生成发灰发白的图片这时候手动指定一个修好的VAE文件就能解决。ControlNet是可选的“神级辅助模块”它能让生成结果严格遵循你给定的线条图、深度图、姿态骨架等参考信息。想保持人物姿势、想控制画面构图靠描述可不行必须上ControlNet。3.2 模型下载渠道与目录结构模型下载是个非常关键的环节。主流的模型社区有Civitai等中文社区也有不少爱好者维护的模型库。下载的时候要看清模型页面的说明确定它是Base模型还是LoRA适用的底模是哪一类型免得下错。不管从哪下载目录结构是有严格要求。ComfyUI的models文件夹下分了很多子目录checkpoints放主模型loras放LoRA模型vae放VAE文件controlnet放ControlNet模型。放错位置系统就认不出来这在初期是最高频的错误。以我本地的目录结构为例给你参考ComfyUI/ ├── models/ │ ├── checkpoints/ # 大模型如 majicmixRealistic.safetensors │ ├── loras/ # LoRA风格/角色模型 │ ├── vae/ # VAE文件一般无需放 │ ├── controlnet/ # ControlNet模型 │ └── upscale_models/ # 放大模型 ├── custom_nodes/ # 扩展插件目录 ├── input/ # 输入图片存放处 └── output/ # 生成结果输出目录还要提醒一点模型文件名尽量改成易识别的名字比如majicmixRealistic_v7.safetensors别用一串乱码式的哈希值文件名。因为后面工作流里保存的就是这个文件名命名清晰了回头整理和排查问题都方便。3.3 工作流文件的加载与保存ComfyUI的一大特色是工作流可视化。别人分享的生成参数和节点连接方式通常以图片形式发布——对就是一张看起来普普通通的PNG图片但里面嵌着完整的节点信息和参数。你把这张图直接拖进ComfyUI界面系统就会自动重建出整套工作流。这个特性极大降低了学习成本。我在初学阶段的做法是看到网上有人分享不错的图先拖进ComfyUI看关键参数和节点排列再对照实际生成效果反推每个节点的作用。比看一百篇文档都管用。自己调好的工作流也要记得保存。点击界面上的Save按钮会存成一个JSON文件以后想复用直接拖进来就行。工作流这种“一次搭建、反复使用”的特性也是我最终彻底转向ComfyUI的原因。4. 实操全流程跑通本地AI出图4.1 启动ComfyUI服务环境、模型都就位后就可以启动服务了。如果你用的是Git方式安装的ComfyUI在命令行里进入ComfyUI目录激活虚拟环境然后运行conda activate aigc python main.py启动过程中你会看到它加载各种依赖库然后显示类似这样一行To see the GUI go to: http://127.0.0.1:8188用浏览器打开这个地址就能看到ComfyUI的主界面了。默认端口是8188如果被占用可以在启动命令里加--port 8189换个端口。如果显卡比较老或者显存只有4GB、6GB建议用这个启动参数python main.py --lowvram--lowvram模式会把部分计算临时转移到内存虽然慢一点但能大幅降低显存溢出概率。另外注意如果你用的是整合包直接运行脚本启动即可效果一样。4.2 认识默认工作流文生图的完整链路ComfyUI打开后默认加载的是一个“文生图”的基础工作流别看它只有几个节点这已经涵盖了完整的出图链路。第一次接触的人建议先别急着改任何参数先用默认配置跑一张图感受一下整个流程。默认工作流的核心节点包括Load Checkpoint加载检查点这是最左侧的节点负责把大模型载入显存。点击choose checkpoint to load下拉框能切换模型选好后模型会同时输出三个口MODEL用于采样、CLIP用于文本编码、VAE用于图像解码。CLIP Text Encode文本编码有正向和负向两个节点分别对应你输入想要的提示词和不想要的提示词。它的作用是把文字转换成特征向量供后续采样器理解你的意图。KSampler采样器这是整个工作流的核心。它会根据文本特征在噪声图上进行多步去噪一步步把模糊的噪声画面塑造成清晰图像。节点里有seed随机种子、steps采样步数、cfg提示词引导强度、sampler_name采样算法、scheduler调度算法等一排参数后面逐个讲。VAE Decode图像解码把采样完成后还在“潜空间”的特征数据解码成我们能看到的RGB图像。Save Image保存图像把解码后的图像保存到output目录你会看到控制台还有图片预览能直接看结果。理解这条链路太重要了。AI出图不是一个黑盒魔法而是一条明确的数据流模型理解语言、采样器逐步去噪、解码器还原画面。后期你添加任何高级节点本质上都是在改造这个流程的某一环。4.3 第一次写提示词与调节参数默认工作流里正向CLIP Text Encode节点里写着text占位符把鼠标点上去改文字就行。英文提示词是目前的主流习惯因为大量模型用英文语料训练生成效果更稳定。但ComfyUI也支持中文你可以先试中文再对照英文效果感受模型对两种语言的理解差异。我来演示一个实际案例以生成一张猫的图片为例在正向提示词里填a cute cat sitting on the windowsill, soft morning light, detailed fur, high quality负向提示词填一些常见的不想要元素blurry, low quality, distorted, extra fingers, watermark点击“Queue Prompt”按钮或者按CtrlEnter观察右下角的进度条一般十几秒后就能看到结果了。接下来看几个最影响出图效果的参数这些也是新手最常问的Steps采样步数数值越大去噪过程越精细画面细节越多但用时也线性增加。SD基础的模型大约在20到30步之间就能达到不错效果再往上加收益不明显我日常固定28步。CFG引导强度控制生成画面与提示词的贴合程度。默认7.0是个甜点值越大画面越死板、容易过曝越小就越散漫、可能跑题。新手建议锁定7到8不要乱动。Seed随机种子这是复现神器。每次生成用的随机种子不同出来的图也不同。如果调出一张接近满意的图把它的seed值固定下来再去微调提示词或参数就可以在“不让画面结构乱跳”的前提下逐步优化。Sampler采样器不同采样器在速度和画质上的侧重不同。我常用的是DPM 2M Karras速度快画质好适合日常使用。Euler a则偏向艺术感和稳定性。初期建议不要纠结记住一个固定的先用起来出图效果不满意再换。综合起来一个比较稳妥的新手首发配置是CFG为7Steps为28采样器选DPM 2M Karras分辨率按显卡显存来8GB显卡用1024x1024以下都没问题。5. 进阶玩法从基础出图到可控创作5.1 图生图在参考图基础上创作文生图跑通之后下一步自然是图生图。图生图的意思是给你一张参考图片AI在它的基础上生成新的变体保留构图和主要内容但有风格或细节上的变化。这在创作中非常实用比如你拍了一张自己的照片想换成动漫风格、油画风格就能用它实现。ComfyUI中实现图生图的核心思路在于把参考图当成初始噪声图而不是从纯噪声开始去噪。具体操作是用Load Image节点加载图片经过VAE Encode把它编码成潜空间的图像特征再把它接入KSampler的latent_image输入口——这正是采样器开始去噪的起点。这样做的好处非常直观起点不再是纯噪声所以生成结果在整体布局和内容上会贴近参考图。你只需要再调节一个denoise参数。这个值控制“重绘幅度”它必须在0到1之间。设成0.3左右时AI基本保留原图构图只改细节设成0.7以上时AI会大幅重绘可能离原图已经很远了。初期建议从0.5开始多试几次压感。5.2 LoRA模型的接入与触发词想给生成的图加特定风格比如某个画师风格、某个角色的特征就要用到LoRA了。ComfyUI默认工作流里没有LoRA节点需要右键菜单选“Add Node”搜索Load LoRA找到并添加进来然后用连线把它的输入输出口接进链路模型权重和CLIP特征都要经过LoRA节点后再送入采样器。这样接入的逻辑是LoRA本质上就是一个“增量调整器”在大模型的基础上施加一个特定的权重偏移从而把生成结果推向某个方向。它的strength参数控制这个方向的力度0表示完全不用1表示全量使用。我实际测试中0.6到0.9是多数LoRA模型的推荐区间——调得太高容易产生过拟合画面出现明显畸变或重复纹理。每条LoRA模型都有配套的触发词下载页面一般都会写清楚。例如某些角色LoRA需要你在提示词里加上特定的角色名否则即使挂载了LoRA它的效果也发挥不出来。这步容易被忽略但漏掉的后果就是LoRA看起来“一点用都没有” 。5.3 ControlNet把构图主动权拿回手里ControlNet是ComfyUI里我最推荐的进阶组件没有之一。它能让你把参考图中的空间信息——边缘、骨骼、深度——提取出来再用这些信息去严格指导生成过程。举个例子你想让生成的人物保持某个特定姿态靠提示词写得再细也没用但把人体的骨骼姿态图丢给ControlNetAI就会不折不扣地按这个姿态生成这在人物创作中简直是指哪打哪。ComfyUI装ControlNet的方法是在custom_nodes目录下安装对应插件然后到models/controlnet放进相应的模型文件。实际使用时要加入Load ControlNet Model节点和Apply ControlNet节点把输入图片通过Load Image加载后给ControlNet模型处理再把处理过的条件注入到KSampler的模型路径中。需要注意ControlNet的控制强度同样有一个strength参数值越大对构图束缚越紧。设成1.0时几乎笔笔都按参考走但有时画面会僵硬比较理想的做法是设0.7到0.9既保住了构图又保留了AI的想象力空间。6. 常见报错与性能优化排查实录6.1 “Out of Memory”显存爆掉怎么办这是新手遇到最多的问题没有之一。报错通常长这样torch.OutOfMemoryError: CUDA out of memory.它是什么意思就是显卡显存被吃光了系统没法继续分配空间只能强制终止。触发原因主要有三个大模型本身就占用好几个GB分辨率太大或者batch_size设置太高后台同时跑着别的显存占用程序。排查思路从最直接的开始第一步降低分辨率比如1024x1024改成768x768第二步检查batch_size是不是设大了改回1第三步关掉其他占用显存的软件比如浏览器里的视频播放、各种带硬件加速的应用第四步给QSampler节点换更省显存的VAE解码方式最后一步不得已就启动时加上--lowvram参数。从原理上讲显存溢出多数不是你没条件跑而是单次任务的显存峰值超过了可用量。只要把峰值降下来任务就能继续。所以调整分辨率、降低batch_size、减小图像批处理数都是立竿见影的手段。6.2 生成速度慢怎么榨干显卡性能很多人在本地出图的第一反应是怎么比在线网站还慢这通常跟软件配置和硬件加速有关而不一定是显卡不行的锅。先检查你安装的PyTorch是不是带CUDA的GPU版本。这个我前面强调过如果当时偷懒没加--index-url系统装的是CPU版本出图速度就是灾难级别。确认方法是看命令行启动日志里面有类似CUDA available: True这样的字段。显存小的话可以确保模型正确加载为半精度fp16显存占用直接减半采样速度也相应提升。ComfyUI默认在部分显卡上会自动启用半精度某些模型上还要自己在Load Checkpoint节点里设置dtype为fp16。另一个常见优化是启用xformers加速库。在启动命令后面加--xformers参数即可它能优化Transformer结构里的注意力计算在许多显卡上有显著加速效果通常提升20%左右。最后采样步数和采样器也会直观影响耗时。用少两步的采样器不如直接用低步数DPM 2M Karras这种两阶推进的采样器20步的效果有时比某些单步采样的40步还要好。步数够用就行盲目堆高带来的画质收益很低。6.3 常见问题排查速查表报错/现象可能原因解决办法CUDA unavailable / no NVIDIA driver显卡驱动未装或CUDA版本不匹配更新NVIDIA驱动用nvidia-smi查看支持的CUDA版本OOM 显存不足模型太大、分辨率过高、后台占显存降低分辨率、改小batch、加--lowvram启动参数生成图片全黑/全噪点模型路径或模型选择错误、VAE有问题检查Checkpoint节点选的模型是否损坏尝试切换模型生成图发灰发白VAE未生效或模型内置VAE不佳在模型目录放入修好的VAE并手动指定中文提示词无效模型训练语料以英文为主尽量用英文提示词或同时搭配英文关键词ControlNet节点报错插件版本和ComfyUI不兼容更新custom_nodes下的插件到最新版LoRA模型加载后无效未添加触发词或模型不适配底模查看LoRA页面说明写对触发词换相近底模这段内容建议截图收藏等你跑了一段时间后回过头来再看会发现自己已经在不知不觉中遇到过并解决了其中不少问题。7. 本地出图环境的成本效益分析7.1 时间成本与学习曲线有朋友问过我折腾这么久值得吗我觉得这个问题不能一概而论。前期搭建环境、下载模型、调试工作流确实花了我整整两个周末的时间中途一度想摔键盘。但过了那个坎之后价值就完全体现出来了。效率方面我用在线工具的时候每天大概产出三五十张图其中一半时间在等队列。本地环境搭好之后同样的工作量一小时不到就跑完了而且可以开着ComfyUI挂着跑一整个晚上第二天醒来直接收图。隐私方面是另一个隐性收益。做原创内容的都知道有些素材在发给在线平台前总有顾虑。本地出图的所有操作完全离线底稿和生成结果都不出自己电脑。对一些有保密需求的商业项目来说这个优势是决定性的。7.2 硬件投入与使用建议你可能关心的是硬件投入。如果你手头已经有一块8GB显存以上的NVIDIA显卡那零成本就能开始不需要再添任何设备。如果显卡性能不够我建议先别急着买用现有设备跑一跑入门工作流等确定了自己对AI出图是真爱之后再考虑升级显卡那时候你买到的东西会更有针对性。一个小建议显卡品牌和型号尽量选择显存大、兼容性好的主流型号。AI领域变化快显存容量决定了你未来能尝试多大规模的实验。预算允许的情况下12GB到16GB显存目前是一个比较均衡的选择。8. 聊聊我踩过的几个坑最后分享几个实际踩坑的经历希望能给你的搭建过程减掉一些弯路。第一次入坑时我图省事变装了网上某款一键整合包结果里面的Python依赖是阉割版装一半就卡住。折腾了半天还是推倒用Git方式重新装反而更快。现在我的态度是环境搭的东西越透明越好。下载模型也有过翻车经历。有一回下了个6GB的大模型放进目录后一直加载不出来排查半天发现是文件名带了中文和空格ComfyUI处理路径出了兼容问题。改掉文件名后瞬间正常。遇事不决先检查路径和文件名这个习惯能帮你省很多时间。还有一次大半夜排查“生成图特别糊、噪点很多”的问题一直找不到原因。后来发现是显卡驱动在当天自动更新了把图形相关的加速状态改了导致ComfyUI的计算异常。重启电脑和框架之后恢复正常。这个情况虽然不是高频但遇到莫名其妙、聚巴找不到原因的异常优先考虑驱动环境变化。我的体会是本地搭建AI出图环境最考验人的不是技术难度而是耐心。每个问题都有对应解法关键在于保持“拆问题”的思路先定位是环境问题、模型问题还是参数问题再一步步缩小范围。你在这个排查过程中积累的经验恰恰是那些只停留在在线工具的人永远接触不到的核心能力。
1. 项目概述与方案选型1.1 核心需求解析这几年AI出图工具一个接一个冒出来在线网站确实方便但用久了谁都逃不过那几个痛点排队等半天、免费额度用光、生成内容受平台审核限制、想微调模型又没权限。更不用说一旦断网手里一个能用的工具都没有。我大概在两年前开始折腾本地AI出图环境从最早的SD WebUI一路换到ComfyUI期间踩了无数坑也积累了不少真正能落地的经验。所谓“本地搭建AI出图环境”本质上就是把AI绘画所需的模型、运行框架和依赖库全部装到自己电脑上由本地显卡完成计算和推理不依赖任何在线服务。装上之后你就能获得一个完全自主可控的出图工具不限次数、不限分辨率、离线可跑、模型随便换最关键的是所有数据都留在本地不存在隐私泄露的问题。这篇文章适合这几类人正在用在线AI绘图工具但觉得不够自由的用户、想把显卡利用起来但又不知道从何下手的新手、已经在用WebUI想出图效率更高准备迁移到ComfyUI的老手。我尽量把每个环节都讲透包括为什么这么做、哪些地方容易踩坑只要你有一台配置还过得去的NVIDIA显卡电脑跟着操作下来就能跑通第一张AI图。1.2 方案对比本地部署与在线工具先说结论不想折腾的人用在线工具完全没问题但如果你有高频出图、模型定制、批量生成、隐私保护之类的需求本地部署是绕不开的选项。在线工具的最大优势是零门槛打开网页、输入提示词、点生成三步完事。但劣势同样明显——生成一张图常常要等好几分钟高峰期更是排队一小时出图十秒钟免费额度用完就只能充值对画面内容的审核限制也经常会误伤正常创作更别说很多网站根本不提供模型微调、ControlNet局部重绘这类进阶玩法。本地部署看上去要多花些时间但装上之后是真省心。以我实测过的数据来说一张512x512的基础图在8GB显存的显卡上大约10到20秒出图1024x1024的高清图也就一分钟上下而且同时开两三个进程跑批量任务也不心疼。更重要的是本地环境让你能接触到AI绘画的全部技术细节模型是哪个版本的、采样器用什么算法、CFG对画面影响有多大这些参数你都能亲手调、亲眼看到变化。对想真正学习AI绘画原理的人来说这一步绕不过去。1.3 工具选型ComfyUI还是WebUI确定走本地路线后第一个要做的选择是用ComfyUI还是Stable Diffusion WebUI简称WebUI。WebUI是老牌方案Graphical界面做得非常友好新手开箱即用。所有参数都摆在你面前点几下就能出图教程也最多遇到问题随便一搜就能找到解决方案。我最初就是用WebUI起步的第一周就出了上百张图上手体验确实没得说。ComfyUI则是另一种思路它是节点式工作流设计整个出图过程从加载模型、编写提示词、设置采样参数到保存图片全部由一个个节点连接而成。第一次打开的人大概率会被满屏的线和节点吓到但用熟练之后你会明显感觉到它有多强大显存占用更低实测同参数下比WebUI省20%左右、工作流可以高度复用、节点化调度让复杂任务比如多人重绘、多阶段生成变得轻而易举。如果非要给个建议纯新手先装ComfyUI反而更合适——因为它的节点结构天然地把AI绘画的流程可视化了每一张图由什么生成、中间经历了哪些步骤一眼就能看懂。理解原理之后再回头看WebUI很多东西就通了。2. 搭建前的硬件检测与基础准备2.1 显卡是决定成败的第一要素本地AI出图对电脑的要求说高也高、说低也低但有一项是硬指标——显卡。AI绘图的底层计算是大量的矩阵运算最适合用GPU并行处理显卡的算力和显存直接决定了你能跑多大的模型、多高的分辨率。NVIDIA显卡是目前最省心的选择因为AI绘画框架普遍基于CUDA英伟达的并行计算平台开发驱动装上以后基本零障碍。AMD显卡理论上也能跑但需要额外的转换层性能和稳定性都打折扣我不太推荐新手用A卡入坑。显存大小是比显卡型号更关键的参数。我用一张表直观说明显存容量体验情况适合做什么4GB很吃力仅能跑小模型低分辨率勉强测试不建议认真用6GB入门可用能跑SD1.5基础模型512x512图像简单调参学习8GB比较舒适的主流水平1024x1024左右图像LoRA微调12GB非常流畅高分辨率、多模型切换、大Batch24GB几乎无瓶颈模型训练/微调内存建议16GB起步32GB更宽裕——加载模型时要先把权重数据读入内存再传给显存内存太小会导致频繁的磁盘交换出图速度直接拉胯。硬盘方面模型文件动辄好几个GB留出至少50GB的空间再开工。2.2 Python环境与虚拟环境创建ComfyUI是基于Python开发的所以第一步是确认电脑上有没有Python。有些教程说“下载解压整合包双击启动就行”不用管Python确实有这类整合包但我还是建议你理解环境搭建的原理后面自己装插件、调依赖的时候才能不抓瞎。我推荐用Miniconda来管理Python环境因为它能创建相互独立的虚拟环境不同项目用不同的Python版本和包依赖互不干扰。当初我第一次折腾时直接往系统Python里装包结果把环境搞乱了好几个项目都跑不起来后来才老老实实学虚拟环境。# 安装Miniconda后创建AI出图的专用环境 conda create -n aigc python3.10 conda activate aigc注意Python版本选3.10或3.11就好太新的版本有些依赖库还没跟上容易装到一半报错。2.3 安装ComfyUI本体Git方式与整合包ComfyUI的安装渠道主要有两种Git克隆官方仓库或者下载网友做好的整合包。Git方式最干净所有代码和依赖都在你的掌控之中更新也方便一条git pull就能升级到最新版。但前提是你得装好Git并且愿意处理依赖安装过程中可能出现的各种报错。# 克隆官方仓库 git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI # 安装依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt这里有个容易踩坑的地方PyTorch默认安装的是CPU版本如果不指定--index-url从CUDA的源安装装完以后虽然能运行但出图慢到怀疑人生。上面代码里的cu121表示CUDA 12.1版本你可以先运行nvidia-smi查看自己驱动支持的CUDA版本然后去PyTorch官网找到对应的安装命令。整合包则适合不想折腾的人。有热心网友把Python、依赖、ComfyUI本体甚至常用模型都打包好了解压即用启动脚本一键运行。它的好处是省事坏处是你不知道环境里到底装了什么东西出了问题很难排查插件兼容性也可能有隐患。我的建议是先图省事用整合包跑通一遍流程之后想认真玩再换Git方式也不迟。3. 模型体系认知与关键文件准备3.1 模型的基本分类与作用环境装好只是完成了地基真正让AI出图“有脑子”的是模型文件。很多新手上来就问“模型在哪下载”但连模型分几种都不知道结果把文件下了一堆放到错误的位置出图一片乱七八糟。先理解AI出图的基本原理你输入的提示词会先被编码成机器能理解的特征向量然后在一个充满噪声的图可以理解成一张全是雪花点的电视画面上不断去噪逐渐还原出与提示词匹配的画面。整个过程中最关键的是下面几类文件Checkpoint大模型是核心权重文件通常2GB到7GB不等GPU推理时主要计算的就是它。目前开源生态里最主流的还是SD系列模型和它的社区微调版本它们各自擅长不同风格的画面有偏写实的、有偏二次元的还有专门做了优化能够稳定生成特定题材的模型。LoRA模型是小体量的风格或角色插件一般几十MB到几百MB作用是在不改变大模型主体的前提下施加一个特定的“风格偏移”。想生成某个特定画师风格、某个角色形象在正向提示词里加上LoRA触发词就能实现。VAE负责图像解码把潜在空间里的特征还原成最终的像素图。现在主流的大模型很多已经内置了VAE不需要单独配置但老版本模型可能会生成发灰发白的图片这时候手动指定一个修好的VAE文件就能解决。ControlNet是可选的“神级辅助模块”它能让生成结果严格遵循你给定的线条图、深度图、姿态骨架等参考信息。想保持人物姿势、想控制画面构图靠描述可不行必须上ControlNet。3.2 模型下载渠道与目录结构模型下载是个非常关键的环节。主流的模型社区有Civitai等中文社区也有不少爱好者维护的模型库。下载的时候要看清模型页面的说明确定它是Base模型还是LoRA适用的底模是哪一类型免得下错。不管从哪下载目录结构是有严格要求。ComfyUI的models文件夹下分了很多子目录checkpoints放主模型loras放LoRA模型vae放VAE文件controlnet放ControlNet模型。放错位置系统就认不出来这在初期是最高频的错误。以我本地的目录结构为例给你参考ComfyUI/ ├── models/ │ ├── checkpoints/ # 大模型如 majicmixRealistic.safetensors │ ├── loras/ # LoRA风格/角色模型 │ ├── vae/ # VAE文件一般无需放 │ ├── controlnet/ # ControlNet模型 │ └── upscale_models/ # 放大模型 ├── custom_nodes/ # 扩展插件目录 ├── input/ # 输入图片存放处 └── output/ # 生成结果输出目录还要提醒一点模型文件名尽量改成易识别的名字比如majicmixRealistic_v7.safetensors别用一串乱码式的哈希值文件名。因为后面工作流里保存的就是这个文件名命名清晰了回头整理和排查问题都方便。3.3 工作流文件的加载与保存ComfyUI的一大特色是工作流可视化。别人分享的生成参数和节点连接方式通常以图片形式发布——对就是一张看起来普普通通的PNG图片但里面嵌着完整的节点信息和参数。你把这张图直接拖进ComfyUI界面系统就会自动重建出整套工作流。这个特性极大降低了学习成本。我在初学阶段的做法是看到网上有人分享不错的图先拖进ComfyUI看关键参数和节点排列再对照实际生成效果反推每个节点的作用。比看一百篇文档都管用。自己调好的工作流也要记得保存。点击界面上的Save按钮会存成一个JSON文件以后想复用直接拖进来就行。工作流这种“一次搭建、反复使用”的特性也是我最终彻底转向ComfyUI的原因。4. 实操全流程跑通本地AI出图4.1 启动ComfyUI服务环境、模型都就位后就可以启动服务了。如果你用的是Git方式安装的ComfyUI在命令行里进入ComfyUI目录激活虚拟环境然后运行conda activate aigc python main.py启动过程中你会看到它加载各种依赖库然后显示类似这样一行To see the GUI go to: http://127.0.0.1:8188用浏览器打开这个地址就能看到ComfyUI的主界面了。默认端口是8188如果被占用可以在启动命令里加--port 8189换个端口。如果显卡比较老或者显存只有4GB、6GB建议用这个启动参数python main.py --lowvram--lowvram模式会把部分计算临时转移到内存虽然慢一点但能大幅降低显存溢出概率。另外注意如果你用的是整合包直接运行脚本启动即可效果一样。4.2 认识默认工作流文生图的完整链路ComfyUI打开后默认加载的是一个“文生图”的基础工作流别看它只有几个节点这已经涵盖了完整的出图链路。第一次接触的人建议先别急着改任何参数先用默认配置跑一张图感受一下整个流程。默认工作流的核心节点包括Load Checkpoint加载检查点这是最左侧的节点负责把大模型载入显存。点击choose checkpoint to load下拉框能切换模型选好后模型会同时输出三个口MODEL用于采样、CLIP用于文本编码、VAE用于图像解码。CLIP Text Encode文本编码有正向和负向两个节点分别对应你输入想要的提示词和不想要的提示词。它的作用是把文字转换成特征向量供后续采样器理解你的意图。KSampler采样器这是整个工作流的核心。它会根据文本特征在噪声图上进行多步去噪一步步把模糊的噪声画面塑造成清晰图像。节点里有seed随机种子、steps采样步数、cfg提示词引导强度、sampler_name采样算法、scheduler调度算法等一排参数后面逐个讲。VAE Decode图像解码把采样完成后还在“潜空间”的特征数据解码成我们能看到的RGB图像。Save Image保存图像把解码后的图像保存到output目录你会看到控制台还有图片预览能直接看结果。理解这条链路太重要了。AI出图不是一个黑盒魔法而是一条明确的数据流模型理解语言、采样器逐步去噪、解码器还原画面。后期你添加任何高级节点本质上都是在改造这个流程的某一环。4.3 第一次写提示词与调节参数默认工作流里正向CLIP Text Encode节点里写着text占位符把鼠标点上去改文字就行。英文提示词是目前的主流习惯因为大量模型用英文语料训练生成效果更稳定。但ComfyUI也支持中文你可以先试中文再对照英文效果感受模型对两种语言的理解差异。我来演示一个实际案例以生成一张猫的图片为例在正向提示词里填a cute cat sitting on the windowsill, soft morning light, detailed fur, high quality负向提示词填一些常见的不想要元素blurry, low quality, distorted, extra fingers, watermark点击“Queue Prompt”按钮或者按CtrlEnter观察右下角的进度条一般十几秒后就能看到结果了。接下来看几个最影响出图效果的参数这些也是新手最常问的Steps采样步数数值越大去噪过程越精细画面细节越多但用时也线性增加。SD基础的模型大约在20到30步之间就能达到不错效果再往上加收益不明显我日常固定28步。CFG引导强度控制生成画面与提示词的贴合程度。默认7.0是个甜点值越大画面越死板、容易过曝越小就越散漫、可能跑题。新手建议锁定7到8不要乱动。Seed随机种子这是复现神器。每次生成用的随机种子不同出来的图也不同。如果调出一张接近满意的图把它的seed值固定下来再去微调提示词或参数就可以在“不让画面结构乱跳”的前提下逐步优化。Sampler采样器不同采样器在速度和画质上的侧重不同。我常用的是DPM 2M Karras速度快画质好适合日常使用。Euler a则偏向艺术感和稳定性。初期建议不要纠结记住一个固定的先用起来出图效果不满意再换。综合起来一个比较稳妥的新手首发配置是CFG为7Steps为28采样器选DPM 2M Karras分辨率按显卡显存来8GB显卡用1024x1024以下都没问题。5. 进阶玩法从基础出图到可控创作5.1 图生图在参考图基础上创作文生图跑通之后下一步自然是图生图。图生图的意思是给你一张参考图片AI在它的基础上生成新的变体保留构图和主要内容但有风格或细节上的变化。这在创作中非常实用比如你拍了一张自己的照片想换成动漫风格、油画风格就能用它实现。ComfyUI中实现图生图的核心思路在于把参考图当成初始噪声图而不是从纯噪声开始去噪。具体操作是用Load Image节点加载图片经过VAE Encode把它编码成潜空间的图像特征再把它接入KSampler的latent_image输入口——这正是采样器开始去噪的起点。这样做的好处非常直观起点不再是纯噪声所以生成结果在整体布局和内容上会贴近参考图。你只需要再调节一个denoise参数。这个值控制“重绘幅度”它必须在0到1之间。设成0.3左右时AI基本保留原图构图只改细节设成0.7以上时AI会大幅重绘可能离原图已经很远了。初期建议从0.5开始多试几次压感。5.2 LoRA模型的接入与触发词想给生成的图加特定风格比如某个画师风格、某个角色的特征就要用到LoRA了。ComfyUI默认工作流里没有LoRA节点需要右键菜单选“Add Node”搜索Load LoRA找到并添加进来然后用连线把它的输入输出口接进链路模型权重和CLIP特征都要经过LoRA节点后再送入采样器。这样接入的逻辑是LoRA本质上就是一个“增量调整器”在大模型的基础上施加一个特定的权重偏移从而把生成结果推向某个方向。它的strength参数控制这个方向的力度0表示完全不用1表示全量使用。我实际测试中0.6到0.9是多数LoRA模型的推荐区间——调得太高容易产生过拟合画面出现明显畸变或重复纹理。每条LoRA模型都有配套的触发词下载页面一般都会写清楚。例如某些角色LoRA需要你在提示词里加上特定的角色名否则即使挂载了LoRA它的效果也发挥不出来。这步容易被忽略但漏掉的后果就是LoRA看起来“一点用都没有” 。5.3 ControlNet把构图主动权拿回手里ControlNet是ComfyUI里我最推荐的进阶组件没有之一。它能让你把参考图中的空间信息——边缘、骨骼、深度——提取出来再用这些信息去严格指导生成过程。举个例子你想让生成的人物保持某个特定姿态靠提示词写得再细也没用但把人体的骨骼姿态图丢给ControlNetAI就会不折不扣地按这个姿态生成这在人物创作中简直是指哪打哪。ComfyUI装ControlNet的方法是在custom_nodes目录下安装对应插件然后到models/controlnet放进相应的模型文件。实际使用时要加入Load ControlNet Model节点和Apply ControlNet节点把输入图片通过Load Image加载后给ControlNet模型处理再把处理过的条件注入到KSampler的模型路径中。需要注意ControlNet的控制强度同样有一个strength参数值越大对构图束缚越紧。设成1.0时几乎笔笔都按参考走但有时画面会僵硬比较理想的做法是设0.7到0.9既保住了构图又保留了AI的想象力空间。6. 常见报错与性能优化排查实录6.1 “Out of Memory”显存爆掉怎么办这是新手遇到最多的问题没有之一。报错通常长这样torch.OutOfMemoryError: CUDA out of memory.它是什么意思就是显卡显存被吃光了系统没法继续分配空间只能强制终止。触发原因主要有三个大模型本身就占用好几个GB分辨率太大或者batch_size设置太高后台同时跑着别的显存占用程序。排查思路从最直接的开始第一步降低分辨率比如1024x1024改成768x768第二步检查batch_size是不是设大了改回1第三步关掉其他占用显存的软件比如浏览器里的视频播放、各种带硬件加速的应用第四步给QSampler节点换更省显存的VAE解码方式最后一步不得已就启动时加上--lowvram参数。从原理上讲显存溢出多数不是你没条件跑而是单次任务的显存峰值超过了可用量。只要把峰值降下来任务就能继续。所以调整分辨率、降低batch_size、减小图像批处理数都是立竿见影的手段。6.2 生成速度慢怎么榨干显卡性能很多人在本地出图的第一反应是怎么比在线网站还慢这通常跟软件配置和硬件加速有关而不一定是显卡不行的锅。先检查你安装的PyTorch是不是带CUDA的GPU版本。这个我前面强调过如果当时偷懒没加--index-url系统装的是CPU版本出图速度就是灾难级别。确认方法是看命令行启动日志里面有类似CUDA available: True这样的字段。显存小的话可以确保模型正确加载为半精度fp16显存占用直接减半采样速度也相应提升。ComfyUI默认在部分显卡上会自动启用半精度某些模型上还要自己在Load Checkpoint节点里设置dtype为fp16。另一个常见优化是启用xformers加速库。在启动命令后面加--xformers参数即可它能优化Transformer结构里的注意力计算在许多显卡上有显著加速效果通常提升20%左右。最后采样步数和采样器也会直观影响耗时。用少两步的采样器不如直接用低步数DPM 2M Karras这种两阶推进的采样器20步的效果有时比某些单步采样的40步还要好。步数够用就行盲目堆高带来的画质收益很低。6.3 常见问题排查速查表报错/现象可能原因解决办法CUDA unavailable / no NVIDIA driver显卡驱动未装或CUDA版本不匹配更新NVIDIA驱动用nvidia-smi查看支持的CUDA版本OOM 显存不足模型太大、分辨率过高、后台占显存降低分辨率、改小batch、加--lowvram启动参数生成图片全黑/全噪点模型路径或模型选择错误、VAE有问题检查Checkpoint节点选的模型是否损坏尝试切换模型生成图发灰发白VAE未生效或模型内置VAE不佳在模型目录放入修好的VAE并手动指定中文提示词无效模型训练语料以英文为主尽量用英文提示词或同时搭配英文关键词ControlNet节点报错插件版本和ComfyUI不兼容更新custom_nodes下的插件到最新版LoRA模型加载后无效未添加触发词或模型不适配底模查看LoRA页面说明写对触发词换相近底模这段内容建议截图收藏等你跑了一段时间后回过头来再看会发现自己已经在不知不觉中遇到过并解决了其中不少问题。7. 本地出图环境的成本效益分析7.1 时间成本与学习曲线有朋友问过我折腾这么久值得吗我觉得这个问题不能一概而论。前期搭建环境、下载模型、调试工作流确实花了我整整两个周末的时间中途一度想摔键盘。但过了那个坎之后价值就完全体现出来了。效率方面我用在线工具的时候每天大概产出三五十张图其中一半时间在等队列。本地环境搭好之后同样的工作量一小时不到就跑完了而且可以开着ComfyUI挂着跑一整个晚上第二天醒来直接收图。隐私方面是另一个隐性收益。做原创内容的都知道有些素材在发给在线平台前总有顾虑。本地出图的所有操作完全离线底稿和生成结果都不出自己电脑。对一些有保密需求的商业项目来说这个优势是决定性的。7.2 硬件投入与使用建议你可能关心的是硬件投入。如果你手头已经有一块8GB显存以上的NVIDIA显卡那零成本就能开始不需要再添任何设备。如果显卡性能不够我建议先别急着买用现有设备跑一跑入门工作流等确定了自己对AI出图是真爱之后再考虑升级显卡那时候你买到的东西会更有针对性。一个小建议显卡品牌和型号尽量选择显存大、兼容性好的主流型号。AI领域变化快显存容量决定了你未来能尝试多大规模的实验。预算允许的情况下12GB到16GB显存目前是一个比较均衡的选择。8. 聊聊我踩过的几个坑最后分享几个实际踩坑的经历希望能给你的搭建过程减掉一些弯路。第一次入坑时我图省事变装了网上某款一键整合包结果里面的Python依赖是阉割版装一半就卡住。折腾了半天还是推倒用Git方式重新装反而更快。现在我的态度是环境搭的东西越透明越好。下载模型也有过翻车经历。有一回下了个6GB的大模型放进目录后一直加载不出来排查半天发现是文件名带了中文和空格ComfyUI处理路径出了兼容问题。改掉文件名后瞬间正常。遇事不决先检查路径和文件名这个习惯能帮你省很多时间。还有一次大半夜排查“生成图特别糊、噪点很多”的问题一直找不到原因。后来发现是显卡驱动在当天自动更新了把图形相关的加速状态改了导致ComfyUI的计算异常。重启电脑和框架之后恢复正常。这个情况虽然不是高频但遇到莫名其妙、聚巴找不到原因的异常优先考虑驱动环境变化。我的体会是本地搭建AI出图环境最考验人的不是技术难度而是耐心。每个问题都有对应解法关键在于保持“拆问题”的思路先定位是环境问题、模型问题还是参数问题再一步步缩小范围。你在这个排查过程中积累的经验恰恰是那些只停留在在线工具的人永远接触不到的核心能力。
