Diffusers 中 Stable unCLIP 管道实战指南基于 CLIP 图像嵌入的文生图与图像变体生成【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusersStable unCLIP 是 diffusers 提供的基于 Stable Diffusion 2.1 微调而来的图像生成管道它额外条件化于 CLIP 图像嵌入同时保留文本条件从而支持「文本引导的图像变体生成」以及结合 unCLIP prior 的完整文生图能力。本文将基于 Stable unCLIP 官方文档结合仓库源码StableUnCLIPPipeline 实现、StableUnCLIPImg2ImgPipeline 实现深入讲解其原理、两种加载与调用方式、noise_level等关键参数以及常见陷阱让读者能够直接复现文生图与图像变体两种典型应用。Stable unCLIP 是什么从 Stable Diffusion 2.1 微调的双条件模型Stable unCLIP 检查点是在 Stable Diffusion 2.1 检查点基础上微调而来核心变化是额外以 CLIP 图像嵌入CLIP image embeddings作为条件输入同时仍然保留原有的文本嵌入条件。因此它拥有两路独立的条件信号文本条件与 Stable Diffusion 一致通过 CLIP 文本编码器编码 prompt图像条件CLIP 图像嵌入作为class_labels注入 UNet 的交叉注意力过程。由于两路条件相互独立Stable unCLIP 可以用于文本引导的图像变体text guided image variation——直接给定一张图生成保持其语义与风格、但细节发生变化的变体完整文生图text-to-image——与 unCLIP prior 模型串联先用 prior 从文本生成图像嵌入再交给 unCLIP 解码器出图。论文摘要给出的动机是CLIP 这类对比模型学习到的图像表征同时捕获了语义与风格。论文提出两阶段模型——prior 根据文本描述生成 CLIP 图像嵌入decoder 再根据该嵌入生成图像。显式生成图像表征可以在几乎不损失真实感与文本相似度的前提下提升图像多样性decoder 还能在保留语义和风格的同时改变表征中缺失的非关键细节CLIP 的联合嵌入空间还支持零样本的语言引导图像操作。从源码结构看该能力在 diffusers 中由两条管道承载均位于 src/diffusers/pipelines/stable_diffusion/ 目录StableUnCLIPPipelinepipeline_stable_unclip.py文生图管道内置 prior 组件StableUnCLIPImg2ImgPipelinepipeline_stable_unclip_img2img.py文本引导图像变体管道。两者都继承DiffusionPipeline、StableDiffusionMixin并混入TextualInversionLoaderMixin支持加载 textual inversion 嵌入与StableDiffusionLoraLoaderMixin支持加载/保存 LoRA 权重因此可以像标准 Stable Diffusion 管道一样使用 LoRA 与 Textual Inversion 能力。核心机制图像嵌入加噪与noise_level参数文档明确指出Stable unCLIP 在推理时会接收noise_level输入它决定向图像嵌入中添加多少噪声noise_level越高最终去噪图像中的变化variation越大默认值为0即默认情况下不给图像嵌入添加任何额外噪声。在 pipeline_stable_unclip.py 的noise_image_embeddings实现中噪声以两种方式施加直接对嵌入施加噪声调度通过image_noising_scheduler.add_noise(image_embeds, timestepsnoise_level, noisenoise)完成在嵌入上拼接正弦时间嵌入向量通过get_timestep_embedding生成与noise_level对应的正弦位置编码拼接到加噪后的图像嵌入末尾作为 UNet 的额外条件。两种方式的噪声量都由同一个noise_level控制。同时加噪前后会经过 StableUnCLIPImageNormalizer 的scale/unscale归一化——该类持有 CLIP embedder 的均值mean与标准差std默认嵌入维度768先对图像嵌入做标准化再加噪加噪后再反标准化还原保证噪声施加过程的数值稳定。noise_level的合法取值范围在check_inputs中被校验必须满足0 noise_level image_noising_scheduler.config.num_train_timesteps否则抛出ValueError见 pipeline_stable_unclip.py。由于加噪过程通过image_noising_scheduler.add_noise完成Stable unCLIP 对图像嵌入的「噪声化」本质上是一种受控的扰动因此在实际使用中noise_level 0保留原始图像嵌入变体与原图最接近noise_level逐步增大引入更多随机扰动生成图像在语义风格不变的前提下产生更强的细节变化。文生图StableUnCLIPPipeline 与 Karlo prior 的串联管道组成与加载方式StableUnCLIPPipeline的__init__见 pipeline_stable_unclip.py注册了四组组件组件分组模块说明prior 组件prior_tokenizer、prior_text_encoderCLIPTextModelWithProjection、priorPriorTransformer、prior_scheduler用文本生成 CLIP 图像嵌入图像加噪组件image_normalizer、image_noising_scheduler对图像嵌入加噪/去噪常规去噪组件tokenizer、text_encoderCLIPTextModel、unetUNet2DConditionModel、scheduler标准的文本编码与潜在空间去噪VAEvaeAutoencoderKL潜在表示与像素图像的编解码该管道还定义了model_cpu_offload_seq text_encoder-prior_text_encoder-unet-vae并设置_exclude_from_cpu_offload [prior, image_normalizer]说明使用顺序 CPU 卸载sequential CPU offloading时 prior 与归一化器不会被卸载可在显存受限场景下启用enable_sequential_cpu_offload。文生图需要先加载一个unCLIP prior来把文本变成图像嵌入。官方文档推荐使用 KakaoBrain 开源的 DALL-E 2 复现项目Karlo的 prior 模型kakaobrain/karlo-v1-alpha完整代码如下import torch from diffusers import UnCLIPScheduler, DDPMScheduler, StableUnCLIPPipeline from diffusers.models import PriorTransformer from transformers import CLIPTokenizer, CLIPTextModelWithProjection prior_model_id kakaobrain/karlo-v1-alpha data_type torch.float16 prior PriorTransformer.from_pretrained(prior_model_id, subfolderprior, dtypedata_type) prior_text_model_id openai/clip-vit-large-patch14 prior_tokenizer CLIPTokenizer.from_pretrained(prior_text_model_id) prior_text_model CLIPTextModelWithProjection.from_pretrained(prior_text_model_id, dtypedata_type) prior_scheduler UnCLIPScheduler.from_pretrained(prior_model_id, subfolderprior_scheduler) prior_scheduler DDPMScheduler.from_config(prior_scheduler.config) stable_unclip_model_id stabilityai/stable-diffusion-2-1-unclip-small pipe StableUnCLIPPipeline.from_pretrained( stable_unclip_model_id, dtypedata_type, variantfp16, prior_tokenizerprior_tokenizer, prior_text_encoderprior_text_model, priorprior, prior_schedulerprior_scheduler, ) pipe pipe.to(cuda) # or mps, xpu, cpu wave_prompt dramatic wave, the Oceans roar, Strong wave spiral across the oceans as the waves unfurl into roaring crests; perfect wave form; perfect wave shape; dramatic wave shape; wave shape unbelievable; wave; wave shape spectacular image pipe(promptwave_prompt).images[0] image几个关键点值得说明prior 与 unCLIP 解码器必须使用同一种 CLIP 图像嵌入代码中 prior 使用openai/clip-vit-large-patch14CLIP ViT-L/14因此解码器必须选择同样基于 ViT-L/14 训练的检查点variantfp16指示加载 fp16 权重变体配合dtypetorch.float16可显著降低显存占用prior_scheduler的二次转换先读取UnCLIPScheduler的配置再通过DDPMScheduler.from_config(prior_scheduler.config)转为DDPMScheduler实例这是因为 Karlo prior 的采样过程使用 DDPM 调度器设备迁移pipe.to(cuda)支持cuda/mps/xpu/cpu。为什么推荐-unclip-small变体[!WARNING] 文生图场景应使用stabilityai/stable-diffusion-2-1-unclip-small因为它基于 CLIP ViT-L/14 嵌入训练与 Karlo 模型的 prior 一致。而stabilityai/stable-diffusion-2-1-unclip基于 OpenCLIP ViT-H 训练不推荐与 ViT-L/14 的 Karlo prior 混用。StableUnCLIPPipeline的两个子类检查点分别对应不同 CLIP 图像编码器混用会导致图像嵌入空间不匹配、生成质量严重劣化检查点图像嵌入来源适配场景stabilityai/stable-diffusion-2-1-unclip-smallCLIP ViT-L/14与 Karlo priorViT-L/14串联做文生图stabilityai/stable-diffusion-2-1-unclipOpenCLIP ViT-H直接用于图像变体img2img无 prior 场景文生图内部调用链从__call__的源码pipeline_stable_unclip.py可以看到完整流程默认高宽取自unet.config.sample_size * vae_scale_factorvae_scale_factor由 VAE 的block_out_channels长度计算通常为 8check_inputs校验高宽是否可被 8 整除、noise_level是否越界等_encode_prior_prompt用prior_text_encoderCLIPTextModelWithProjection编码 prompt得到text_embeds用于 prior 的proj_embedding与last_hidden_state用于encoder_hidden_states若启用无分类器引导CFG会拼接空文本嵌入在 prior 去噪循环中PriorTransformer以proj_embedding、encoder_hidden_states、attention_mask为条件预测图像嵌入CFG 公式为uncond prior_guidance_scale * (text - uncond)L821-L825随后prior_scheduler.step迭代 25 步prior_num_inference_steps默认值最后prior.post_process_latents输出图像嵌入noise_image_embeddings按noise_level对图像嵌入加噪上文已述常规 UNet 去噪循环unet(latent_model_input, t, encoder_hidden_statesprompt_embeds, class_labelsimage_embeds)——图像嵌入正是通过class_labels参数注入 UNetVAE 解码 VaeImageProcessor.postprocess输出 PIL 图像返回ImagePipelineOutput(imagesimage)return_dictFalse时返回(image,)元组。关键推理参数StableUnCLIPPipeline.__call__的签名L647-L673中主去噪过程与 prior 过程分别拥有独立参数参数默认值作用promptNone文本提示词height/widthUNet 默认输出图像尺寸必须能被 8 整除num_inference_steps20UNet 去噪步数guidance_scale10.0主去噪过程的 CFG 强度大于 1 时启用negative_promptNone负向提示词guidance_scale 1时生效num_images_per_prompt1每个 prompt 生成图像数eta0.0DDIM 的 η 参数仅对DDIMScheduler生效noise_level0图像嵌入加噪量见上文核心机制prior_num_inference_steps25prior 去噪步数prior_guidance_scale4.0prior 过程的 CFG 强度prior_latentsNone预生成的 prior 噪声潜变量用于复现latentsNone预生成的 UNet 噪声潜变量用于复现prompt_embeds/negative_prompt_embedsNone预计算的文本嵌入可与prompt二选一output_typepilpil/np/latentcallback/callback_stepsNone/1推理步回调clip_skipNone跳过 CLIP 若干层计算 prompt 嵌入如 1 表示使用倒数第二层输出文本引导的图像变体StableUnCLIPImg2ImgPipeline最小可运行示例图像变体场景不需要 prior直接加载 unCLIP 检查点即可官方文档示例from diffusers import StableUnCLIPImg2ImgPipeline from diffusers.utils import load_image import torch pipe StableUnCLIPImg2ImgPipeline.from_pretrained( stabilityai/stable-diffusion-2-1-unclip, dtypetorch.float16, variationfp16 ) pipe pipe.to(cuda) # or mps, xpu, cpu url https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/stable_unclip/tarsila_do_amaral.png init_image load_image(url) images pipe(init_image).images images[0].save(variation_image.png)可选地也可以向pipe传入 prompt 进行文本引导prompt A fantasy landscape, trending on artstation image pipe(init_image, promptprompt).images[0] image注意文档示例中的variationfp16即variantfp16的历史别名该写法在from_pretrained中被兼容处理其作用是加载 fp16 权重变体以节省显存传参时也可直接写variantfp16。管道组件与图像编码流程StableUnCLIPImg2ImgPipeline的__init__见 pipeline_stable_unclip_img2img.py与文生图版本相比用图像编码组件替换了 prior 组件组件分组模块说明图像编码组件feature_extractorCLIPImageProcessor、image_encoderCLIPVisionModelWithProjection预处理输入图像并编码为 CLIP 图像嵌入图像加噪组件image_normalizer、image_noising_scheduler对图像嵌入加噪/去噪常规去噪组件tokenizer、text_encoder、unet、scheduler文本编码与潜在空间去噪VAEvae编解码调用pipe(init_image, promptprompt)时_encode_image会用feature_extractor预处理图像、image_encoder输出投影后的图像嵌入并按 batch 复制以匹配 prompt 数量随后同样走noise_image_embeddings加噪、以class_labels注入 UNet、最后 VAE 解码。因此在图像变体场景中同样可以使用noise_level控制变化幅度——输入图固定时noise_level越大变体与原图的差异越大。在 tests/pipelines/stable_unclip/test_stable_unclip_img2img.py 中可以看到官方测试同时覆盖了stable-unclip-2-1-lViT-L/14与stable-unclip-2-1-hViT-H两个尺寸的图像变体验证test_stable_unclip_l_img2img/test_stable_unclip_h_img2img说明两种检查点都支持直接做图像变体另有test_image_embeds_none与顺序 CPU 卸载测试等印证了_encode_image的输入分支与enable_sequential_cpu_offload兼容性。常见问题与排查建议文生图效果差/图像损坏极大概率是 prior 与 unCLIP 解码器的 CLIP 嵌入空间不一致。请严格遵循文档建议——文生图只用stabilityai/stable-diffusion-2-1-unclip-small Karlo prior若使用stable-diffusion-2-1-unclipViT-H则应更换为 ViT-H 对应的 prior。显存不足OOM可组合使用dtypetorch.float16variantfp16加载并在pipe.to(cuda)之后调用pipe.enable_sequential_cpu_offload()源码已配置model_cpu_offload_seq。注意enable_attention_slicing、enable_xformers_memory_efficient_attention等方法同样可用于降低内存占用见文档末尾 API 清单。noise_level越界报错它必须落在[0, image_noising_scheduler.config.num_train_timesteps)区间内源码check_inputs会抛ValueError。尺寸报错height与width必须能被 8 整除否则check_inputs直接抛错。无 prompt 变体pipe(init_image)时 prompt 为None管道内部以空字符串做 CFG 编码可正常出图需要文本引导时再传入prompt。延伸阅读调度器选择与速度/质量权衡Schedulers 指南其中 Karras sigmas 重新采样噪声调度可提升细节仅适用于以 Karras sigmas 训练的模型跨管道复用组件如让多条管道共享同一套 VAE/文本编码器Reusing models across pipelinesStable Diffusion 2.x 背景Stable Diffusion 2 文档底层先验模型实现PriorTransformer、UnCLIPScheduler、以及废弃的 unCLIP 实现 pipeline_unclip.py 可作对照参考官方测试用例test_stable_unclip.py、test_stable_unclip_img2img.py可作为复现与结果比对的基准。【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Diffusers 中 Stable unCLIP 管道实战指南基于 CLIP 图像嵌入的文生图与图像变体生成【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusersStable unCLIP 是 diffusers 提供的基于 Stable Diffusion 2.1 微调而来的图像生成管道它额外条件化于 CLIP 图像嵌入同时保留文本条件从而支持「文本引导的图像变体生成」以及结合 unCLIP prior 的完整文生图能力。本文将基于 Stable unCLIP 官方文档结合仓库源码StableUnCLIPPipeline 实现、StableUnCLIPImg2ImgPipeline 实现深入讲解其原理、两种加载与调用方式、noise_level等关键参数以及常见陷阱让读者能够直接复现文生图与图像变体两种典型应用。Stable unCLIP 是什么从 Stable Diffusion 2.1 微调的双条件模型Stable unCLIP 检查点是在 Stable Diffusion 2.1 检查点基础上微调而来核心变化是额外以 CLIP 图像嵌入CLIP image embeddings作为条件输入同时仍然保留原有的文本嵌入条件。因此它拥有两路独立的条件信号文本条件与 Stable Diffusion 一致通过 CLIP 文本编码器编码 prompt图像条件CLIP 图像嵌入作为class_labels注入 UNet 的交叉注意力过程。由于两路条件相互独立Stable unCLIP 可以用于文本引导的图像变体text guided image variation——直接给定一张图生成保持其语义与风格、但细节发生变化的变体完整文生图text-to-image——与 unCLIP prior 模型串联先用 prior 从文本生成图像嵌入再交给 unCLIP 解码器出图。论文摘要给出的动机是CLIP 这类对比模型学习到的图像表征同时捕获了语义与风格。论文提出两阶段模型——prior 根据文本描述生成 CLIP 图像嵌入decoder 再根据该嵌入生成图像。显式生成图像表征可以在几乎不损失真实感与文本相似度的前提下提升图像多样性decoder 还能在保留语义和风格的同时改变表征中缺失的非关键细节CLIP 的联合嵌入空间还支持零样本的语言引导图像操作。从源码结构看该能力在 diffusers 中由两条管道承载均位于 src/diffusers/pipelines/stable_diffusion/ 目录StableUnCLIPPipelinepipeline_stable_unclip.py文生图管道内置 prior 组件StableUnCLIPImg2ImgPipelinepipeline_stable_unclip_img2img.py文本引导图像变体管道。两者都继承DiffusionPipeline、StableDiffusionMixin并混入TextualInversionLoaderMixin支持加载 textual inversion 嵌入与StableDiffusionLoraLoaderMixin支持加载/保存 LoRA 权重因此可以像标准 Stable Diffusion 管道一样使用 LoRA 与 Textual Inversion 能力。核心机制图像嵌入加噪与noise_level参数文档明确指出Stable unCLIP 在推理时会接收noise_level输入它决定向图像嵌入中添加多少噪声noise_level越高最终去噪图像中的变化variation越大默认值为0即默认情况下不给图像嵌入添加任何额外噪声。在 pipeline_stable_unclip.py 的noise_image_embeddings实现中噪声以两种方式施加直接对嵌入施加噪声调度通过image_noising_scheduler.add_noise(image_embeds, timestepsnoise_level, noisenoise)完成在嵌入上拼接正弦时间嵌入向量通过get_timestep_embedding生成与noise_level对应的正弦位置编码拼接到加噪后的图像嵌入末尾作为 UNet 的额外条件。两种方式的噪声量都由同一个noise_level控制。同时加噪前后会经过 StableUnCLIPImageNormalizer 的scale/unscale归一化——该类持有 CLIP embedder 的均值mean与标准差std默认嵌入维度768先对图像嵌入做标准化再加噪加噪后再反标准化还原保证噪声施加过程的数值稳定。noise_level的合法取值范围在check_inputs中被校验必须满足0 noise_level image_noising_scheduler.config.num_train_timesteps否则抛出ValueError见 pipeline_stable_unclip.py。由于加噪过程通过image_noising_scheduler.add_noise完成Stable unCLIP 对图像嵌入的「噪声化」本质上是一种受控的扰动因此在实际使用中noise_level 0保留原始图像嵌入变体与原图最接近noise_level逐步增大引入更多随机扰动生成图像在语义风格不变的前提下产生更强的细节变化。文生图StableUnCLIPPipeline 与 Karlo prior 的串联管道组成与加载方式StableUnCLIPPipeline的__init__见 pipeline_stable_unclip.py注册了四组组件组件分组模块说明prior 组件prior_tokenizer、prior_text_encoderCLIPTextModelWithProjection、priorPriorTransformer、prior_scheduler用文本生成 CLIP 图像嵌入图像加噪组件image_normalizer、image_noising_scheduler对图像嵌入加噪/去噪常规去噪组件tokenizer、text_encoderCLIPTextModel、unetUNet2DConditionModel、scheduler标准的文本编码与潜在空间去噪VAEvaeAutoencoderKL潜在表示与像素图像的编解码该管道还定义了model_cpu_offload_seq text_encoder-prior_text_encoder-unet-vae并设置_exclude_from_cpu_offload [prior, image_normalizer]说明使用顺序 CPU 卸载sequential CPU offloading时 prior 与归一化器不会被卸载可在显存受限场景下启用enable_sequential_cpu_offload。文生图需要先加载一个unCLIP prior来把文本变成图像嵌入。官方文档推荐使用 KakaoBrain 开源的 DALL-E 2 复现项目Karlo的 prior 模型kakaobrain/karlo-v1-alpha完整代码如下import torch from diffusers import UnCLIPScheduler, DDPMScheduler, StableUnCLIPPipeline from diffusers.models import PriorTransformer from transformers import CLIPTokenizer, CLIPTextModelWithProjection prior_model_id kakaobrain/karlo-v1-alpha data_type torch.float16 prior PriorTransformer.from_pretrained(prior_model_id, subfolderprior, dtypedata_type) prior_text_model_id openai/clip-vit-large-patch14 prior_tokenizer CLIPTokenizer.from_pretrained(prior_text_model_id) prior_text_model CLIPTextModelWithProjection.from_pretrained(prior_text_model_id, dtypedata_type) prior_scheduler UnCLIPScheduler.from_pretrained(prior_model_id, subfolderprior_scheduler) prior_scheduler DDPMScheduler.from_config(prior_scheduler.config) stable_unclip_model_id stabilityai/stable-diffusion-2-1-unclip-small pipe StableUnCLIPPipeline.from_pretrained( stable_unclip_model_id, dtypedata_type, variantfp16, prior_tokenizerprior_tokenizer, prior_text_encoderprior_text_model, priorprior, prior_schedulerprior_scheduler, ) pipe pipe.to(cuda) # or mps, xpu, cpu wave_prompt dramatic wave, the Oceans roar, Strong wave spiral across the oceans as the waves unfurl into roaring crests; perfect wave form; perfect wave shape; dramatic wave shape; wave shape unbelievable; wave; wave shape spectacular image pipe(promptwave_prompt).images[0] image几个关键点值得说明prior 与 unCLIP 解码器必须使用同一种 CLIP 图像嵌入代码中 prior 使用openai/clip-vit-large-patch14CLIP ViT-L/14因此解码器必须选择同样基于 ViT-L/14 训练的检查点variantfp16指示加载 fp16 权重变体配合dtypetorch.float16可显著降低显存占用prior_scheduler的二次转换先读取UnCLIPScheduler的配置再通过DDPMScheduler.from_config(prior_scheduler.config)转为DDPMScheduler实例这是因为 Karlo prior 的采样过程使用 DDPM 调度器设备迁移pipe.to(cuda)支持cuda/mps/xpu/cpu。为什么推荐-unclip-small变体[!WARNING] 文生图场景应使用stabilityai/stable-diffusion-2-1-unclip-small因为它基于 CLIP ViT-L/14 嵌入训练与 Karlo 模型的 prior 一致。而stabilityai/stable-diffusion-2-1-unclip基于 OpenCLIP ViT-H 训练不推荐与 ViT-L/14 的 Karlo prior 混用。StableUnCLIPPipeline的两个子类检查点分别对应不同 CLIP 图像编码器混用会导致图像嵌入空间不匹配、生成质量严重劣化检查点图像嵌入来源适配场景stabilityai/stable-diffusion-2-1-unclip-smallCLIP ViT-L/14与 Karlo priorViT-L/14串联做文生图stabilityai/stable-diffusion-2-1-unclipOpenCLIP ViT-H直接用于图像变体img2img无 prior 场景文生图内部调用链从__call__的源码pipeline_stable_unclip.py可以看到完整流程默认高宽取自unet.config.sample_size * vae_scale_factorvae_scale_factor由 VAE 的block_out_channels长度计算通常为 8check_inputs校验高宽是否可被 8 整除、noise_level是否越界等_encode_prior_prompt用prior_text_encoderCLIPTextModelWithProjection编码 prompt得到text_embeds用于 prior 的proj_embedding与last_hidden_state用于encoder_hidden_states若启用无分类器引导CFG会拼接空文本嵌入在 prior 去噪循环中PriorTransformer以proj_embedding、encoder_hidden_states、attention_mask为条件预测图像嵌入CFG 公式为uncond prior_guidance_scale * (text - uncond)L821-L825随后prior_scheduler.step迭代 25 步prior_num_inference_steps默认值最后prior.post_process_latents输出图像嵌入noise_image_embeddings按noise_level对图像嵌入加噪上文已述常规 UNet 去噪循环unet(latent_model_input, t, encoder_hidden_statesprompt_embeds, class_labelsimage_embeds)——图像嵌入正是通过class_labels参数注入 UNetVAE 解码 VaeImageProcessor.postprocess输出 PIL 图像返回ImagePipelineOutput(imagesimage)return_dictFalse时返回(image,)元组。关键推理参数StableUnCLIPPipeline.__call__的签名L647-L673中主去噪过程与 prior 过程分别拥有独立参数参数默认值作用promptNone文本提示词height/widthUNet 默认输出图像尺寸必须能被 8 整除num_inference_steps20UNet 去噪步数guidance_scale10.0主去噪过程的 CFG 强度大于 1 时启用negative_promptNone负向提示词guidance_scale 1时生效num_images_per_prompt1每个 prompt 生成图像数eta0.0DDIM 的 η 参数仅对DDIMScheduler生效noise_level0图像嵌入加噪量见上文核心机制prior_num_inference_steps25prior 去噪步数prior_guidance_scale4.0prior 过程的 CFG 强度prior_latentsNone预生成的 prior 噪声潜变量用于复现latentsNone预生成的 UNet 噪声潜变量用于复现prompt_embeds/negative_prompt_embedsNone预计算的文本嵌入可与prompt二选一output_typepilpil/np/latentcallback/callback_stepsNone/1推理步回调clip_skipNone跳过 CLIP 若干层计算 prompt 嵌入如 1 表示使用倒数第二层输出文本引导的图像变体StableUnCLIPImg2ImgPipeline最小可运行示例图像变体场景不需要 prior直接加载 unCLIP 检查点即可官方文档示例from diffusers import StableUnCLIPImg2ImgPipeline from diffusers.utils import load_image import torch pipe StableUnCLIPImg2ImgPipeline.from_pretrained( stabilityai/stable-diffusion-2-1-unclip, dtypetorch.float16, variationfp16 ) pipe pipe.to(cuda) # or mps, xpu, cpu url https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/stable_unclip/tarsila_do_amaral.png init_image load_image(url) images pipe(init_image).images images[0].save(variation_image.png)可选地也可以向pipe传入 prompt 进行文本引导prompt A fantasy landscape, trending on artstation image pipe(init_image, promptprompt).images[0] image注意文档示例中的variationfp16即variantfp16的历史别名该写法在from_pretrained中被兼容处理其作用是加载 fp16 权重变体以节省显存传参时也可直接写variantfp16。管道组件与图像编码流程StableUnCLIPImg2ImgPipeline的__init__见 pipeline_stable_unclip_img2img.py与文生图版本相比用图像编码组件替换了 prior 组件组件分组模块说明图像编码组件feature_extractorCLIPImageProcessor、image_encoderCLIPVisionModelWithProjection预处理输入图像并编码为 CLIP 图像嵌入图像加噪组件image_normalizer、image_noising_scheduler对图像嵌入加噪/去噪常规去噪组件tokenizer、text_encoder、unet、scheduler文本编码与潜在空间去噪VAEvae编解码调用pipe(init_image, promptprompt)时_encode_image会用feature_extractor预处理图像、image_encoder输出投影后的图像嵌入并按 batch 复制以匹配 prompt 数量随后同样走noise_image_embeddings加噪、以class_labels注入 UNet、最后 VAE 解码。因此在图像变体场景中同样可以使用noise_level控制变化幅度——输入图固定时noise_level越大变体与原图的差异越大。在 tests/pipelines/stable_unclip/test_stable_unclip_img2img.py 中可以看到官方测试同时覆盖了stable-unclip-2-1-lViT-L/14与stable-unclip-2-1-hViT-H两个尺寸的图像变体验证test_stable_unclip_l_img2img/test_stable_unclip_h_img2img说明两种检查点都支持直接做图像变体另有test_image_embeds_none与顺序 CPU 卸载测试等印证了_encode_image的输入分支与enable_sequential_cpu_offload兼容性。常见问题与排查建议文生图效果差/图像损坏极大概率是 prior 与 unCLIP 解码器的 CLIP 嵌入空间不一致。请严格遵循文档建议——文生图只用stabilityai/stable-diffusion-2-1-unclip-small Karlo prior若使用stable-diffusion-2-1-unclipViT-H则应更换为 ViT-H 对应的 prior。显存不足OOM可组合使用dtypetorch.float16variantfp16加载并在pipe.to(cuda)之后调用pipe.enable_sequential_cpu_offload()源码已配置model_cpu_offload_seq。注意enable_attention_slicing、enable_xformers_memory_efficient_attention等方法同样可用于降低内存占用见文档末尾 API 清单。noise_level越界报错它必须落在[0, image_noising_scheduler.config.num_train_timesteps)区间内源码check_inputs会抛ValueError。尺寸报错height与width必须能被 8 整除否则check_inputs直接抛错。无 prompt 变体pipe(init_image)时 prompt 为None管道内部以空字符串做 CFG 编码可正常出图需要文本引导时再传入prompt。延伸阅读调度器选择与速度/质量权衡Schedulers 指南其中 Karras sigmas 重新采样噪声调度可提升细节仅适用于以 Karras sigmas 训练的模型跨管道复用组件如让多条管道共享同一套 VAE/文本编码器Reusing models across pipelinesStable Diffusion 2.x 背景Stable Diffusion 2 文档底层先验模型实现PriorTransformer、UnCLIPScheduler、以及废弃的 unCLIP 实现 pipeline_unclip.py 可作对照参考官方测试用例test_stable_unclip.py、test_stable_unclip_img2img.py可作为复现与结果比对的基准。【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
)
