![[特殊字符] Diffusers 官方训练脚本全景指南：从零训练你自己的扩散模型](http://pic.xiahunao.cn/yaotu/[特殊字符] Diffusers 官方训练脚本全景指南：从零训练你自己的扩散模型)
Diffusers 官方训练脚本全景指南从零训练你自己的扩散模型【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers Diffusers 不仅在推理侧提供了开箱即用的 Pipeline还在examples目录下沉淀了一套完整、可直接运行的训练脚本集合覆盖无条件图像生成、文生图text-to-image、DreamBooth、ControlNet、文本反演Textual Inversion等主流扩散模型训练任务。本文以官方训练总览文档 overview.md 为核心骨架结合当前仓库中的真实源码与配置系统讲解训练脚本的设计原则、任务覆盖范围、环境安装步骤与训练加速手段帮助你快速定位适合自己任务的训练入口并具备在此基础上二次开发的能力。训练脚本的设计哲学四个原则官方训练脚本遵循四个明确的工程原则详见 examples/README.md理解它们有助于判断某个脚本是否适合直接使用、以及需要如何改造自包含Self-contained训练脚本不依赖任何仓库内的本地文件所有第三方依赖全部通过requirements.txt声明并安装。以 text_to_image/requirements.txt 为例它明确列出了accelerate0.16.0、torchvision、transformers4.25.1、datasets2.19.1、ftfy、tensorboard、Jinja2、peft0.17.0等包——把脚本单独拷贝出来配合这份依赖清单即可运行。易修改Easy-to-tweak官方明确声明脚本是示例而非万能模板不会开箱即用地适配每一种训练场景。为此数据预处理代码和完整训练循环都被完全暴露在脚本中例如 train_text_to_image.py 中从数据集加载、图像变换到前向传播与损失计算的完整逻辑均可直接编辑方便你按自己的数据集和任务改造。新手友好Beginner-friendly训练脚本追求容易读懂优先保证可理解性而非引入最新 SOTA 方法。刻意省略了过于复杂的高级训练技巧作为理解扩散模型训练机制和上手 diffusers 的桥梁。单一用途Single-purpose每个脚本只演示一个任务。即使某些任务在模型层面高度相似例如图像超分与图像编辑共用同一类 UNet 结构官方也坚持一脚本一任务以保证代码可读性。从源码结构看这一原则贯穿始终examples下每个目录对应一个训练任务且每个目录都自带requirements.txt部分任务还有针对 SDXL、LoRA 或特定模型如 FLUX的专属依赖文件如 examples/dreambooth/requirements_sdxl.txt、examples/controlnet/requirements_flux.txt印证了自包含与按任务拆分的工程约束。官方训练脚本全景下表是官方当前维护的训练脚本清单对应原文档核心表格已将链接映射到本仓库路径并补充了 SDXL 与 LoRA 支持情况训练任务SDXL 支持LoRA 支持仓库路径无条件图像生成Unconditional Image Generation——examples/unconditional_image_generation文生图微调Text-to-Imageexamples/text_to_image文本反演Textual Inversion——examples/textual_inversionDreamBoothexamples/dreamboothControlNet—examples/controlnetInstructPix2Pix—examples/instruct_pix2pixCustom Diffusion——examples/custom_diffusionT2I-Adapter—examples/t2i_adapterKandinsky 2.2 文生图—examples/kandinsky2_2/text_to_image逐个拆解每个脚本解决什么问题无条件图像生成train_unconditional.py 是最基础的自监督训练示例使用UNet2DModelDDPMScheduler从零训练 DDPM 模型不依赖任何文本条件适合理解扩散模型前向加噪、反向去噪的核心训练循环也是上手训练脚本的首选入口。文生图微调train_text_to_image.py 在 Stable Diffusion 之上微调 UNet支持使用--dataset_name指定 Hugging Face Hub 数据集脚本内置了lambdalabs/naruto-blip-captions的字段映射也支持本地数据目录。训练完成后脚本会自动生成模型卡片并推送到 Hub。文本反演Textual Inversiontextual_inversion.py 只训练新增的文本嵌入向量不更新 UNet 与 VAE教会模型认识一个新的概念 token用于个性化生成。DreamBoothexamples/dreambooth 目录下提供train_dreambooth.py与train_dreambooth_lora.py等脚本用少量主题图片微调扩散模型并配套 SDXL、SD3、FLUX 等多个模型的专属训练脚本与需求文件是当前仓库中覆盖模型最广的训练任务之一。ControlNettrain_controlnet.py 在基础扩散模型之上训练 ControlNet 分支让生成过程受边缘、深度、姿态等条件控制另见 docs/source/en/training/controlnet.md。InstructPix2Pixtrain_instruct_pix2pix.py 训练指令式图像编辑模型用自然语言指令对图像进行局部修改。Custom Diffusiontrain_custom_diffusion.py 通过联合微调 UNet 与文本编码器实现多概念个性化详见 docs/source/en/training/custom_diffusion.md。T2I-Adaptertrain_t2i_adapter_sdxl.py 训练轻量级 T2I-Adapter 适配器将额外条件注入生成过程详见 docs/source/en/training/t2i_adapters.md。Kandinsky 2.2examples/kandinsky2_2/text_to_image 提供多语言文生图模型 Kandinsky 2.2 的 LoRA 微调脚本。需要说明的是当前仓库的examples目录远比上表更丰富还包含 LoRAdocs/source/en/training/lora.md、SDXLdocs/source/en/training/sdxl.md、Latent Consistency Distillationdocs/source/en/training/lcm_distill.md、视频模型 CogVideoXdocs/source/en/training/cogvideox.md以及 DDPO 强化学习训练docs/source/en/training/ddpo.md等进阶示例同时还有由社区维护的 examples/community 与 examples/research_projects 目录供进阶场景参考。环境准备从源码安装与依赖安装为保证训练脚本与最新代码保持同步官方建议在全新的虚拟环境中从源码安装 diffusersgit clone https://github.com/huggingface/diffusers cd diffusers pip install .随后进入对应训练脚本目录安装其requirements.txt。部分脚本针对 SDXL 或 LoRA 提供了专属依赖文件使用对应功能时必须一并安装。以 DreamBooth 为例cd examples/dreambooth pip install -r requirements.txt # 使用 DreamBooth 训练 SDXL 时还需安装 pip install -r requirements_sdxl.txt以 examples/dreambooth/requirements.txt 的实际内容为参照其核心依赖包括accelerate0.16.0分布式训练框架、torchvision、transformers4.25.1文本编码器、ftfy、tensorboard日志可视化、Jinja2与固定版本的peft0.7.0LoRA 训练依赖。注意不同任务的 requirements 版本策略并不一致text-to-image 使用peft0.17.0而 dreambooth 固定为peft0.7.0混用不同示例前应仔细核对各自的依赖文件避免版本冲突。提示训练脚本入口均调用check_min_version如 train_text_to_image.py 中校验0.41.0.dev0若本地 diffusers 版本过低会直接报错这同样是从源码安装以保持最新的原因之一。训练加速与显存优化官方在训练总览中给出了两条明确的加速建议均无需改动训练代码使用 PyTorch 2.0 自动启用 SDPAPyTorch 2.0 及以上版本会自动启用 Scaled Dot Product AttentionSDPA。SDPA 在底层集成了 FlashAttention、xFormers 以及原生 C 实现等多种注意力后端并根据硬件自动选择最优后端在训练与推理中同时带来速度提升与显存下降详见 docs/source/en/optimization/fp16.md。升级 PyTorch 后无需对训练代码做任何修改即可受益。安装 xFormers 启用内存高效注意力官方推荐在训练与推理中都使用 xFormers。其注意力模块的优化经官方测试可同时获得更快的速度与更低的内存占用安装方式pip install xformers需要注意两点其一xFormers 的 pip 包要求最新的 PyTorch 版本若使用旧版 PyTorch 需从源码编译安装其二官方在 xformers.md 中记录了 xFormersv0.0.16在部分 GPU 上无法用于微调/DreamBooth 训练的问题遇到时需安装开发版本规避。深入学习路线按任务查阅专项文档docs/source/en/training目录下为每个训练任务提供了更深入的专项指南建议按任务需求交叉阅读数据准备create_dataset.md 讲解如何构造训练数据集本地目录、压缩包、远程文件与多分片等加载方式核心任务unconditional_training.md、text2image.md、text_inversion.md、dreambooth.md、controlnet.md、instructpix2pix.md、kandinsky.md、t2i_adapters.md进阶主题lora.md参数高效微调、sdxl.mdSDXL 训练、adapt_a_model.md将模型适配到新任务、lcm_distill.md蒸馏加速采样、ddpo.md强化学习训练、distributed_inference.md分布式推断、nemo_automodel.mdNeMo 自动模型训练。结语Diffusers 的训练脚本体系是一套可读、可跑、可改的扩散模型训练入门与实践平台examples目录提供了覆盖主流任务的官方示例docs/source/en/training提供了逐任务的深度指南二者配合即可从理解训练循环出发逐步走上定制自己的扩散模型训练流水线的道路。这些示例由官方主动维护若你在使用中发现问题欢迎在仓库中提交 Issue若希望新增某个训练示例官方也鼓励通过 Feature Request 讨论其是否符合自包含、易修改、新手友好、单一用途四项入选标准。【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Diffusers 官方训练脚本全景指南从零训练你自己的扩散模型【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers Diffusers 不仅在推理侧提供了开箱即用的 Pipeline还在examples目录下沉淀了一套完整、可直接运行的训练脚本集合覆盖无条件图像生成、文生图text-to-image、DreamBooth、ControlNet、文本反演Textual Inversion等主流扩散模型训练任务。本文以官方训练总览文档 overview.md 为核心骨架结合当前仓库中的真实源码与配置系统讲解训练脚本的设计原则、任务覆盖范围、环境安装步骤与训练加速手段帮助你快速定位适合自己任务的训练入口并具备在此基础上二次开发的能力。训练脚本的设计哲学四个原则官方训练脚本遵循四个明确的工程原则详见 examples/README.md理解它们有助于判断某个脚本是否适合直接使用、以及需要如何改造自包含Self-contained训练脚本不依赖任何仓库内的本地文件所有第三方依赖全部通过requirements.txt声明并安装。以 text_to_image/requirements.txt 为例它明确列出了accelerate0.16.0、torchvision、transformers4.25.1、datasets2.19.1、ftfy、tensorboard、Jinja2、peft0.17.0等包——把脚本单独拷贝出来配合这份依赖清单即可运行。易修改Easy-to-tweak官方明确声明脚本是示例而非万能模板不会开箱即用地适配每一种训练场景。为此数据预处理代码和完整训练循环都被完全暴露在脚本中例如 train_text_to_image.py 中从数据集加载、图像变换到前向传播与损失计算的完整逻辑均可直接编辑方便你按自己的数据集和任务改造。新手友好Beginner-friendly训练脚本追求容易读懂优先保证可理解性而非引入最新 SOTA 方法。刻意省略了过于复杂的高级训练技巧作为理解扩散模型训练机制和上手 diffusers 的桥梁。单一用途Single-purpose每个脚本只演示一个任务。即使某些任务在模型层面高度相似例如图像超分与图像编辑共用同一类 UNet 结构官方也坚持一脚本一任务以保证代码可读性。从源码结构看这一原则贯穿始终examples下每个目录对应一个训练任务且每个目录都自带requirements.txt部分任务还有针对 SDXL、LoRA 或特定模型如 FLUX的专属依赖文件如 examples/dreambooth/requirements_sdxl.txt、examples/controlnet/requirements_flux.txt印证了自包含与按任务拆分的工程约束。官方训练脚本全景下表是官方当前维护的训练脚本清单对应原文档核心表格已将链接映射到本仓库路径并补充了 SDXL 与 LoRA 支持情况训练任务SDXL 支持LoRA 支持仓库路径无条件图像生成Unconditional Image Generation——examples/unconditional_image_generation文生图微调Text-to-Imageexamples/text_to_image文本反演Textual Inversion——examples/textual_inversionDreamBoothexamples/dreamboothControlNet—examples/controlnetInstructPix2Pix—examples/instruct_pix2pixCustom Diffusion——examples/custom_diffusionT2I-Adapter—examples/t2i_adapterKandinsky 2.2 文生图—examples/kandinsky2_2/text_to_image逐个拆解每个脚本解决什么问题无条件图像生成train_unconditional.py 是最基础的自监督训练示例使用UNet2DModelDDPMScheduler从零训练 DDPM 模型不依赖任何文本条件适合理解扩散模型前向加噪、反向去噪的核心训练循环也是上手训练脚本的首选入口。文生图微调train_text_to_image.py 在 Stable Diffusion 之上微调 UNet支持使用--dataset_name指定 Hugging Face Hub 数据集脚本内置了lambdalabs/naruto-blip-captions的字段映射也支持本地数据目录。训练完成后脚本会自动生成模型卡片并推送到 Hub。文本反演Textual Inversiontextual_inversion.py 只训练新增的文本嵌入向量不更新 UNet 与 VAE教会模型认识一个新的概念 token用于个性化生成。DreamBoothexamples/dreambooth 目录下提供train_dreambooth.py与train_dreambooth_lora.py等脚本用少量主题图片微调扩散模型并配套 SDXL、SD3、FLUX 等多个模型的专属训练脚本与需求文件是当前仓库中覆盖模型最广的训练任务之一。ControlNettrain_controlnet.py 在基础扩散模型之上训练 ControlNet 分支让生成过程受边缘、深度、姿态等条件控制另见 docs/source/en/training/controlnet.md。InstructPix2Pixtrain_instruct_pix2pix.py 训练指令式图像编辑模型用自然语言指令对图像进行局部修改。Custom Diffusiontrain_custom_diffusion.py 通过联合微调 UNet 与文本编码器实现多概念个性化详见 docs/source/en/training/custom_diffusion.md。T2I-Adaptertrain_t2i_adapter_sdxl.py 训练轻量级 T2I-Adapter 适配器将额外条件注入生成过程详见 docs/source/en/training/t2i_adapters.md。Kandinsky 2.2examples/kandinsky2_2/text_to_image 提供多语言文生图模型 Kandinsky 2.2 的 LoRA 微调脚本。需要说明的是当前仓库的examples目录远比上表更丰富还包含 LoRAdocs/source/en/training/lora.md、SDXLdocs/source/en/training/sdxl.md、Latent Consistency Distillationdocs/source/en/training/lcm_distill.md、视频模型 CogVideoXdocs/source/en/training/cogvideox.md以及 DDPO 强化学习训练docs/source/en/training/ddpo.md等进阶示例同时还有由社区维护的 examples/community 与 examples/research_projects 目录供进阶场景参考。环境准备从源码安装与依赖安装为保证训练脚本与最新代码保持同步官方建议在全新的虚拟环境中从源码安装 diffusersgit clone https://github.com/huggingface/diffusers cd diffusers pip install .随后进入对应训练脚本目录安装其requirements.txt。部分脚本针对 SDXL 或 LoRA 提供了专属依赖文件使用对应功能时必须一并安装。以 DreamBooth 为例cd examples/dreambooth pip install -r requirements.txt # 使用 DreamBooth 训练 SDXL 时还需安装 pip install -r requirements_sdxl.txt以 examples/dreambooth/requirements.txt 的实际内容为参照其核心依赖包括accelerate0.16.0分布式训练框架、torchvision、transformers4.25.1文本编码器、ftfy、tensorboard日志可视化、Jinja2与固定版本的peft0.7.0LoRA 训练依赖。注意不同任务的 requirements 版本策略并不一致text-to-image 使用peft0.17.0而 dreambooth 固定为peft0.7.0混用不同示例前应仔细核对各自的依赖文件避免版本冲突。提示训练脚本入口均调用check_min_version如 train_text_to_image.py 中校验0.41.0.dev0若本地 diffusers 版本过低会直接报错这同样是从源码安装以保持最新的原因之一。训练加速与显存优化官方在训练总览中给出了两条明确的加速建议均无需改动训练代码使用 PyTorch 2.0 自动启用 SDPAPyTorch 2.0 及以上版本会自动启用 Scaled Dot Product AttentionSDPA。SDPA 在底层集成了 FlashAttention、xFormers 以及原生 C 实现等多种注意力后端并根据硬件自动选择最优后端在训练与推理中同时带来速度提升与显存下降详见 docs/source/en/optimization/fp16.md。升级 PyTorch 后无需对训练代码做任何修改即可受益。安装 xFormers 启用内存高效注意力官方推荐在训练与推理中都使用 xFormers。其注意力模块的优化经官方测试可同时获得更快的速度与更低的内存占用安装方式pip install xformers需要注意两点其一xFormers 的 pip 包要求最新的 PyTorch 版本若使用旧版 PyTorch 需从源码编译安装其二官方在 xformers.md 中记录了 xFormersv0.0.16在部分 GPU 上无法用于微调/DreamBooth 训练的问题遇到时需安装开发版本规避。深入学习路线按任务查阅专项文档docs/source/en/training目录下为每个训练任务提供了更深入的专项指南建议按任务需求交叉阅读数据准备create_dataset.md 讲解如何构造训练数据集本地目录、压缩包、远程文件与多分片等加载方式核心任务unconditional_training.md、text2image.md、text_inversion.md、dreambooth.md、controlnet.md、instructpix2pix.md、kandinsky.md、t2i_adapters.md进阶主题lora.md参数高效微调、sdxl.mdSDXL 训练、adapt_a_model.md将模型适配到新任务、lcm_distill.md蒸馏加速采样、ddpo.md强化学习训练、distributed_inference.md分布式推断、nemo_automodel.mdNeMo 自动模型训练。结语Diffusers 的训练脚本体系是一套可读、可跑、可改的扩散模型训练入门与实践平台examples目录提供了覆盖主流任务的官方示例docs/source/en/training提供了逐任务的深度指南二者配合即可从理解训练循环出发逐步走上定制自己的扩散模型训练流水线的道路。这些示例由官方主动维护若你在使用中发现问题欢迎在仓库中提交 Issue若希望新增某个训练示例官方也鼓励通过 Feature Request 讨论其是否符合自包含、易修改、新手友好、单一用途四项入选标准。【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
