如何用DiffusionKit在Mac上实现本地AI绘图？从安装到出图的完整指南

如何用DiffusionKit在Mac上实现本地AI绘图从安装到出图的完整指南【免费下载链接】DiffusionKitOn-device Image Generation for Apple Silicon项目地址: https://gitcode.com/gh_mirrors/di/DiffusionKitDiffusionKit是一款专为Apple Silicon设计的本地AI绘图工具通过Core ML和MLX技术让你在Mac上轻松运行Stable Diffusion和FLUX等扩散模型实现高效的本地图片生成。无需依赖云端服务保护隐私的同时享受流畅的AI创作体验。图DiffusionKit支持SD3、Core ML和MLX技术为Apple Silicon设备提供强大的本地AI绘图能力准备工作系统与环境要求要在Mac上使用DiffusionKit进行本地AI绘图你的设备需要满足以下条件搭载Apple Silicon芯片的MacM1及以上机型macOS系统建议13.0或更高版本至少8GB内存推荐16GB以上以获得更流畅体验Python 3.11环境快速安装3步完成DiffusionKit配置第一步克隆项目仓库打开终端执行以下命令克隆DiffusionKit项目git clone https://gitcode.com/gh_mirrors/di/DiffusionKit cd DiffusionKit第二步创建并激活Python虚拟环境使用conda创建独立的Python环境避免依赖冲突conda create -n diffusionkit python3.11 -y conda activate diffusionkit第三步安装DiffusionKit及其依赖通过pip安装项目核心依赖包括mlx、transformers和pillow等pip install -e .依赖文件requirements.txt包含了所有必要的Python库获取Hugging Face访问权限使用Stable Diffusion 3和FLUX.1-dev等模型需要接受相应的许可协议并获取Hugging Face访问令牌访问Stable Diffusion 3模型页面并接受许可访问FLUX.1-dev模型页面并接受许可在终端中登录Hugging Facehuggingface-cli login --token YOUR_HF_HUB_TOKEN[!IMPORTANT] 确保你的访问令牌具有读取所有可访问的公共 gated 仓库内容的权限开始绘图两种简单方法方法一使用命令行快速生成图片最简便的图片生成方式是使用DiffusionKit提供的命令行工具diffusionkit-cli --prompt 一只戴着太阳镜的柴犬在海滩上 --output-path beach_shiba.png常用参数说明--seed设置随机种子确保结果可重现--image-path指定输入图片路径实现图生图功能--denoise控制去噪强度0.0-1.0值越高创意性越强--height和--width设置输出图片分辨率--local-ckpt使用本地模型文件例如--local-ckpt ~/models/sd3_medium.safetensors要查看所有可用参数可执行diffusionkit-cli -h方法二通过Python代码实现高级控制对于更复杂的需求可以使用Python代码调用DiffusionKit的APIStable Diffusion 3示例from diffusionkit.mlx import DiffusionPipeline pipeline DiffusionPipeline( shift3.0, use_t5False, model_versionargmaxinc/mlx-stable-diffusion-3-medium, low_memory_modeTrue, a16True, w16True, ) image, _ pipeline.generate_image( 一只戴着太阳镜的柴犬在海滩上, cfg_weight5.0, num_steps50, latent_size(64, 64), # 对应512x512输出分辨率 ) image.save(beach_shiba.png)FLUX模型示例from diffusionkit.mlx import FluxPipeline pipeline FluxPipeline( shift1.0, model_versionargmaxinc/mlx-FLUX.1-schnell, low_memory_modeTrue, a16True, w16True, ) image, _ pipeline.generate_image( 一只戴着太阳镜的柴犬在海滩上, cfg_weight0.0, num_steps4, # FLUX.1-schnell仅需4步即可生成高质量图片 latent_size(64, 64), ) image.save(beach_shiba_flux.png)源码路径python/src/diffusionkit/mlx/scripts/generate_images.py模型转换将PyTorch模型转为Core ML格式如果需要在Swift应用中使用模型可将PyTorch模型转换为Core ML格式转换MMDiT模型python -m python.src.diffusionkit.tests.torch2coreml.test_mmdit \ --sd3-ckpt-path stabilityai/stable-diffusion-3-medium \ --model-version 2b \ -o ./coreml-models \ --latent-size 64转换VAE Decoder模型python -m python.src.diffusionkit.tests.torch2coreml.test_vae \ --sd3-ckpt-path stabilityai/stable-diffusion-3-medium \ -o ./coreml-models \ --latent-size 64测试代码路径python/src/diffusionkit/tests/torch2coreml/常见问题解决内存不足问题如果遇到内存不足错误可尝试启用低内存模式--low-memory降低图片分辨率使用较小的--height和--width值减少推理步数--num-steps设为较小值模型下载缓慢确保网络连接稳定使用--local-ckpt参数直接使用本地已下载的模型文件生成结果不理想调整提示词使其更具体使用--seed尝试不同的随机种子调整--cfg-weight控制提示词的影响强度值越高越遵循提示词总结DiffusionKit为Apple Silicon用户提供了强大而便捷的本地AI绘图解决方案通过MLX和Core ML技术让Mac用户也能轻松体验高质量的AI图像生成。无论是通过简单的命令行工具还是灵活的Python API都能满足从快速出图到高级定制的各种需求。现在就开始你的本地AI创作之旅吧【免费下载链接】DiffusionKitOn-device Image Generation for Apple Silicon项目地址: https://gitcode.com/gh_mirrors/di/DiffusionKit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考