Stability Generative Models 快速上手：3 条命令跑通 4D 视频生成

Stability Generative Models 快速上手3 条命令跑通 4D 视频生成【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-modelsStability AI Generative Models 是 Stability AI 的开源 AI 生成模型框架支持文本到图像、图像到视频、单图到多视角、视频到 4D 生成四类任务。有 GPU、会用基础 CLI 命令就能上手。 30 秒看懂Stability Generative Models 是什么你能拿到一个配置驱动的生成模型工具集所有模型都由 YAML 配置和子模块拼出来换条件器、换采样器、换引导策略只改配置。仓库里自带四组可直接运行的模型脚本和演示界面。核心功能适用场景上手难度文本到图像生成用 SDXL-Turbo 出概念图低图像到视频生成用 SVD 让单张图动起来中单图到 3D 多视角用 SV3D 生成商品环绕视频中视频到 4D 生成用 SV4D 2.0 出新视角视频高⚡ 快速上手3 条命令跑通 4D 视频生成全程只需要 3 个关键命令克隆仓库、下载权重、运行推理脚本。完成后你能用仓库自带样例视频生成一段 48 帧的 4D 视频。第 1 步准备环境。官方环境基于 Python 3.10 和 PyTorch 2.0CUDA 11.8 轮子测试其他 Python 版本可能出现依赖冲突。如果你还要自己训练模型再额外安装 sdata 依赖。git clone https://gitcode.com/GitHub_Trending/ge/generative-models cd generative-models python3.10 -m venv .generativemodels source .generativemodels/bin/activate pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip3 install -r requirements/pt2.txt pip3 install .第 2 步下载权重并运行推理。SV4D 2.0 以 12 帧视频为输入一次生成 48 帧 576x576 的新视角视频12 帧 x 4 个机位视角。huggingface-cli download stabilityai/sv4d2.0 sv4d2.safetensors --local-dir checkpoints python scripts/sampling/simple_video_sample_4d2.py --input_path assets/sv4d_videos/camel.gif --output_folder outputs结果写入outputs/目录。input_path可以是 gif/mp4 文件、一个帧图片文件夹或匹配帧图片的文件名模式。 核心功能逐个说SDXL-Turbo 文生图一步采样适合实时场景文字提示词经过一步采样就出图Streamlit 页面里可以边打字边看结果。运行streamlit run scripts/demo/turbo.py。跑之前把 SDXL-Turbo 权重放进checkpoints/目录并先执行pip install streamlit-keyup。TipSDXL-Turbo 是项目里唯一面向纯文本输入的系列需要快速迭代想法时先用它。适用场景批量出概念艺术、设计素材验证视觉方案。SVD 图像到视频让一张图动起来SVD 以一张 576x1024 的图为输入生成 14 帧视频微调版 SVD-XT 生成 25 帧。运行streamlit run scripts/demo/video_sampling.py也可以用社区 Gradio 界面python -m scripts.demo.gradio_app。TipSVD-XT 帧数多、出图更慢只需要短片段时选 SVD。适用场景把商品照片或插画变成动态演示视频。SV3D 单图到 3D 多视角可指定相机轨道路径以一张 576x576 的图为输入白色背景、单一物体效果最好生成 21 帧环绕视频。SV3D_u 自动环绕SV3D_p 可以给定 21 个俯仰角和方位角精确控制相机路径。运行python scripts/sampling/simple_video_sample.py --input_path image.png --version sv3d_u。Tip用 SV3D_p 时加--elevations_deg 10.0生成固定俯仰角的静态轨道给--elevations_deg和--azimuths_deg各传 21 个角度就得到动态轨道。适用场景从单张商品图生成多视角素材加速 3D 建模。SV4D / SV4D 2.0 视频到 4D合成新视角视频给一段短视频它能生成新相机视角下的同一内容。SV4D 2.0 输入 12 帧一次生成 12 帧 x 4 视角并自回归延长到 21 帧默认采样步数 50。运行python scripts/sampling/simple_video_sample_4d2.py --input_path 你的视频 --output_folder outputs。Tip显存不够时加--encoding_t1 --decoding_t1逐帧编解码或用--img_size512降低分辨率。适用场景动态场景的 4D 重建生成难拍摄视角的视频。⚖️ 选型对照按任务挑模型模型擅长任务输入 → 输出适合谁SDXL-Turbo快速文生图文字提示词 → 图像实时创作、概念图SVD / SVD-XT图像到视频单张图 → 14 / 25 帧视频动画、商品演示SV3D_u / SV3D_p单图到多视角视频单张图 → 21 帧环绕视频3D 资产制作SV4D / SV4D 2.0视频到 4D 生成短视频 → 新视角 4D 视频动态场景重建 优化与常见问题显存不够时怎么调--encoding_t1/--decoding_t1一次只编码/解码 1 帧降低显存峰值适合低显存 GPU 跑 SV4D 系列。--img_size512降低输入分辨率来省显存代价是输出分辨率下降。--num_steps控制采样步数。SV4D 2.0 默认 50调低更快SV4D 默认 20提到 50 质量更好但更慢。--remove_bgTrue纯色背景的视频自动去背景并裁剪帧复杂实景背景建议先用 Clipdrop 或 SAM2 分割前景。问输入视频支持哪些格式答三种单个 gif/mp4 文件、帧图片jpg/jpeg/png文件夹、匹配帧图片的文件名模式。问模型权重统一放哪里答全部放项目根目录的checkpoints/下如sv4d2.safetensors、sv3d_u.safetensors。问训练时多个配置怎么合并答python main.py --base configs/config1.yaml configs/config2.yaml从左到右合并后面的配置覆盖同名键。 进一步深入配置文件与核心源码完整模型说明、文件哈希校验、水印检测脚本README.md训练配置示例MNIST、CIFAR-10、ImageNetconfigs/example_training/扩散核心模块采样器与引导器都在这里sgm/modules/diffusionmodules/只想看效果先跑完「快速上手」两条命令再按任务选脚本想改模型从configs/里的 YAML 配置读起再看sgm/里各子模块怎么拼装。【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考