Pixal3D单图生成3D概览一文读懂SIGGRAPH 2026论文一张图片如何变成高质量PBR 3D资产【免费下载链接】Pixal3D[SIGGRAPH 2026] Pixal3D: Pixel-Aligned 3D Generation from Images项目地址: https://gitcode.com/gh_mirrors/pi/Pixal3DPixal3D 是清华与腾讯 ARC Lab 联合出品、被 SIGGRAPH 2026 收录的单图生成 3D 项目它接收一张普通图片通过像素级投影对齐Pixel-Aligned技术生成带完整 PBR 材质基础色、金属度、粗糙度的高质量 3D 网格资产输出可直接导入游戏引擎或用于 3D 打印的 GLB 文件。Pixal3D 单图生成 3D 的核心原理像素级对齐先说结论Pixal3D 与早期图片转 3D方法的根本区别在于它不再把图像特征松散地塞进注意力机制而是显式地把每个像素的特征反投影back-projection到 3D 空间建立严格的像素 ↔ 3D 点对应关系。通俗理解输入一张 2D 图片照片、插画、概念设计图均可对齐用相机参数把图像上的像素特征抬升到 3D 体素上哪个 3D 点该长什么样由图片上对应像素直接决定输出几何细节丰富、材质真实的 3D 资产保真度接近重建级别这套像素对齐的条件注入实现位于 image_conditioned_proj.py图像特征提取与 3D 投影条件构建都在其中完成。三级联生成分辨率从 32 到 1024 的渐进式 3D 生成Pixal3D 采用三级联cascade架构每一级逐级提升分辨率就像先画草稿、再修细节、最后上色阶段生成目标分辨率递进训练配置① 稀疏结构物体整体占位与轮廓32 → 64ss_flow_img_dit_1_3B_32_bf16_proj_finetune.json② 形状高精度几何表面256 → 512 → 1024slat_flow_img2shape_dit_1_3B_256_bf16_proj_finetune.json③ 纹理PBR 材质贴图256 → 512 → 1024slat_flow_imgshape2tex_dit_1_3B_512_bf16_proj_finetune.json推理时完整的生成流程由 pixal3d_image_to_3d.py 中的Pixal3DImageTo3DPipeline编排先去背景再估计相机然后依次采样稀疏结构 → 形状潜变量低清 → 高清上采样→ 纹理潜变量最后解码为网格。其中形状和纹理阶段还各含低清 → 高清的两段式采样先跑 512 分辨率得到粗略结果解码器将其上采样 4 倍再送入 1024 高清模型精修兼顾质量与显存。相机估计让任意野生照片也能生成 3D像素对齐的前提是知道相机怎么拍的。Pixal3D 的做法非常贴心自动模式调用单目深度估计模型 MoGe-2从照片本身反推出相机视场角与距离见 inference.py 中的get_camera_params_wild_moge因此随手拍的野照片直接可用手动模式通过--manual_fov参数直接指定视场角适合参数已知的场景Pixal3D 快速上手从安装到生成 GLB 的一步一步指南第一步克隆仓库并安装环境git clone https://gitcode.com/gh_mirrors/pi/Pixal3D cd Pixal3D pip install -r requirements.txt此外还需按 README 指引安装natten需匹配本机 CUDA 架构与utils3d两个依赖完整步骤见 README.md。第二步一行命令生成 3D 资产python inference.py --image assets/images/0_img.png --output ./output.glb默认管线分辨率为1536标准模式或1024低显存模式生成的output.glb可直接拖进 Blender、Unity 或网页查看器。显存不够开启低显存模式低显存模式会让模型按需加载、用完即卸载峰值显存从约 18 GB 大幅降低python inference.py --image assets/images/0_img.png --output ./output.glb --low_vram两个实用技巧没有flash_attn时可用ATTN_BACKENDsdpa切换到 PyTorch 内置注意力后端想在本机体验完整交互界面直接运行python app.py即可启动 Gradio Web 演示浏览器中上传图片即可生成Pixal3D 训练全流程数据准备到三阶段微调项目同时开源了完整训练代码与数据工具链适合想复现或继续研究的开发者。数据准备见 data_toolkit/README.md从 ObjaverseXL 等数据集出发依次完成下载 → 网格与 PBR 贴图导出 → 多视角条件图渲染 → 视角对齐的体素化与潜变量编码核心脚本包括 build_metadata.py、dump_pbr.py、encode_pbr_latent.py 等。三阶段训练统一通过 train.py 驱动每一级都从低分辨率起步、逐级微调至更高分辨率在配置中设置finetune_ckpt指向上级检查点即可python train.py \ --config configs/gen/ss_flow_img_dit_1_3B_32_bf16_proj_finetune.json \ --output_dir results/ss_32 \ --data_dir {ObjaverseXL_sketchfab: {...}}三个阶段的关键点全部使用像素对齐投影条件与视角对齐潜变量默认 2 视角纹理阶段额外需要pbr_latent数据。写在最后Pixal3D 用像素级投影对齐这一思路把单图生成 3D 的保真度推到了接近重建的水平——几何不再大概其材质也不再是简单贴一张图。无论你是想快速出图的游戏/美术从业者还是想训练自己的 3D 生成模型的研究者这个开源仓库都提供了从推理到训练的完整工具链。许可协议MIT详见 LICENSE第三方依赖见 NOTICE项目基于 Trellis.2 与 Direct3D-S2 构建main分支为 Trellis.2 增强的最新版paper分支对应 SIGGRAPH 2026 论文原始结果祝玩得开心第一张图就生成出令人惊喜的 3D 资产【免费下载链接】Pixal3D[SIGGRAPH 2026] Pixal3D: Pixel-Aligned 3D Generation from Images项目地址: https://gitcode.com/gh_mirrors/pi/Pixal3D创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Pixal3D单图生成3D概览一文读懂SIGGRAPH 2026论文一张图片如何变成高质量PBR 3D资产【免费下载链接】Pixal3D[SIGGRAPH 2026] Pixal3D: Pixel-Aligned 3D Generation from Images项目地址: https://gitcode.com/gh_mirrors/pi/Pixal3DPixal3D 是清华与腾讯 ARC Lab 联合出品、被 SIGGRAPH 2026 收录的单图生成 3D 项目它接收一张普通图片通过像素级投影对齐Pixel-Aligned技术生成带完整 PBR 材质基础色、金属度、粗糙度的高质量 3D 网格资产输出可直接导入游戏引擎或用于 3D 打印的 GLB 文件。Pixal3D 单图生成 3D 的核心原理像素级对齐先说结论Pixal3D 与早期图片转 3D方法的根本区别在于它不再把图像特征松散地塞进注意力机制而是显式地把每个像素的特征反投影back-projection到 3D 空间建立严格的像素 ↔ 3D 点对应关系。通俗理解输入一张 2D 图片照片、插画、概念设计图均可对齐用相机参数把图像上的像素特征抬升到 3D 体素上哪个 3D 点该长什么样由图片上对应像素直接决定输出几何细节丰富、材质真实的 3D 资产保真度接近重建级别这套像素对齐的条件注入实现位于 image_conditioned_proj.py图像特征提取与 3D 投影条件构建都在其中完成。三级联生成分辨率从 32 到 1024 的渐进式 3D 生成Pixal3D 采用三级联cascade架构每一级逐级提升分辨率就像先画草稿、再修细节、最后上色阶段生成目标分辨率递进训练配置① 稀疏结构物体整体占位与轮廓32 → 64ss_flow_img_dit_1_3B_32_bf16_proj_finetune.json② 形状高精度几何表面256 → 512 → 1024slat_flow_img2shape_dit_1_3B_256_bf16_proj_finetune.json③ 纹理PBR 材质贴图256 → 512 → 1024slat_flow_imgshape2tex_dit_1_3B_512_bf16_proj_finetune.json推理时完整的生成流程由 pixal3d_image_to_3d.py 中的Pixal3DImageTo3DPipeline编排先去背景再估计相机然后依次采样稀疏结构 → 形状潜变量低清 → 高清上采样→ 纹理潜变量最后解码为网格。其中形状和纹理阶段还各含低清 → 高清的两段式采样先跑 512 分辨率得到粗略结果解码器将其上采样 4 倍再送入 1024 高清模型精修兼顾质量与显存。相机估计让任意野生照片也能生成 3D像素对齐的前提是知道相机怎么拍的。Pixal3D 的做法非常贴心自动模式调用单目深度估计模型 MoGe-2从照片本身反推出相机视场角与距离见 inference.py 中的get_camera_params_wild_moge因此随手拍的野照片直接可用手动模式通过--manual_fov参数直接指定视场角适合参数已知的场景Pixal3D 快速上手从安装到生成 GLB 的一步一步指南第一步克隆仓库并安装环境git clone https://gitcode.com/gh_mirrors/pi/Pixal3D cd Pixal3D pip install -r requirements.txt此外还需按 README 指引安装natten需匹配本机 CUDA 架构与utils3d两个依赖完整步骤见 README.md。第二步一行命令生成 3D 资产python inference.py --image assets/images/0_img.png --output ./output.glb默认管线分辨率为1536标准模式或1024低显存模式生成的output.glb可直接拖进 Blender、Unity 或网页查看器。显存不够开启低显存模式低显存模式会让模型按需加载、用完即卸载峰值显存从约 18 GB 大幅降低python inference.py --image assets/images/0_img.png --output ./output.glb --low_vram两个实用技巧没有flash_attn时可用ATTN_BACKENDsdpa切换到 PyTorch 内置注意力后端想在本机体验完整交互界面直接运行python app.py即可启动 Gradio Web 演示浏览器中上传图片即可生成Pixal3D 训练全流程数据准备到三阶段微调项目同时开源了完整训练代码与数据工具链适合想复现或继续研究的开发者。数据准备见 data_toolkit/README.md从 ObjaverseXL 等数据集出发依次完成下载 → 网格与 PBR 贴图导出 → 多视角条件图渲染 → 视角对齐的体素化与潜变量编码核心脚本包括 build_metadata.py、dump_pbr.py、encode_pbr_latent.py 等。三阶段训练统一通过 train.py 驱动每一级都从低分辨率起步、逐级微调至更高分辨率在配置中设置finetune_ckpt指向上级检查点即可python train.py \ --config configs/gen/ss_flow_img_dit_1_3B_32_bf16_proj_finetune.json \ --output_dir results/ss_32 \ --data_dir {ObjaverseXL_sketchfab: {...}}三个阶段的关键点全部使用像素对齐投影条件与视角对齐潜变量默认 2 视角纹理阶段额外需要pbr_latent数据。写在最后Pixal3D 用像素级投影对齐这一思路把单图生成 3D 的保真度推到了接近重建的水平——几何不再大概其材质也不再是简单贴一张图。无论你是想快速出图的游戏/美术从业者还是想训练自己的 3D 生成模型的研究者这个开源仓库都提供了从推理到训练的完整工具链。许可协议MIT详见 LICENSE第三方依赖见 NOTICE项目基于 Trellis.2 与 Direct3D-S2 构建main分支为 Trellis.2 增强的最新版paper分支对应 SIGGRAPH 2026 论文原始结果祝玩得开心第一张图就生成出令人惊喜的 3D 资产【免费下载链接】Pixal3D[SIGGRAPH 2026] Pixal3D: Pixel-Aligned 3D Generation from Images项目地址: https://gitcode.com/gh_mirrors/pi/Pixal3D创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
