16 个 AI 生成工作室与双引擎本地推理深度解析【免费下载链接】Open-Generative-AIUnrestricted Open-source alternative to AI video platforms — Free AI image video generation studio with 600 models (Flux, Midjourney, Kling, Sora, Veo). No content filters. Self-hosted, MIT licensed.项目地址: https://gitcode.com/GitHub_Trending/ch/Open-Generative-AIOpen Generative AI 是一个可自托管的 AI 图像/视频生成工作室:聚合 400 模型,不挂内容过滤、不走订阅,云端网关与本地推理共用一套界面。读完这篇,你能拿到三条可复现的启动路径、双引擎本地推理的取舍逻辑,以及五个读源码的入口。差异化定位:不订阅、不过滤、数据留在本地商业平台的套路是订阅费加内容护栏,提示词随时可能被拦截或改写。这个项目把三件事同时做反:无过滤— README 的表述是 no content filters, no prompt rejections, no guardrails,提示词原样进模型;免费开源— MIT 协议,无订阅、无供应商锁定,仓库package.json版本号 2.0.0;自托管— Next.js Web 版或 Electron 桌面版跑在自己机器上,数据不出本机;双推理路径— 默认走 Muapi.ai 模型网关,桌面端还能切换 sd.cpp / Wan2GP 本地引擎,只用本地模型时不需要任何 API Key;可改写— 全部工作室 UI 是packages/studio里的普通 React 组件,加模型、改界面、往上叠产品都直接动源码。技术栈是一个 Next.js monorepo:App Router 做 Web 壳,Vite Electron 做桌面壳,共享packages/studio组件库由 npm workspaces 串起来。有个小出入值得注意:README 写的是 Next.js 14 / React 18,但package.json实际声明的是next^15、react^19、electron^33,以 package.json 为准。README 里那张与商业平台的对比表(成本、过滤、自托管、数据隐私、源码开放)本质上是把上面五条卖点摊开,不再重复。三条路径跑起来:桌面版、Web 版与 Docker桌面版:给只想开箱即用的人README 的下载表列了 macOS(arm64 / Intel)、Windows x64、Linux(AppImage 与 .deb)的预构建安装包,不需要 Node 环境。这条路径唯一的门槛是各平台的系统安全策略,统一放在下文「安装排错」里讲。Web 版:给想改代码的贡献者从源码启动只需四行:git clone --recurse-submodules https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI cd Open-Generative-AI npm run setup npm run dev # 桌面开发则用 npm run electron:devnpm run setup做了三件事:补拉子模块、npm install、构建四个 workspace 子包(workflow-builder、agents、design-agent、studio)。⚠️ 最高频的坑是克隆时漏掉--recurse-submodules——子包为空时next dev会报Couldnt find a pages directory,README 的排错说明就是让你回仓库根目录重跑npm run setup。Docker:给自托管场景仓库根目录有Dockerfile和docker-compose.yml,一条命令起服务:docker compose up -d --buildcompose 配置把宿主 3001 端口映射到容器内 Next.js 的 3000,NODE_ENVproduction运行,unless-stopped自动重启。Dockerfile 是多阶段构建:先只装各 workspace 子包的依赖,再build:packages构建子包、next build构建应用,运行层只带.next、public和node_modules,不含开发依赖。安装排错:三个平台的已知坑集中在这一节macOS:应用未经 Apple 公证,Gatekeeper 首次启动必拦。⚠️ 处理方式是挂载 DMG 拖入/Applications后执行:xattr -cr /Applications/Open Generative AI.app再右键应用选 Open 确认两次,一次即可。不想开终端就走 系统设置 → 隐私与安全性 → Open Anyway。Windows:安装包未做代码签名,SmartScreen 会告警,点 More info → Run anyway;装到%LocalAppData%并生成开始菜单快捷方式。Ubuntu:老系统跑 AppImage 先装libfuse2。 Ubuntu 24.04 启用了apparmor_restrict_unprivileged_userns内核策略,会挡掉 Chromium 的用户命名空间沙箱,表现是应用静默失败或启动即崩。推荐直接装.deb(包内自带 AppArmor profile,安装时自动授权);AppImage 用户可临时sudo sysctl -w kernel.apparmor_restrict_unprivileged_userns0,持久化需写入/etc/sysctl.d/99-userns.conf。能力全景:四大场景与 420 模型壳层组件里挂载了 16 个 Studio(README 称 14 个工作室,壳层的 TABS 数组多出 Motion Control、Layers 等页签),按使用场景归成四类。图像:双模式自动切换,一次传 14 张参考图Image Studio 根据是否上传参考图自动换模型集:不传图走 50 文生图模型(Flux、Nano Banana 2、Seedream 5.0、Ideogram、Midjourney、GPT-4o),传了图切到 55 图生图模型(Kontext、Seedream 5.0 Edit、Upscaler)。选中支持多参考图的模型后,上传入口变成多选模式:带顺序编号的复选框决定图片传给模型的次序,批量上传,计数徽标,Use Selected确认——上限最高的 Nano Banana 2 Edit 可收 14 张。同类的还有:Cinema Studio— 把虚拟相机参数翻译成提示词修饰符,相机 6 款、镜头 11 款、焦距 8mm 到 85mm 六档、光圈 f/1.4 / f/4 / f/11;Layers Studio、Design Agent— 分层编辑与画布式自主设计;AI Influencer— 固定人设的虚拟网红内容;Upload History— 参考图上传一次,缩略图存localStorage,跨会话复用;Smart Controls— 宽高比、分辨率、时长选择器随模型能力动态显隐。视频:首帧即成片Video Studio 沿用同一套双模式:默认 40 文生视频模型(Kling、Sora 2、Veo 3、Wan、Seedance 2.0、Hailuo、Runway),上传首帧切到 60 图生视频模型。近期模型值得记住的参数:Seedance 2.0支持 16:9 / 9:16 / 4:3 / 3:4 与 5/10/15 秒三档时长,I2V 变体最多 9 张参考图,Extend 变体能在保留风格、运动与音频的前提下无缝续接;Grok Imagine提供 fun / normal / spicy 三档模式;Hailuo 02 / 2.3全高清并带快速变体。周边工作室各管一段:AI Clipping— 长视频自动剪辑、抽高光;Vibe Motion / Motion Control— 风格化动效与运镜控制;Body Swap (Recast)— 图像或视频里的主体换外观,3 个模型。音频:从文字到会说话的人Audio Studio 做文本驱动的音乐/音频生成与编辑。Lip Sync 单独占一个工作室,9 个模型分两种输入模式:Portrait Image 模式传人像 音频,出动画说话视频(Infinite Talk、Wan 2.2 Speech to Video、LTX 2.3 / 2 19B Lipsync,480p 到 1080p 不等);Video 模式传既有视频 音频,出唇形同步视频(Sync、LatentSync、Creatify、Veed、Infinite Talk V2V)。生成历史独立存在lipsync_history,页面刷新后挂起任务自动恢复。自动化:把生成流程变成流水线Workflow Studio 用节点式可视化编辑器把图像、视频、音频模型串成多步流水线:预置模板起步、我的工作流 保存、社区共享、Playground 表单交互运行,每个工作流同时可通过 Muapi API 接口调用,底层引擎是仓库内子模块 Vibe-Workflow。同组还有:Agent Studio— 多轮对话式创意代理,自己规划并执行生成任务;Design Agent Studio— 画布上的自主设计代理;Explore Apps— 基于同一模型目录的应用模板目录;Marketing Studio— 单一输入产出营销创意变体。模型目录以packages/studio/src/models.js为单一事实来源,README 称 400 模型,正文分类表合计 420(另有 Marketing、Agent、Design Agent 工作室透出的额外模型):类别数量代表模型文生图70Flux Dev、Nano Banana 2、Seedream 5.0、Midjourney v7图生图70Nano Banana 2 Edit(14 图)、Flux Kontext Pro、Seededit v3文生视频85Kling v3、Sora 2、Veo 3、Seedance 2.0、Hailuo 2.3图生视频120Kling v2.1 I2V、Veo3 I2V、Runway I2V、Hunyuan I2V视频编辑35AI Clipping、Vibe Motion、视频特效唇形同步15Infinite Talk、Wan 2.2 Speech、LTX 2.3 Lipsync主体重铸3图像/视频 Recast音频15文生音乐、remix、音频编辑拆开看机制:本地推理、两步轮询与密钥边界为什么本地推理要拆成两个引擎约束很直接:Wan2GP 的运行时(Sage attention、flash-attn、AWQ/GGUF 内核)只支持 CUDA,没有 MPS / Apple Silicon 路径;而视频模型恰恰都长在 Wan2GP 这一侧。于是拆成两条互不干扰的线,共享同一个Settings → Local Models界面:sd.cpp(内置)— stable-diffusion.cpp 的 C 引擎,与应用同机运行,Apple Silicon 走 Metal,Linux/Windows 支持 CUDA/Vulkan/ROCm,管图像模型;Wan2GP(自带服务器)— 桌面端只是 HTTP 客户端,真正的 Python PyTorch 跑在你自建的 CUDA/ROCm GPU 机器上,管视频模型(Wan 2.2、Hunyuan、LTX)与大型图像模型(Flux、Qwen-Image)。Mac 用户因此可以保留桌面 UI,把推理卸载到局域网里的 Linux/Windows 机器、游戏主机或租用的 GPU 实例。注意:本地推理只在桌面版存在,托管 Web 版始终走云端 API。引擎一:sd.cpp,内置图像推理模型清单在 electron/lib/modelCatalog.js 的LOCAL_MODEL_CATALOG中,全部要求公开可下载、无需鉴权:模型类型体积默认行为Z-Image TurboDiffusion Transformer2.5 GB 2.7 GB 辅助8 步 turbo,euler/simpleZ-Image BaseDiffusion Transformer3.5 GB 2.7 GB 辅助50 步高质量Dreamshaper 8SD 1.52.1 GB20 步,euler_aRealistic Vision v5.1SD 1.52.1 GB25 步写实Anything v5SD 1.52.1 GB20 步动漫SDXL Base 1.0SDXL6.9 GB30 步,dpmpp2m两个 Z-Image 模型共享一组辅助文件,源码里由ZIMAGE_AUXILIARY常量定义:Qwen3-4B 文本编码器(GGUF,2.4 GB)加 FLUX VAE(335 MB),只下载一次。数据默认落在 Electron 应用数据目录的local-ai下(macOS 为~/Library/Application Support/open-generative-ai/local-ai,Linux 为~/.config/...),自动建bin/、models/、tmp/三个子目录;想把权重挪盘,启动前设OPEN_GENERATIVE_AI_LOCAL_AI_DIR即可。⚠️ 硬件上有一条硬警告:Z-Image 建议 16 GB 内存,8 GB 的入门 M 系列 Mac 上已知会导致系统挂起,应改用 SD 1.5。想绕过 UI 验证安装,可以直接驱动应用实际调用的sd-cli二进制:DYLD_LIBRARY_PATH$APP_DATA/bin $APP_DATA/bin/sd-cli \ -m $APP_DATA/models/DreamShaper_8_pruned.safetensors \ -p a serene mountain lake, oil painting -o /tmp/t.png \ --steps 12 -H 512 -W 512 --cfg-scale 7.5 --sampling-method euler_a这是对已下载的 Dreamshaper 8 跑一次 512×512、12 步推理。健康的 Apple Silicon 运行会打印VRAM 1969.78MB(Metal 后端);若 VRAM 为 0,说明 dylib 回退到 CPU 版,重装引擎即可。引擎二:Wan2GP,远程 Gradio 服务器桌面端不内置 Wan2GP 的 Python 运行时与权重。在 GPU 机器上装好并监听所有网卡:python wgp.py --listen --server-name 0.0.0.0然后把 URL(如http://192.168.1.42:7860)粘进Settings → Local Models → Wan2GP server,Test 再 Save。仓库不替你克隆 Wan2GP,地址在 README 本地推理一节中给出。模型清单在 electron/lib/ 的wan2gpProvider.js里,由WAN2GP_CATALOG定义:模型类型备注Flux.1 Dev图像1024px,28 步Qwen Image图像1024px,30 步Wan 2.2(T2V / I2V)视频消费级 GPU 上较慢Hunyuan Video视频高质量 T2VLTX Video视频最快的视频选项一个工程细节:Wan2GP 不同版本会重命名 Gradio 的api_name,Pinokio 打包版甚至会缺端点,所以连接时客户端会拉服务器/info,用resolveFnNames()把目录条目重映射为服务器实际注册的函数名,fnAliases匹配新旧变体,family做模糊兜底。视频模型目前经同一生成 API 可达,但 Image Studio 会明确拒绝视频输出——完整的 Video Studio 接线在 README 的 roadmap 里,尚未落地。提交-轮询:两步式 API 流程云端路径的所有生成都是同一套两步模式:POST /api/v1/{model-endpoint} # 提交,返回 request_id GET /api/v1/predictions/{request_id}/result # 轮询直到 completed第一段发提示词和参数拿到任务 ID,第二段反复查直到出结果。认证靠x-api-key请求头;文件走POST /api/v1/upload_file(multipart)换回托管 URL 传给条件模型,多图模型则把完整images_list数组一次转发;唇形同步走专门的processLipSync(),接image_url或video_url外加audio_url,同样提交后轮询。自托管时这一步由本地代理完成:app/api/ 下的api/v1/[[...path]]/route.js把/api/api/v1/*转发到https://api.muapi.ai/api/v1/*,转发前cleanHeaders()剥掉host、connection、cookie三个头,源码注释标明 cookie 鉴权已移除(CWE-522 修复)。客户端侧的逻辑在 packages/studio/src/muapi.js:浏览器 http 环境下BASE_URL指向/api走代理绕 CORS,Electron 的file://渲染进程与 SSR 则直连上游;轮询默认间隔 2000ms、最多 900 次。密钥安全边界:只发给网关BYOK 模式的落点是 components/StandaloneShell.js:密钥存localStorage(key 为muapi_key),同时写一个一年有效、SameSiteLax的同名 cookie,用于后台请求身份;退出登录时两者一起清除;Axios 请求拦截器有选择地注入x-api-key:只注入相对路径或内部代理路径(/api/app、/api/workflow、/api/agents、/api/api、/api/v1)的请求,S3 等外部域名拿不到密钥;注入前先delete axios.defaults.headers.common[x-api-key],防止全局默认值泄漏;余额每 30 秒轮询一次getUserBalance。读源码从哪几个文件开始Open-Generative-AI/ ├── app/ # Next.js App Router │ ├── page.js # 根路由 → redirect(/studio) │ └── studio/[[...slug]]/page.js # 渲染壳层,slug 决定激活 Tab ├── components/ │ ├── StandaloneShell.js # Tab 导航 BYOK 请求拦截器 │ └── ApiKeyModal.js # API Key 输入弹窗 ├── packages/ │ ├── studio/ # 共享 React 组件库 │ │ └── src/ │ │ ├── models.js # 400 模型定义(单一事实来源) │ │ ├── muapi.js # 提交-轮询 API 客户端 │ │ └── components/ # 16 个 Studio 组件 │ ├── Vibe-Workflow/ # 工作流引擎(子模块) │ └── Open-Poe-AI/ # Agent 包(子模块) ├── electron/ │ ├── main.js # 桌面主进程 │ └── lib/ # 本地推理:目录、引擎、Wan2GP 客户端 ├── docker-compose.yml └── package.json # workspaces 全部构建脚本五个入口,按阅读顺序:app/page.js— 三行,确认根路由直接redirect(/studio),用户永远落在壳层里;components/StandaloneShell.js— 全文枢纽:TABS 数组定义 16 个页签与分类,API Key 的读写、cookie 同步、拦截器注入、30 秒余额轮询都在这里;packages/studio/src/models.js— 模型目录单一事实来源,托管版与自托管版共用,加模型只改这一处;packages/studio/src/muapi.js—submitAndPoll()是两步式 API 的完整实现,看它就懂了轮询、鉴权失败事件(muapi:auth-required)与结果归一化;electron/lib/—modelCatalog.js是 sd.cpp 模型与采样参数,localInferencePaths.js管数据目录解析,wan2gpProvider.js是 Wan2GP 目录与端点重映射,本地推理的全部事实都能在这几个文件里对账。下一步直接使用:装桌面版,在 Settings → Local Models 里只装 SD 1.5 模型,绕开 API Key 先跑通一次本地出图。集成二开:把packages/studio作为 workspace 依赖引走,模型目录与 16 个 Studio 组件可直接复用。架构研究:先读muapi.js的submitAndPoll与代理路由的cleanHeaders,再对照wan2gpProvider.js的端点重映射,异构引擎接入与第三方 API 安全代理这两课一次看完。【免费下载链接】Open-Generative-AIUnrestricted Open-source alternative to AI video platforms — Free AI image video generation studio with 600 models (Flux, Midjourney, Kling, Sora, Veo). No content filters. Self-hosted, MIT licensed.项目地址: https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
16 个 AI 生成工作室与双引擎本地推理深度解析【免费下载链接】Open-Generative-AIUnrestricted Open-source alternative to AI video platforms — Free AI image video generation studio with 600 models (Flux, Midjourney, Kling, Sora, Veo). No content filters. Self-hosted, MIT licensed.项目地址: https://gitcode.com/GitHub_Trending/ch/Open-Generative-AIOpen Generative AI 是一个可自托管的 AI 图像/视频生成工作室:聚合 400 模型,不挂内容过滤、不走订阅,云端网关与本地推理共用一套界面。读完这篇,你能拿到三条可复现的启动路径、双引擎本地推理的取舍逻辑,以及五个读源码的入口。差异化定位:不订阅、不过滤、数据留在本地商业平台的套路是订阅费加内容护栏,提示词随时可能被拦截或改写。这个项目把三件事同时做反:无过滤— README 的表述是 no content filters, no prompt rejections, no guardrails,提示词原样进模型;免费开源— MIT 协议,无订阅、无供应商锁定,仓库package.json版本号 2.0.0;自托管— Next.js Web 版或 Electron 桌面版跑在自己机器上,数据不出本机;双推理路径— 默认走 Muapi.ai 模型网关,桌面端还能切换 sd.cpp / Wan2GP 本地引擎,只用本地模型时不需要任何 API Key;可改写— 全部工作室 UI 是packages/studio里的普通 React 组件,加模型、改界面、往上叠产品都直接动源码。技术栈是一个 Next.js monorepo:App Router 做 Web 壳,Vite Electron 做桌面壳,共享packages/studio组件库由 npm workspaces 串起来。有个小出入值得注意:README 写的是 Next.js 14 / React 18,但package.json实际声明的是next^15、react^19、electron^33,以 package.json 为准。README 里那张与商业平台的对比表(成本、过滤、自托管、数据隐私、源码开放)本质上是把上面五条卖点摊开,不再重复。三条路径跑起来:桌面版、Web 版与 Docker桌面版:给只想开箱即用的人README 的下载表列了 macOS(arm64 / Intel)、Windows x64、Linux(AppImage 与 .deb)的预构建安装包,不需要 Node 环境。这条路径唯一的门槛是各平台的系统安全策略,统一放在下文「安装排错」里讲。Web 版:给想改代码的贡献者从源码启动只需四行:git clone --recurse-submodules https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI cd Open-Generative-AI npm run setup npm run dev # 桌面开发则用 npm run electron:devnpm run setup做了三件事:补拉子模块、npm install、构建四个 workspace 子包(workflow-builder、agents、design-agent、studio)。⚠️ 最高频的坑是克隆时漏掉--recurse-submodules——子包为空时next dev会报Couldnt find a pages directory,README 的排错说明就是让你回仓库根目录重跑npm run setup。Docker:给自托管场景仓库根目录有Dockerfile和docker-compose.yml,一条命令起服务:docker compose up -d --buildcompose 配置把宿主 3001 端口映射到容器内 Next.js 的 3000,NODE_ENVproduction运行,unless-stopped自动重启。Dockerfile 是多阶段构建:先只装各 workspace 子包的依赖,再build:packages构建子包、next build构建应用,运行层只带.next、public和node_modules,不含开发依赖。安装排错:三个平台的已知坑集中在这一节macOS:应用未经 Apple 公证,Gatekeeper 首次启动必拦。⚠️ 处理方式是挂载 DMG 拖入/Applications后执行:xattr -cr /Applications/Open Generative AI.app再右键应用选 Open 确认两次,一次即可。不想开终端就走 系统设置 → 隐私与安全性 → Open Anyway。Windows:安装包未做代码签名,SmartScreen 会告警,点 More info → Run anyway;装到%LocalAppData%并生成开始菜单快捷方式。Ubuntu:老系统跑 AppImage 先装libfuse2。 Ubuntu 24.04 启用了apparmor_restrict_unprivileged_userns内核策略,会挡掉 Chromium 的用户命名空间沙箱,表现是应用静默失败或启动即崩。推荐直接装.deb(包内自带 AppArmor profile,安装时自动授权);AppImage 用户可临时sudo sysctl -w kernel.apparmor_restrict_unprivileged_userns0,持久化需写入/etc/sysctl.d/99-userns.conf。能力全景:四大场景与 420 模型壳层组件里挂载了 16 个 Studio(README 称 14 个工作室,壳层的 TABS 数组多出 Motion Control、Layers 等页签),按使用场景归成四类。图像:双模式自动切换,一次传 14 张参考图Image Studio 根据是否上传参考图自动换模型集:不传图走 50 文生图模型(Flux、Nano Banana 2、Seedream 5.0、Ideogram、Midjourney、GPT-4o),传了图切到 55 图生图模型(Kontext、Seedream 5.0 Edit、Upscaler)。选中支持多参考图的模型后,上传入口变成多选模式:带顺序编号的复选框决定图片传给模型的次序,批量上传,计数徽标,Use Selected确认——上限最高的 Nano Banana 2 Edit 可收 14 张。同类的还有:Cinema Studio— 把虚拟相机参数翻译成提示词修饰符,相机 6 款、镜头 11 款、焦距 8mm 到 85mm 六档、光圈 f/1.4 / f/4 / f/11;Layers Studio、Design Agent— 分层编辑与画布式自主设计;AI Influencer— 固定人设的虚拟网红内容;Upload History— 参考图上传一次,缩略图存localStorage,跨会话复用;Smart Controls— 宽高比、分辨率、时长选择器随模型能力动态显隐。视频:首帧即成片Video Studio 沿用同一套双模式:默认 40 文生视频模型(Kling、Sora 2、Veo 3、Wan、Seedance 2.0、Hailuo、Runway),上传首帧切到 60 图生视频模型。近期模型值得记住的参数:Seedance 2.0支持 16:9 / 9:16 / 4:3 / 3:4 与 5/10/15 秒三档时长,I2V 变体最多 9 张参考图,Extend 变体能在保留风格、运动与音频的前提下无缝续接;Grok Imagine提供 fun / normal / spicy 三档模式;Hailuo 02 / 2.3全高清并带快速变体。周边工作室各管一段:AI Clipping— 长视频自动剪辑、抽高光;Vibe Motion / Motion Control— 风格化动效与运镜控制;Body Swap (Recast)— 图像或视频里的主体换外观,3 个模型。音频:从文字到会说话的人Audio Studio 做文本驱动的音乐/音频生成与编辑。Lip Sync 单独占一个工作室,9 个模型分两种输入模式:Portrait Image 模式传人像 音频,出动画说话视频(Infinite Talk、Wan 2.2 Speech to Video、LTX 2.3 / 2 19B Lipsync,480p 到 1080p 不等);Video 模式传既有视频 音频,出唇形同步视频(Sync、LatentSync、Creatify、Veed、Infinite Talk V2V)。生成历史独立存在lipsync_history,页面刷新后挂起任务自动恢复。自动化:把生成流程变成流水线Workflow Studio 用节点式可视化编辑器把图像、视频、音频模型串成多步流水线:预置模板起步、我的工作流 保存、社区共享、Playground 表单交互运行,每个工作流同时可通过 Muapi API 接口调用,底层引擎是仓库内子模块 Vibe-Workflow。同组还有:Agent Studio— 多轮对话式创意代理,自己规划并执行生成任务;Design Agent Studio— 画布上的自主设计代理;Explore Apps— 基于同一模型目录的应用模板目录;Marketing Studio— 单一输入产出营销创意变体。模型目录以packages/studio/src/models.js为单一事实来源,README 称 400 模型,正文分类表合计 420(另有 Marketing、Agent、Design Agent 工作室透出的额外模型):类别数量代表模型文生图70Flux Dev、Nano Banana 2、Seedream 5.0、Midjourney v7图生图70Nano Banana 2 Edit(14 图)、Flux Kontext Pro、Seededit v3文生视频85Kling v3、Sora 2、Veo 3、Seedance 2.0、Hailuo 2.3图生视频120Kling v2.1 I2V、Veo3 I2V、Runway I2V、Hunyuan I2V视频编辑35AI Clipping、Vibe Motion、视频特效唇形同步15Infinite Talk、Wan 2.2 Speech、LTX 2.3 Lipsync主体重铸3图像/视频 Recast音频15文生音乐、remix、音频编辑拆开看机制:本地推理、两步轮询与密钥边界为什么本地推理要拆成两个引擎约束很直接:Wan2GP 的运行时(Sage attention、flash-attn、AWQ/GGUF 内核)只支持 CUDA,没有 MPS / Apple Silicon 路径;而视频模型恰恰都长在 Wan2GP 这一侧。于是拆成两条互不干扰的线,共享同一个Settings → Local Models界面:sd.cpp(内置)— stable-diffusion.cpp 的 C 引擎,与应用同机运行,Apple Silicon 走 Metal,Linux/Windows 支持 CUDA/Vulkan/ROCm,管图像模型;Wan2GP(自带服务器)— 桌面端只是 HTTP 客户端,真正的 Python PyTorch 跑在你自建的 CUDA/ROCm GPU 机器上,管视频模型(Wan 2.2、Hunyuan、LTX)与大型图像模型(Flux、Qwen-Image)。Mac 用户因此可以保留桌面 UI,把推理卸载到局域网里的 Linux/Windows 机器、游戏主机或租用的 GPU 实例。注意:本地推理只在桌面版存在,托管 Web 版始终走云端 API。引擎一:sd.cpp,内置图像推理模型清单在 electron/lib/modelCatalog.js 的LOCAL_MODEL_CATALOG中,全部要求公开可下载、无需鉴权:模型类型体积默认行为Z-Image TurboDiffusion Transformer2.5 GB 2.7 GB 辅助8 步 turbo,euler/simpleZ-Image BaseDiffusion Transformer3.5 GB 2.7 GB 辅助50 步高质量Dreamshaper 8SD 1.52.1 GB20 步,euler_aRealistic Vision v5.1SD 1.52.1 GB25 步写实Anything v5SD 1.52.1 GB20 步动漫SDXL Base 1.0SDXL6.9 GB30 步,dpmpp2m两个 Z-Image 模型共享一组辅助文件,源码里由ZIMAGE_AUXILIARY常量定义:Qwen3-4B 文本编码器(GGUF,2.4 GB)加 FLUX VAE(335 MB),只下载一次。数据默认落在 Electron 应用数据目录的local-ai下(macOS 为~/Library/Application Support/open-generative-ai/local-ai,Linux 为~/.config/...),自动建bin/、models/、tmp/三个子目录;想把权重挪盘,启动前设OPEN_GENERATIVE_AI_LOCAL_AI_DIR即可。⚠️ 硬件上有一条硬警告:Z-Image 建议 16 GB 内存,8 GB 的入门 M 系列 Mac 上已知会导致系统挂起,应改用 SD 1.5。想绕过 UI 验证安装,可以直接驱动应用实际调用的sd-cli二进制:DYLD_LIBRARY_PATH$APP_DATA/bin $APP_DATA/bin/sd-cli \ -m $APP_DATA/models/DreamShaper_8_pruned.safetensors \ -p a serene mountain lake, oil painting -o /tmp/t.png \ --steps 12 -H 512 -W 512 --cfg-scale 7.5 --sampling-method euler_a这是对已下载的 Dreamshaper 8 跑一次 512×512、12 步推理。健康的 Apple Silicon 运行会打印VRAM 1969.78MB(Metal 后端);若 VRAM 为 0,说明 dylib 回退到 CPU 版,重装引擎即可。引擎二:Wan2GP,远程 Gradio 服务器桌面端不内置 Wan2GP 的 Python 运行时与权重。在 GPU 机器上装好并监听所有网卡:python wgp.py --listen --server-name 0.0.0.0然后把 URL(如http://192.168.1.42:7860)粘进Settings → Local Models → Wan2GP server,Test 再 Save。仓库不替你克隆 Wan2GP,地址在 README 本地推理一节中给出。模型清单在 electron/lib/ 的wan2gpProvider.js里,由WAN2GP_CATALOG定义:模型类型备注Flux.1 Dev图像1024px,28 步Qwen Image图像1024px,30 步Wan 2.2(T2V / I2V)视频消费级 GPU 上较慢Hunyuan Video视频高质量 T2VLTX Video视频最快的视频选项一个工程细节:Wan2GP 不同版本会重命名 Gradio 的api_name,Pinokio 打包版甚至会缺端点,所以连接时客户端会拉服务器/info,用resolveFnNames()把目录条目重映射为服务器实际注册的函数名,fnAliases匹配新旧变体,family做模糊兜底。视频模型目前经同一生成 API 可达,但 Image Studio 会明确拒绝视频输出——完整的 Video Studio 接线在 README 的 roadmap 里,尚未落地。提交-轮询:两步式 API 流程云端路径的所有生成都是同一套两步模式:POST /api/v1/{model-endpoint} # 提交,返回 request_id GET /api/v1/predictions/{request_id}/result # 轮询直到 completed第一段发提示词和参数拿到任务 ID,第二段反复查直到出结果。认证靠x-api-key请求头;文件走POST /api/v1/upload_file(multipart)换回托管 URL 传给条件模型,多图模型则把完整images_list数组一次转发;唇形同步走专门的processLipSync(),接image_url或video_url外加audio_url,同样提交后轮询。自托管时这一步由本地代理完成:app/api/ 下的api/v1/[[...path]]/route.js把/api/api/v1/*转发到https://api.muapi.ai/api/v1/*,转发前cleanHeaders()剥掉host、connection、cookie三个头,源码注释标明 cookie 鉴权已移除(CWE-522 修复)。客户端侧的逻辑在 packages/studio/src/muapi.js:浏览器 http 环境下BASE_URL指向/api走代理绕 CORS,Electron 的file://渲染进程与 SSR 则直连上游;轮询默认间隔 2000ms、最多 900 次。密钥安全边界:只发给网关BYOK 模式的落点是 components/StandaloneShell.js:密钥存localStorage(key 为muapi_key),同时写一个一年有效、SameSiteLax的同名 cookie,用于后台请求身份;退出登录时两者一起清除;Axios 请求拦截器有选择地注入x-api-key:只注入相对路径或内部代理路径(/api/app、/api/workflow、/api/agents、/api/api、/api/v1)的请求,S3 等外部域名拿不到密钥;注入前先delete axios.defaults.headers.common[x-api-key],防止全局默认值泄漏;余额每 30 秒轮询一次getUserBalance。读源码从哪几个文件开始Open-Generative-AI/ ├── app/ # Next.js App Router │ ├── page.js # 根路由 → redirect(/studio) │ └── studio/[[...slug]]/page.js # 渲染壳层,slug 决定激活 Tab ├── components/ │ ├── StandaloneShell.js # Tab 导航 BYOK 请求拦截器 │ └── ApiKeyModal.js # API Key 输入弹窗 ├── packages/ │ ├── studio/ # 共享 React 组件库 │ │ └── src/ │ │ ├── models.js # 400 模型定义(单一事实来源) │ │ ├── muapi.js # 提交-轮询 API 客户端 │ │ └── components/ # 16 个 Studio 组件 │ ├── Vibe-Workflow/ # 工作流引擎(子模块) │ └── Open-Poe-AI/ # Agent 包(子模块) ├── electron/ │ ├── main.js # 桌面主进程 │ └── lib/ # 本地推理:目录、引擎、Wan2GP 客户端 ├── docker-compose.yml └── package.json # workspaces 全部构建脚本五个入口,按阅读顺序:app/page.js— 三行,确认根路由直接redirect(/studio),用户永远落在壳层里;components/StandaloneShell.js— 全文枢纽:TABS 数组定义 16 个页签与分类,API Key 的读写、cookie 同步、拦截器注入、30 秒余额轮询都在这里;packages/studio/src/models.js— 模型目录单一事实来源,托管版与自托管版共用,加模型只改这一处;packages/studio/src/muapi.js—submitAndPoll()是两步式 API 的完整实现,看它就懂了轮询、鉴权失败事件(muapi:auth-required)与结果归一化;electron/lib/—modelCatalog.js是 sd.cpp 模型与采样参数,localInferencePaths.js管数据目录解析,wan2gpProvider.js是 Wan2GP 目录与端点重映射,本地推理的全部事实都能在这几个文件里对账。下一步直接使用:装桌面版,在 Settings → Local Models 里只装 SD 1.5 模型,绕开 API Key 先跑通一次本地出图。集成二开:把packages/studio作为 workspace 依赖引走,模型目录与 16 个 Studio 组件可直接复用。架构研究:先读muapi.js的submitAndPoll与代理路由的cleanHeaders,再对照wan2gpProvider.js的端点重映射,异构引擎接入与第三方 API 安全代理这两课一次看完。【免费下载链接】Open-Generative-AIUnrestricted Open-source alternative to AI video platforms — Free AI image video generation studio with 600 models (Flux, Midjourney, Kling, Sora, Veo). No content filters. Self-hosted, MIT licensed.项目地址: https://gitcode.com/GitHub_Trending/ch/Open-Generative-AI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
