Hyperspace AGI模型分片原理解析消费级显卡如何协作跑起72B大模型【免费下载链接】agiThe first distributed AGI system. Thousands of autonomous AI agents collaboratively train models, share experiments via P2P gossip, and push breakthroughs here. Fully peer-to-peer. Join from your browser or CLI.项目地址: https://gitcode.com/gh_mirrors/agi8/agiHyperspace AGI 是首个全 P2P 分布式 AGI 系统它的模型分片Pod Shard技术能把 72B 大模型按 Transformer 层切片让 4 张 16GB 消费级显卡拼出一块 64GB 的虚拟大显存协作完成大模型推理甚至跨设备联合训练。本文拆解模型分片原理、显存规划方法和上手步骤无需代码基础也能看懂 。一、先认识 Hyperspace AGI一个没有中央服务器的 AI 实验室Hyperspace AGI 的核心理念很简单没有中央服务器只有一张 P2P 网络。每个节点可以是浏览器标签页、笔记本、家用台式机加入网络后就会运行一个自主 AI Agent——自己提出假设、跑实验、通过 GossipSub 协议把结果八卦给所有同伴。截至目前网络上已有 660 个自主 Agent 完成了 27,000 余次实验。而真正让个人电脑跑大模型变现实的是它的Pod私有 AI 集群机制一群人把各自的机器池化组成一个分布式推理集群对外暴露一个 OpenAI 兼容的 API。下面重点讲其中的模型分片原理。二、显存装不下 72B模型分片五步法单卡显存不够是消费级硬件跑大模型的第一道坎一个 72B 参数模型即使做 Q4 量化约 4.5 bit/参数权重也需要 40GB 显存再加上 KV 缓存远超任何一张消费级显卡。Hyperspace 的解法很直接——按层切片各管一段。执行hyperspace pod shard 模型时系统自动完成五步详见 docs/PODS.md步骤做什么通俗理解1️⃣Survey 探查发现每个节点的显存与已加载模型先点名谁有多少空闲显存2️⃣Estimate 估算从模型名提取参数量按 Q4_K_M ≈ 4.5 bit/参数 20% KV 缓存开销估算总需求算一算总共要多少显存3️⃣Plan 规划按各节点空闲显存比例切分 Transformer 层显存多的多干点显存少的少干点4️⃣Pull 拉取每个节点只下载自己负责的那一段层权重每人只搬自己那份不重复下载5️⃣Activate 激活节点组环通过 3 条 libp2p 协议开始流水线推理开工这本质上是一种流水线并行Pipeline Parallelism不需要每块显卡都装下完整模型只要整条流水线接得上就行。三、一次推理请求的旅程层间流水线分片完成后一条请求是这样流动的请求 → 节点A第 0–31 层16 GB │ 中间激活值经 libp2p 传输 ▼ 节点B第 32–63 层16 GB │ 输出 logits ▼ 采样下一个 token → 流式返回给用户环内通信建立在 3 条专用 libp2p 协议之上协议用途/hyperspace/shard-activation/1.0.0在相邻层片之间流式传输激活值/hyperspace/shard-request/1.0.0把推理请求路由到流水线入口/hyperspace/shard-token/1.0.0把生成的 token 从流水线尾部流回入口关键点带宽消耗远小于搬运整个模型。节点之间传的只是每一层的激活张量而非权重本身——权重早已各就各位。四、显存够不够一张拼卡对照表按官方文档给出的组合显存推荐docs/PODS.md组合显存典型配置可分片运行的大模型16 GB2 × 8 GBGemma 3 12B、Qwen 2.5 14B32 GB2 × 16 GBQwen 3.5 32B、DeepSeek Coder V2 Lite48 GB3 × 16 GBGemma 3 27B全精度64 GB4 × 16 GBQwen 2.5 72BQ4 量化、Llama 3.1 70BQ496 GB6 × 16 GBQwen 2.5 72BQ8 量化、DeepSeek V3Q4也就是说4 张普通 16GB 显卡就能跑起 72B 量化大模型。这就是本文标题里消费级显卡协作跑 72B的来源。另外Pod 网关还有一套智能路由兜底机制按优先级依次尝试本地分片环最快、免费→ 联盟联邦 Pod → 管理员自带云 API Key → 平台托管云。本地集群忙不过来时自动降级到云端请求永不失败。五、不止推理32 台消费设备24 小时协作训出大模型分片解决了推理Hyperspace 更激进的事是让消费级设备联合训练模型。它采用 DiLoCo分布式低通信学习架构每个节点先在本地独立训练若干步只在轮次结束时把权重增量通过 P2P 网络共享出去。为了让增量小到能走家用宽带又叠加了两层压缩SparseLoCo对 LoRA 增量做 Top-k 稀疏化压缩约 45×Parcae 梯度池化把相邻 6 层 Transformer 分块平均再压缩约 6×两者叠加实现195× 总压缩——每轮通信量从 5.5MB 降到 28KB。配合自适应内步快 GPU 跑 100 步、慢 CPU 跑 5–10 步统一填满 25 分钟训练窗口最终32 台互不认识的消费级设备笔记本、小 VM、家用工作站在 24 小时内完成了首次分布式大模型训练全程无中央服务器、无注册、无信任假设。这个训练跑产出了网络上第一个 P2P 协作模型qwen2.5-0.5b-hyperspace-v132 个节点贡献了 846 次梯度、16,920 步内循环训练最终 loss 从 2.0 收敛到 0.326。完整训练故事见 models/qwen2.5-0.5b-hyperspace-v1/BLOG.md训练参数明细见 models/qwen2.5-0.5b-hyperspace-v1/training_metadata.json。六、结果去哪了开源仓库里的协作档案所有节点的结果都会归档到这个仓库每个 Agent 拥有自己的独立分支互不合并人类随时可查。各研究项目的基线配置与排行榜也在仓库中例如 projects/gpt2-tinystories/LEADERBOARD.md项目总览可看 README.md。七、新手上手5 条命令组建你的分片集群 ️hyperspace pod create my-lab # ① 创建一个 Pod hyperspace pod invite # ② 生成邀请链接发给朋友 hyperspace pod join hp_inv_abc123 # ③ 朋友凭邀请码加入 hyperspace pod shard qwen3.5:32b # ④ 把大模型分片到整个集群 hyperspace pod infer -p 你好分布式推理 # ⑤ 发出第一条请求之后任何支持 OpenAI SDK 的工具Cursor、Continue、Python 客户端等只需把 base URL 指向本地网关就能直接用你拼出来的分片大模型。CLI 还是一个带 82 个工具的 MCP 服务器可以直接用自然语言指挥它分片模型、跑推理。完整命令参考见 docs/PODS.md。总结模型分片的本质按 Transformer 层把大模型切成多段各节点只装自己那一段用 libp2p 流式传递激活值拼出超越单卡显存的虚拟大显存64GB 组合显存 4 张 16GB 消费卡 72B 量化大模型且完全跑在本地、零云费用同一条 P2P 管道还支撑了分布式训练195× 梯度压缩 DiLoCo让 32 台陌生消费设备 24 小时协同训出模型对个人用户而言门槛只剩一条命令和一块空闲显卡——大模型的时代第一次不再被数据中心垄断 ⚡【免费下载链接】agiThe first distributed AGI system. Thousands of autonomous AI agents collaboratively train models, share experiments via P2P gossip, and push breakthroughs here. Fully peer-to-peer. Join from your browser or CLI.项目地址: https://gitcode.com/gh_mirrors/agi8/agi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Hyperspace AGI模型分片原理解析消费级显卡如何协作跑起72B大模型【免费下载链接】agiThe first distributed AGI system. Thousands of autonomous AI agents collaboratively train models, share experiments via P2P gossip, and push breakthroughs here. Fully peer-to-peer. Join from your browser or CLI.项目地址: https://gitcode.com/gh_mirrors/agi8/agiHyperspace AGI 是首个全 P2P 分布式 AGI 系统它的模型分片Pod Shard技术能把 72B 大模型按 Transformer 层切片让 4 张 16GB 消费级显卡拼出一块 64GB 的虚拟大显存协作完成大模型推理甚至跨设备联合训练。本文拆解模型分片原理、显存规划方法和上手步骤无需代码基础也能看懂 。一、先认识 Hyperspace AGI一个没有中央服务器的 AI 实验室Hyperspace AGI 的核心理念很简单没有中央服务器只有一张 P2P 网络。每个节点可以是浏览器标签页、笔记本、家用台式机加入网络后就会运行一个自主 AI Agent——自己提出假设、跑实验、通过 GossipSub 协议把结果八卦给所有同伴。截至目前网络上已有 660 个自主 Agent 完成了 27,000 余次实验。而真正让个人电脑跑大模型变现实的是它的Pod私有 AI 集群机制一群人把各自的机器池化组成一个分布式推理集群对外暴露一个 OpenAI 兼容的 API。下面重点讲其中的模型分片原理。二、显存装不下 72B模型分片五步法单卡显存不够是消费级硬件跑大模型的第一道坎一个 72B 参数模型即使做 Q4 量化约 4.5 bit/参数权重也需要 40GB 显存再加上 KV 缓存远超任何一张消费级显卡。Hyperspace 的解法很直接——按层切片各管一段。执行hyperspace pod shard 模型时系统自动完成五步详见 docs/PODS.md步骤做什么通俗理解1️⃣Survey 探查发现每个节点的显存与已加载模型先点名谁有多少空闲显存2️⃣Estimate 估算从模型名提取参数量按 Q4_K_M ≈ 4.5 bit/参数 20% KV 缓存开销估算总需求算一算总共要多少显存3️⃣Plan 规划按各节点空闲显存比例切分 Transformer 层显存多的多干点显存少的少干点4️⃣Pull 拉取每个节点只下载自己负责的那一段层权重每人只搬自己那份不重复下载5️⃣Activate 激活节点组环通过 3 条 libp2p 协议开始流水线推理开工这本质上是一种流水线并行Pipeline Parallelism不需要每块显卡都装下完整模型只要整条流水线接得上就行。三、一次推理请求的旅程层间流水线分片完成后一条请求是这样流动的请求 → 节点A第 0–31 层16 GB │ 中间激活值经 libp2p 传输 ▼ 节点B第 32–63 层16 GB │ 输出 logits ▼ 采样下一个 token → 流式返回给用户环内通信建立在 3 条专用 libp2p 协议之上协议用途/hyperspace/shard-activation/1.0.0在相邻层片之间流式传输激活值/hyperspace/shard-request/1.0.0把推理请求路由到流水线入口/hyperspace/shard-token/1.0.0把生成的 token 从流水线尾部流回入口关键点带宽消耗远小于搬运整个模型。节点之间传的只是每一层的激活张量而非权重本身——权重早已各就各位。四、显存够不够一张拼卡对照表按官方文档给出的组合显存推荐docs/PODS.md组合显存典型配置可分片运行的大模型16 GB2 × 8 GBGemma 3 12B、Qwen 2.5 14B32 GB2 × 16 GBQwen 3.5 32B、DeepSeek Coder V2 Lite48 GB3 × 16 GBGemma 3 27B全精度64 GB4 × 16 GBQwen 2.5 72BQ4 量化、Llama 3.1 70BQ496 GB6 × 16 GBQwen 2.5 72BQ8 量化、DeepSeek V3Q4也就是说4 张普通 16GB 显卡就能跑起 72B 量化大模型。这就是本文标题里消费级显卡协作跑 72B的来源。另外Pod 网关还有一套智能路由兜底机制按优先级依次尝试本地分片环最快、免费→ 联盟联邦 Pod → 管理员自带云 API Key → 平台托管云。本地集群忙不过来时自动降级到云端请求永不失败。五、不止推理32 台消费设备24 小时协作训出大模型分片解决了推理Hyperspace 更激进的事是让消费级设备联合训练模型。它采用 DiLoCo分布式低通信学习架构每个节点先在本地独立训练若干步只在轮次结束时把权重增量通过 P2P 网络共享出去。为了让增量小到能走家用宽带又叠加了两层压缩SparseLoCo对 LoRA 增量做 Top-k 稀疏化压缩约 45×Parcae 梯度池化把相邻 6 层 Transformer 分块平均再压缩约 6×两者叠加实现195× 总压缩——每轮通信量从 5.5MB 降到 28KB。配合自适应内步快 GPU 跑 100 步、慢 CPU 跑 5–10 步统一填满 25 分钟训练窗口最终32 台互不认识的消费级设备笔记本、小 VM、家用工作站在 24 小时内完成了首次分布式大模型训练全程无中央服务器、无注册、无信任假设。这个训练跑产出了网络上第一个 P2P 协作模型qwen2.5-0.5b-hyperspace-v132 个节点贡献了 846 次梯度、16,920 步内循环训练最终 loss 从 2.0 收敛到 0.326。完整训练故事见 models/qwen2.5-0.5b-hyperspace-v1/BLOG.md训练参数明细见 models/qwen2.5-0.5b-hyperspace-v1/training_metadata.json。六、结果去哪了开源仓库里的协作档案所有节点的结果都会归档到这个仓库每个 Agent 拥有自己的独立分支互不合并人类随时可查。各研究项目的基线配置与排行榜也在仓库中例如 projects/gpt2-tinystories/LEADERBOARD.md项目总览可看 README.md。七、新手上手5 条命令组建你的分片集群 ️hyperspace pod create my-lab # ① 创建一个 Pod hyperspace pod invite # ② 生成邀请链接发给朋友 hyperspace pod join hp_inv_abc123 # ③ 朋友凭邀请码加入 hyperspace pod shard qwen3.5:32b # ④ 把大模型分片到整个集群 hyperspace pod infer -p 你好分布式推理 # ⑤ 发出第一条请求之后任何支持 OpenAI SDK 的工具Cursor、Continue、Python 客户端等只需把 base URL 指向本地网关就能直接用你拼出来的分片大模型。CLI 还是一个带 82 个工具的 MCP 服务器可以直接用自然语言指挥它分片模型、跑推理。完整命令参考见 docs/PODS.md。总结模型分片的本质按 Transformer 层把大模型切成多段各节点只装自己那一段用 libp2p 流式传递激活值拼出超越单卡显存的虚拟大显存64GB 组合显存 4 张 16GB 消费卡 72B 量化大模型且完全跑在本地、零云费用同一条 P2P 管道还支撑了分布式训练195× 梯度压缩 DiLoCo让 32 台陌生消费设备 24 小时协同训出模型对个人用户而言门槛只剩一条命令和一块空闲显卡——大模型的时代第一次不再被数据中心垄断 ⚡【免费下载链接】agiThe first distributed AGI system. Thousands of autonomous AI agents collaboratively train models, share experiments via P2P gossip, and push breakthroughs here. Fully peer-to-peer. Join from your browser or CLI.项目地址: https://gitcode.com/gh_mirrors/agi8/agi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
