用4台Mac Studio跑671B大模型exo本地AI集群部署指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoexo把多台Mac和Linux机器组成一个本地AI集群自动把大模型切分到各台机器上推理。适合拥有两台以上Apple Silicon设备、想在家里部署200B以上参数模型的人。解决什么问题单机装不下传统多机越加越慢最直观的问题是显存DeepSeek V3.1 671B8-bit权重超过600GB任何单台消费级设备都装不下。但多机TCP的老办法是个坑——机器加得越多反而越慢。仓库基准里llama.cppTCP从单机的20.4 t/s掉到4机的15.2 t/sexo走雷雳RDMA后方向反过来从单机19.5 t/s升到4机31.9 t/s。上手体验macOS应用一分钟源码三步macOS上最短的路径是直接装官方应用需要macOS Tahoe 26.2或更高brew install --cask exo应用会请求修改系统设置并安装一个网络配置描述文件允许即可。同一网络上的其他机器会自动互相发现、加入集群不需要手动填地址。走源码则是固定三步克隆仓库、构建dashboard、启动git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo/dashboard npm install npm run build cd .. uv run exo启动后浏览器打开http://localhost:52415仪表盘和API都在这直接建模型实例就能对话。API细节在 docs/api.md。看懂内部结构谁负责推理谁负责切分内部分工是两层。每台机器上跑一个workersrc/exo/worker/ 下的MLX引擎负责推理其中 auto_parallel 会根据实时拓扑图结合每台机器的剩余显存和每条链路的带宽自动算出模型怎么切src/exo/master/ 负责集群协调和模型放置决策。这就是仪表盘里看到的拓扑图每条虚线是两台机器之间的物理链路图上直接标注了显存占用、温度和功耗。数据验证RDMA比TCP快多少以下数字来自仓库内置的4× M3 Ultra Mac Studio512GB 雷雳5全互联、Tensor Parallel配置下的实测Jeff Geerling的测试对比对象是llama.cppTCPQwen3 235B A22B4节点exo 31.9 t/sllama.cpp 15.2 t/sDeepSeek V3.1 671B4节点exo 32.5 t/sllama.cpp 14.6 t/sKimi K2 Thinking 1T A32B4节点exo 28.3 t/sllama.cpp 16.4 t/s注意一个细节单机时exo21.1略慢于llama.cpp14.8除外此处以4节点为准优势主要体现在多机扩展上——节点越多与TCP的差距越大而不是勉强能跑。常见坑位与快速排查RDMA集群的3个高频问题节点互相发现不了多半是macOS版本不一致RDMA要求所有设备版本完全相同连beta编号都要一样另外确认已在恢复模式终端执行过 rdma_ctl enable 并重启仅macOS 26.2及以上支持。Mac Studio可用端口少紧邻网口的那个雷雳5口不能用于RDMA线缆必须是TB5规格且集群成员要两两直连的全互联拓扑星型接法不行。Linux用户期待GPU加速exo目前在Linux上只跑CPUGPU支持还在开发中等不急的先上macOS。它适合谁有边界的选型建议适合手里有两台以上Apple Silicon设备尤其带雷雳5的M4 Pro/Max、M3 Ultra、想本地跑前沿大模型、又不想采购GPU服务器的人API兼容OpenAI Chat Completions、Claude Messages和Ollama格式接现有客户端基本零改造。不适合只有一台机器组不了集群需要Linux上NVIDIA GPU推理的暂只跑CPU打算用普通千兆交换机组网就期待RDMA性能的——RDMA必须TB5线缆直连。先跑一台机器把流程走通确认localhost:52415能出字再接入第二台看它出现在拓扑图里。想自己复现上面的数字仓库自带压测工具测试方法写在 bench/METHODOLOGY.md。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
用4台Mac Studio跑671B大模型exo本地AI集群部署指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoexo把多台Mac和Linux机器组成一个本地AI集群自动把大模型切分到各台机器上推理。适合拥有两台以上Apple Silicon设备、想在家里部署200B以上参数模型的人。解决什么问题单机装不下传统多机越加越慢最直观的问题是显存DeepSeek V3.1 671B8-bit权重超过600GB任何单台消费级设备都装不下。但多机TCP的老办法是个坑——机器加得越多反而越慢。仓库基准里llama.cppTCP从单机的20.4 t/s掉到4机的15.2 t/sexo走雷雳RDMA后方向反过来从单机19.5 t/s升到4机31.9 t/s。上手体验macOS应用一分钟源码三步macOS上最短的路径是直接装官方应用需要macOS Tahoe 26.2或更高brew install --cask exo应用会请求修改系统设置并安装一个网络配置描述文件允许即可。同一网络上的其他机器会自动互相发现、加入集群不需要手动填地址。走源码则是固定三步克隆仓库、构建dashboard、启动git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo/dashboard npm install npm run build cd .. uv run exo启动后浏览器打开http://localhost:52415仪表盘和API都在这直接建模型实例就能对话。API细节在 docs/api.md。看懂内部结构谁负责推理谁负责切分内部分工是两层。每台机器上跑一个workersrc/exo/worker/ 下的MLX引擎负责推理其中 auto_parallel 会根据实时拓扑图结合每台机器的剩余显存和每条链路的带宽自动算出模型怎么切src/exo/master/ 负责集群协调和模型放置决策。这就是仪表盘里看到的拓扑图每条虚线是两台机器之间的物理链路图上直接标注了显存占用、温度和功耗。数据验证RDMA比TCP快多少以下数字来自仓库内置的4× M3 Ultra Mac Studio512GB 雷雳5全互联、Tensor Parallel配置下的实测Jeff Geerling的测试对比对象是llama.cppTCPQwen3 235B A22B4节点exo 31.9 t/sllama.cpp 15.2 t/sDeepSeek V3.1 671B4节点exo 32.5 t/sllama.cpp 14.6 t/sKimi K2 Thinking 1T A32B4节点exo 28.3 t/sllama.cpp 16.4 t/s注意一个细节单机时exo21.1略慢于llama.cpp14.8除外此处以4节点为准优势主要体现在多机扩展上——节点越多与TCP的差距越大而不是勉强能跑。常见坑位与快速排查RDMA集群的3个高频问题节点互相发现不了多半是macOS版本不一致RDMA要求所有设备版本完全相同连beta编号都要一样另外确认已在恢复模式终端执行过 rdma_ctl enable 并重启仅macOS 26.2及以上支持。Mac Studio可用端口少紧邻网口的那个雷雳5口不能用于RDMA线缆必须是TB5规格且集群成员要两两直连的全互联拓扑星型接法不行。Linux用户期待GPU加速exo目前在Linux上只跑CPUGPU支持还在开发中等不急的先上macOS。它适合谁有边界的选型建议适合手里有两台以上Apple Silicon设备尤其带雷雳5的M4 Pro/Max、M3 Ultra、想本地跑前沿大模型、又不想采购GPU服务器的人API兼容OpenAI Chat Completions、Claude Messages和Ollama格式接现有客户端基本零改造。不适合只有一台机器组不了集群需要Linux上NVIDIA GPU推理的暂只跑CPU打算用普通千兆交换机组网就期待RDMA性能的——RDMA必须TB5线缆直连。先跑一台机器把流程走通确认localhost:52415能出字再接入第二台看它出现在拓扑图里。想自己复现上面的数字仓库自带压测工具测试方法写在 bench/METHODOLOGY.md。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
