做硬件DIY这么多年我一直有个很深的感受很多折腾多显卡设备的朋友一开始都是老老实实买成品塔式机箱结果机箱越换越大风扇越加越多温度却压不下去扩展性也到头了。我第一次接触到openrig这个概念是在帮朋友维护一台塞了六张显卡、机箱侧板都盖不上的工作站时。那台机器走线乱成一团显卡间距挤到几乎贴在一起高负载下背板温度能到九十多度。当时我就意识到传统机箱的封闭结构其实压根不适合大規模多GPU计算场景。openrig这个名字拆开看就是open加rig——一套开放的、没有固定形态的设备框架。它并不是某个厂商出的具体产品而是一种在硬件社区里被反复验证过的组装思路用标准铝型材、通用连接件和开放式的结构布局自己搭出一台骨架外露、风道直通、扩展性拉满的多GPU算力设备。这篇文章我就把这套方案从设计原理到装配细节再到供电散热和系统配置完完整整展开聊一遍。不管你是想搭深度学习工作站还是搞渲染农场或是单纯对大机箱忍无可忍这套思路都值得认真看一次。1. openrig解决的真实痛点封闭机箱的天花板在哪里先说清楚一个本质问题我们为什么需要openrig这种半裸奔的设备要回答这个得先看看传统塔式机箱在多GPU场景下到底栽在哪些地方。1.1 显卡尺寸与机箱容积的矛盾现在的旗舰级显卡基本没有低于三槽厚度的长度更是动不动就三百毫米朝上。一个标准的中塔机箱就算设计得再激进撑死也就能塞下三四张卡。问题不在于机箱装不下而在于装进去之后显卡与显卡之间的间距会被压缩到只剩一两厘米。显卡散热靠的是什么是风扇从侧面吸风、把热量往上下两端吹走。两张卡贴在一起上边那张卡的进气口直接对着下边那张卡的出风口等于把上一张卡的废热全部喂给了下一张卡。这种热串扰是封闭机箱里无解的物理难题不管你加多少把机箱风扇都只是在加速热空气在机箱内部的循环。我实测过一组数据同样两张公版卡间距3厘米裸奔测试满载温度六十三度放进机箱、间距2厘米满载直接到七十九度。温差十六度性能还因为降频损失了将近百分之八。这个结果足以说明封闭机箱在多卡场景下的效率损失是不可忽略的。1.2 供电与走线的混乱根源多卡设备的供电有多恐怖正常一张三百瓦的卡满载时通过两条8pin线电流就有大概二十五安培。六张卡就是一百五十安培的电流接近一个普通家庭入户总闸的额定值。塔式机箱在设计时根本没有考虑过这种级别的走线需求。电源仓、背板开孔、理线槽全都是按单卡双卡的场景设计的。等你要给六张卡各走两条供电线时机箱内部就直接变成盘丝洞了。线材弯折、挤压、绝缘皮磨损……这些看似小概率的问题在高电流场景下都是实打实的火灾隐患。开放式结构就没有这个问题。骨架上面走线想横着走就横着走想竖着绑就竖着绑不存在必须把线弯成九十度才能穿过理线孔这种荒唐事。线距短、弯折少、散热空间大安全性反而比封闭机箱高得多。1.3 机箱是最后一个家用电器的淘汰品用openrig的思路做了第一台设备之后我回过头看老塔式机箱感觉它就像一个珍稀物种。CPU需要塔式散热器、显卡要占独立插槽位、电源要藏在底部独立仓——这些设计在单卡时代合理但多GPU场景下机箱已经从一个结构件退化成了纯粹的增高架子。开放式框架的思路实际上是重新定义了硬件的安装逻辑不再是机箱决定我能装什么而是我有什么硬件机箱就按什么形状去搭。显卡多骨架就做得长一点电源有两个就加一层支架。设备适应硬件而不是硬件迁就设备。2. 为什么用铝型材搭骨架模块化设计才是openrig的根基openrig最大的技术含量其实不在开放而在标准化。用成品服务器机架改装的方案多了去了为什么最终绝大多数人都选择铝型材因为只有铝型材能把可调整可拆解可复用这三点同时做到位。2.1 铝型材规格怎么选2020、3030还是4040市面上的工业铝型材常见的有2020、3030、4040这几个规格。数字代表截面边长单位是毫米。2020就是二十毫米见方4040就是四十毫米见方。我个人的建议主力结构件用4040辅助连接件和固定支架用3030不要用2020。原因很简单多GPU设备的骨架需要承担显卡和电源的重量。一张旗舰卡加散热器轻松超过一点五公斤六张卡横着挂在型材上加上电源、主板托盘总重量轻松到二十公斤以上。2020型材的截面太小抗弯强度不够横向跨度一大中间就会塌腰。我自己第一次搭骨架的时候图便宜横梁用了不少2020装完四张卡之后中间那根横梁肉眼可见地弯了。后来全部拆掉换成4040用了快两年一点形变都没有。这笔钱省不得。2.2 连接件系统为什么叫积木式搭建铝型材能像搭积木一样装配核心在于它的标准槽口和配套的T型螺母系统。型材的四个面都有凹槽把T型螺母从槽口滑进去再用螺栓拧紧就能把两根型材牢固地连接在一起而且位置可以随时调整。常用的连接方式就三种直角件、角槽连接件、以及T型螺母直接锁紧。直角件适合做框架的转角固定角槽连接件适合需要频繁调整位置的连接点T型螺母则用在需要把硬件直接固定在型材表面的位置。这里有个实用经验买型材的时候务必让商家把T型螺母、对应规格的内六角螺栓、以及配套扳手一起买了。这事儿看着鸡毛蒜皮但真到装配的时候缺一颗M5x10的螺栓整个进度就得卡住。最好是多买百分之二十的余量T型螺母这东西用多了、滑牙了直接扔掉换新就行几毛钱一个没必要省。2.3 结构布局设计先画图再动手千万别上来就买型材。我见过太多人方案还没想清楚就把料买齐了结果切完型材发现布局不合理长度差了十厘米只能全部推倒重来。标准做法是先用纸笔画个草图确定好设备的尺寸。拿六卡设备举例最稳妥的布局是竖插直通结构显卡垂直地面的方向安装风道从底部进、顶部出整个设备像一个竖起来的书架。尺寸计算有个简化公式设备高度显卡数量×单卡厚度显卡数量-1×显卡间距上下预留空间。以双槽卡为例单卡厚度约四十二毫米间距留三十毫米六张卡就是6×425×30402毫米加上上下各留一百毫米给电源和主板位总高度约六百毫米。长度方面显卡延长线方案为主的话骨架深度做到五百毫米以上长度六百毫米以上基本不会出现装不下的情况。3. 从零装配一台openrig清单、步骤与避坑细节工具和材料都确定了接下来就是实实在在的装配过程。这一节的内容我尽量写得细因为开放式框架虽然结构简单但一些细节没做到位后期会非常难受。3.1 完整配件清单参考以下是一台六卡openrig设备的基础材料清单价格按当前市场行情估算只做参考配件规格/数量用途估算费用4040铝型材约6米主框架结构200-300元3030铝型材约3米显卡支架、电源支架100-150元T型螺母M4/M5各50个滑入型材槽连接紧固20-40元内六角螺栓M5x8/M5x12/ M5x16各30个锁紧连接件与硬件30-50元直角连接件20个框架转角加固40-60元主板托盘定制亚克力或铁板固定主板30-80元显卡支架铝合金L型件承托显卡尾部30-60元铜柱/绝缘柱若干主板、电源与型材之间绝缘10-20元总成本大概五百元上下比一台高端的全塔机箱便宜不少而且可复用性远高于机箱。这套骨架拆了换成长度更长的型材就能扩展成八卡设备这是任何成品机箱都给不了的灵活性。注意这里说的预算不含电源、显卡延长线等硬件本身那些属于设备配置投入视具体需求差异很大。3.2 装配顺序先底座再立梁最后挂硬件我吃过的亏告诉我装配顺序千万别乱。正确的顺序是底座组装用4040型材拼出底部矩形框四条腿的位置预先装好调节脚杯。脚杯一定要装否则设备放地上稍微有点不平整台机器就晃。调节脚杯这东西一套十几块钱能省掉你后期垫纸皮的麻烦。立柱与顶部框架在底座四角竖立柱高度按之前计算的数值来。这里注意立柱不要急着锁死先全部搭起来对角线量一下误差再逐步拧紧。型材这东西本身精度很高但六个自由度的连接件多多少少有装配误差不校正的话最后装硬件的时候孔位全对不上。主板托盘安装用T型螺母和铜柱把主板托盘固定在设备中部的横梁上。铜柱的作用有两个一是绝缘二是抬高主板让底部有散热风道。建议把主板托盘安排在设备的中上层让显卡区域和下置电源区域的走线互不干扰。显卡支架安装这一步是整个骨架的灵魂。每张显卡的尾部都要有独立的L型支架托住不能只靠插槽那一个受力点。显卡延长线方案更是如此显卡是悬在空中固定在支架上的受力点全靠支架和插槽两个位置。支架间距必须正好对应显卡的固定孔位装之前用卡尺量准一点。电源固定电源不要直接放地上建议在设备底部做一个独立的电源舱。用3030型材搭两根横梁把电源竖着卡在中间用螺栓固定住。开放式结构下电源的风道独立不会和显卡的散热互相干扰。3.3 装配中的高频失误螺栓买错长度M5x8、M5x12、M5x16这三种长度的螺栓作用完全不同。连接两段型材用短螺栓贯穿型材固定硬件用长螺栓。装的时候手边没有对应长度就乱凑最后会出现螺栓太长顶到内部结构、或者太短锁不紧的情况。老老实实分盒装标签写好。T型螺母方向装反T型螺母的T字头要正好卡进型材槽里才能锁紧。有时候装完发现螺母转不动了大概率就是头歪了卡在槽壁和型材内壁之间。正确做法是先检查T型螺母大面朝向是否对准槽口再从侧面滑入。忽略绝缘铝型材是导电体。主板托盘不能用金属件直接贴死在型材上必须有铜柱垫起。电源外壳本来就是裸露金属更不能用金属螺栓直接锁在型材上。用尼龙垫圈或者绝缘柱隔离一下就是几块钱的事但能避免一次灾难性的短路。4. 供电设计多GPU设备最容易翻车的环节全拆解骨架搭好之后很多人觉得设备就完成一大半了其实最大的坑才刚开始。开放设备的外观再漂亮供电环节出了问题轻则设备重启重则直接烧卡。这一节我把供电设计从功率计算到线材选择讲透。4.1 功率预算先算总量再定电源方案第一步不是买电源而是算总功率。拿常见的六卡配置来算单卡最大功耗三百瓦六张就是一千八百瓦CPU平台按两百瓦算主板、风扇、硬盘这些杂项加起来再算六十瓦。总功耗就是1800200602060瓦。这里有个核心原则电源不要满负载运行长期负载最好控制在额定功率的百分之八十以内。所以2060瓦除以0.8需要的额定功率就是2575瓦。市面上单电源超过两千瓦的可选型号很少而且价格离谱。所以绝大多数六卡以上的设备都会采用双电源方案。4.2 双电源怎么同步启动主板同步线与启动控制卡双电源方案的第一步是让两个电源同时给电供电。最简单的方式是主板同步线一根线同时插入两个电源的主板供电接口让主板信号同时唤醒两个电源。这种方式成本极低但只适合两个电源同时启动这种简单需求。更稳妥的方案是用双电源启动控制卡它能把两个电源的PG信号Power Good电源好信号做一个逻辑与确保两个电源都正常启动之后再统一发出启动信号。如果某个电源故障控制卡还能给主板发PG掉电信号触发主板紧急保护。实际操作中我见过不少人图省事用一根同步线把两个电源串起来就完事。短期用没问题但一旦某个电源老化输出电压波纹变大另一路电源可能还在满负荷工作系统就在不健康的供电状态下硬扛。长期来看多花几十块钱用控制卡更放心这是少见的用钱换稳定性的划算投资。4.3 线材选型别让转接线成为安全隐患多GPU设备里最容易出问题的不是电源本体而是延长线和转接头。买电源附带的原生线材通常质量不错但原线长度只够机箱内部使用。在开放的骨架上你需要把电源线从底部绕到显卡插槽位置长度往往就不够了。这时候很多人会选择买PCIe延长线。我的建议是一个字买。但千万别买劣质线线径必须达到16AWG低于这个标准的线在两百瓦以上的负载下会明显发热。每个8pin接口最好是独立的一根线上来不要买那种一拖二的转接线。一张卡需要两根8pin就用两根独立的线分别接不要用一根线从中间劈出两个头。线材品牌尽量选通过对应机构认证的至少要有明确的耐温等级标注。无标线材在长期高负载下绝缘层老化速度非常快这是真实存在的风险。另外显卡延长线也要特别注意接口方向。PCIE转接线的插槽端和卡扣端都有防呆设计理论上插反了插不进去但实际有些劣质线材的公头松轻轻一怼就能反向捅进去。轻则烧接口重则击穿显卡PCB的供电线路。装线之前先确认接口方向和金手指位置这个检查十秒钟但能救命。4.4 输入端防护独立空开与墙插的极限设备功耗过两千瓦之后供电安全就不再是设备内部的问题了而是整个配电环境的问题。一台两千瓦的设备市电220V下满载电流接近十安培。一个标准墙插的额定电流是十安培也就是说一台设备就能把一个墙插用到极限。如果你在一个墙插上同时接两台设备或者还插着显示器、空调总电流轻松超过十五安培墙插的簧片过热、绝缘体熔化的风险就在眼前。我的建议是为openrig设备单独走一路配电箱空开十六安培的空开配4平方的电源线专线专用。如果没有条件至少确保一个墙插只接这台设备并且定期摸一下插头的温度如果烫手说明载流已经超标了。提示这是整套设备里最不能妥协的一点。机箱丑了能忍风扇吵了能忍但供电环境如果游走在安全线边缘出事故的代价是毁灭性的。5. 散热与噪声开放结构的天然优势与人为调整开放式架构在散热上的优势是先天性的但优势不等于不需要规划。骨架摆得再好如果房间本身通风不行、风扇选型错误温度照样压不住。5.1 风道设计让冷空气从下往上自然对流openrig的竖插直通结构天然形成自下而上的风道。冷空气从设备底部进穿过显卡之间的间隙带走热量后从顶部出去。为了让这条风道更高效有两个关键细节一是设备底部要有一定高度的支撑腿至少十厘米以上避免进风口直接贴地把地面灰尘和热量全吸进去。二是顶部不要堆积任何东西保持出风口畅通。我见过有人把显示器、路由器放在设备顶上的等于把出风口堵了一半显卡温度立涨五度。5.2 风扇选型高速风扇优于大风量风扇显卡区域的风道通了还需要主动风扇助攻。这里有一个常見误区很多人买各种机箱风扇追求大风量和高静压的平衡反而忽略了多卡设备真正需要的是高压强制送风。实际效果最好的是工业级的12038风扇——即120毫米规格、38毫米厚度的风扇。这种风扇转速普遍在三千转以上能把气流像钉子一样打进显卡之间的狭窄缝隙强制替换掉积攒的热空气。我自己用的四把12038风扇固定在最底部进风口对着显卡阵列吹。实测六卡满载运行核心温度比被动散热低了八到十度而且因为风扇大规模替换了空气整个房间的升温也更快空调的负担反而小了。缺点就是吵。12038风扇满转的声音介于吹风机和吸尘器之间长期放在客厅或卧室里根本受不了。我的做法是接一个PWM调速器平时待机调到最低转速高负载时再拉高。既保住了寿命又保住了耳朵。5.3 显卡间距与散热效率的真实关系前面提到间距至少三十毫米这个数字不是拍脑袋定的。我做过一次对比测试同样六张卡间距从十毫米逐步加到四十毫米观察满载核心温度的变化。间距十毫米时显卡之间几乎就是贴死状态核心温度到了八十一度核心频率因为过热保护一直在跳。间距二十毫米温度降到七十六度。间距三十毫米温度稳定在七十二度。间距四十毫米温度只比间距三十毫米再降一度左右。结论很明确三十毫米是性价比拐点再往上加间距散热收益递减但设备体积却在线性增长。空间不紧张的话可以留四十毫米追求紧凑就卡三十毫米。低于二十毫米的间距配置我不建议任何人尝试。6. BIOS、系统配置与日常看护让设备从能点亮到稳定跑骨架和硬件都到位了最后一步是软件层面。多GPU设备点亮之后系统级的配置才是决定它是否稳定的关键变量。6.1 BIOS设置的几个必改项开机进BIOS有几个选项不调后续问题会接踵而至Above 4G Decoding必须开启。这个选项允许系统在PCIe总线上访问64位地址空间是多显卡设备识别全部显卡的前提。不开启的话系统可能只能认出三张或者四张卡。Re-Size BAR建议开启。开启后CPU可以访问显卡的全部显存对深度学习这类需要频繁数据交换的场景性能提升百分之五到十。PCIe Link Speed建议手动锁Gen3不要设成Auto。多卡环境下PCIe Gen4的信号完整性问题很常见Auto模式可能会因为链路训练不稳定导致随机掉卡。手动锁成Gen3牺牲一点点理论带宽换来的是结实稳定的链路。6.2 系统层面的显存访问与驱动排查以Ubuntu系统为例装好驱动后第一时间敲nvidia-smi确认六张卡全部在列表里。如果发现卡的数目不对大概率是BIOS里Above 4G没开或者PCIe槽通道没分配好。显存访问的问题也要提前预防。编辑/etc/default/grub在GRUB_CMDLINE_LINUX里加上pcirealloc这样可以强制内核重新分配PCIe资源解决多卡场景下显存访问顺序错乱的问题。驱动版本方面我个人的经验是别追新用官方建议的长期稳定版。对多卡设备来说驱动的稳定性优先级远高于新特性。一套跑了一个月没问题的驱动比刚发布的版本香得多。6.3 监控与告警远程盯住温度、功耗和风扇转速设备可以放在工作室或者机房不可能二十四小时盯着。建议至少做三件事部署温度监控工具定期记录每张卡的核心温度、显存温度和功耗一旦温度超过设定阈值就触发告警。电源模块的监控也不能忽略。如果用的是服务器电源改装的方案很多都带了PMBus接口可以在系统里直接读取每路输出的电压电流。风扇转速监控确保每一把风扇都在转。开放式结构里灰尘积累速度快风扇轴承一旦生涩转速掉下来温度会在一夜之间涨上去。6.4 日常维护清单开放式设备有一利一弊好处是清灰方便坏处是落灰速度也快。我的维护习惯是每三个月做一次全机清灰用高压气枪从进风口方向吹把型材凹槽和显卡散热鳍片里的积灰全部吹走。显卡散热鳍片如果堵死了哪怕转速拉满热量也传导不出来这就是很多设备用了一年后温度莫名升高的主因。内部供电线材的连接处建议每半年重新拧一次螺栓。电源端子和显卡供电接口长时间高负载工作会有轻微的热膨胀和氧化重新紧固能避免因为虚接导致的打火发热。另外给设备拍一张布局照片标注所有线材的走向和连接点存到手机里。出了问题排查的时候对着照片一根一根查效率翻倍。我自己在使用openrig式方案这两年半里体会最深的一点是这种设备真正解决了硬件如何被安置的问题剩下的散热、供电、维护都是可以依赖规范和工具去解决的确定性工程问题。只要骨架搭得正、电源分配合法、风道方向正确这套设备就能安安静静地在角落里跑上几年。比起折腾大机箱的日子现在的省心程度完全是两个世界。如果你也在为多GPU设备的结构和散热发愁抛开成品机箱的执念亲自搭一套openrig试试大概率会和我一样回不去了。
做硬件DIY这么多年我一直有个很深的感受很多折腾多显卡设备的朋友一开始都是老老实实买成品塔式机箱结果机箱越换越大风扇越加越多温度却压不下去扩展性也到头了。我第一次接触到openrig这个概念是在帮朋友维护一台塞了六张显卡、机箱侧板都盖不上的工作站时。那台机器走线乱成一团显卡间距挤到几乎贴在一起高负载下背板温度能到九十多度。当时我就意识到传统机箱的封闭结构其实压根不适合大規模多GPU计算场景。openrig这个名字拆开看就是open加rig——一套开放的、没有固定形态的设备框架。它并不是某个厂商出的具体产品而是一种在硬件社区里被反复验证过的组装思路用标准铝型材、通用连接件和开放式的结构布局自己搭出一台骨架外露、风道直通、扩展性拉满的多GPU算力设备。这篇文章我就把这套方案从设计原理到装配细节再到供电散热和系统配置完完整整展开聊一遍。不管你是想搭深度学习工作站还是搞渲染农场或是单纯对大机箱忍无可忍这套思路都值得认真看一次。1. openrig解决的真实痛点封闭机箱的天花板在哪里先说清楚一个本质问题我们为什么需要openrig这种半裸奔的设备要回答这个得先看看传统塔式机箱在多GPU场景下到底栽在哪些地方。1.1 显卡尺寸与机箱容积的矛盾现在的旗舰级显卡基本没有低于三槽厚度的长度更是动不动就三百毫米朝上。一个标准的中塔机箱就算设计得再激进撑死也就能塞下三四张卡。问题不在于机箱装不下而在于装进去之后显卡与显卡之间的间距会被压缩到只剩一两厘米。显卡散热靠的是什么是风扇从侧面吸风、把热量往上下两端吹走。两张卡贴在一起上边那张卡的进气口直接对着下边那张卡的出风口等于把上一张卡的废热全部喂给了下一张卡。这种热串扰是封闭机箱里无解的物理难题不管你加多少把机箱风扇都只是在加速热空气在机箱内部的循环。我实测过一组数据同样两张公版卡间距3厘米裸奔测试满载温度六十三度放进机箱、间距2厘米满载直接到七十九度。温差十六度性能还因为降频损失了将近百分之八。这个结果足以说明封闭机箱在多卡场景下的效率损失是不可忽略的。1.2 供电与走线的混乱根源多卡设备的供电有多恐怖正常一张三百瓦的卡满载时通过两条8pin线电流就有大概二十五安培。六张卡就是一百五十安培的电流接近一个普通家庭入户总闸的额定值。塔式机箱在设计时根本没有考虑过这种级别的走线需求。电源仓、背板开孔、理线槽全都是按单卡双卡的场景设计的。等你要给六张卡各走两条供电线时机箱内部就直接变成盘丝洞了。线材弯折、挤压、绝缘皮磨损……这些看似小概率的问题在高电流场景下都是实打实的火灾隐患。开放式结构就没有这个问题。骨架上面走线想横着走就横着走想竖着绑就竖着绑不存在必须把线弯成九十度才能穿过理线孔这种荒唐事。线距短、弯折少、散热空间大安全性反而比封闭机箱高得多。1.3 机箱是最后一个家用电器的淘汰品用openrig的思路做了第一台设备之后我回过头看老塔式机箱感觉它就像一个珍稀物种。CPU需要塔式散热器、显卡要占独立插槽位、电源要藏在底部独立仓——这些设计在单卡时代合理但多GPU场景下机箱已经从一个结构件退化成了纯粹的增高架子。开放式框架的思路实际上是重新定义了硬件的安装逻辑不再是机箱决定我能装什么而是我有什么硬件机箱就按什么形状去搭。显卡多骨架就做得长一点电源有两个就加一层支架。设备适应硬件而不是硬件迁就设备。2. 为什么用铝型材搭骨架模块化设计才是openrig的根基openrig最大的技术含量其实不在开放而在标准化。用成品服务器机架改装的方案多了去了为什么最终绝大多数人都选择铝型材因为只有铝型材能把可调整可拆解可复用这三点同时做到位。2.1 铝型材规格怎么选2020、3030还是4040市面上的工业铝型材常见的有2020、3030、4040这几个规格。数字代表截面边长单位是毫米。2020就是二十毫米见方4040就是四十毫米见方。我个人的建议主力结构件用4040辅助连接件和固定支架用3030不要用2020。原因很简单多GPU设备的骨架需要承担显卡和电源的重量。一张旗舰卡加散热器轻松超过一点五公斤六张卡横着挂在型材上加上电源、主板托盘总重量轻松到二十公斤以上。2020型材的截面太小抗弯强度不够横向跨度一大中间就会塌腰。我自己第一次搭骨架的时候图便宜横梁用了不少2020装完四张卡之后中间那根横梁肉眼可见地弯了。后来全部拆掉换成4040用了快两年一点形变都没有。这笔钱省不得。2.2 连接件系统为什么叫积木式搭建铝型材能像搭积木一样装配核心在于它的标准槽口和配套的T型螺母系统。型材的四个面都有凹槽把T型螺母从槽口滑进去再用螺栓拧紧就能把两根型材牢固地连接在一起而且位置可以随时调整。常用的连接方式就三种直角件、角槽连接件、以及T型螺母直接锁紧。直角件适合做框架的转角固定角槽连接件适合需要频繁调整位置的连接点T型螺母则用在需要把硬件直接固定在型材表面的位置。这里有个实用经验买型材的时候务必让商家把T型螺母、对应规格的内六角螺栓、以及配套扳手一起买了。这事儿看着鸡毛蒜皮但真到装配的时候缺一颗M5x10的螺栓整个进度就得卡住。最好是多买百分之二十的余量T型螺母这东西用多了、滑牙了直接扔掉换新就行几毛钱一个没必要省。2.3 结构布局设计先画图再动手千万别上来就买型材。我见过太多人方案还没想清楚就把料买齐了结果切完型材发现布局不合理长度差了十厘米只能全部推倒重来。标准做法是先用纸笔画个草图确定好设备的尺寸。拿六卡设备举例最稳妥的布局是竖插直通结构显卡垂直地面的方向安装风道从底部进、顶部出整个设备像一个竖起来的书架。尺寸计算有个简化公式设备高度显卡数量×单卡厚度显卡数量-1×显卡间距上下预留空间。以双槽卡为例单卡厚度约四十二毫米间距留三十毫米六张卡就是6×425×30402毫米加上上下各留一百毫米给电源和主板位总高度约六百毫米。长度方面显卡延长线方案为主的话骨架深度做到五百毫米以上长度六百毫米以上基本不会出现装不下的情况。3. 从零装配一台openrig清单、步骤与避坑细节工具和材料都确定了接下来就是实实在在的装配过程。这一节的内容我尽量写得细因为开放式框架虽然结构简单但一些细节没做到位后期会非常难受。3.1 完整配件清单参考以下是一台六卡openrig设备的基础材料清单价格按当前市场行情估算只做参考配件规格/数量用途估算费用4040铝型材约6米主框架结构200-300元3030铝型材约3米显卡支架、电源支架100-150元T型螺母M4/M5各50个滑入型材槽连接紧固20-40元内六角螺栓M5x8/M5x12/ M5x16各30个锁紧连接件与硬件30-50元直角连接件20个框架转角加固40-60元主板托盘定制亚克力或铁板固定主板30-80元显卡支架铝合金L型件承托显卡尾部30-60元铜柱/绝缘柱若干主板、电源与型材之间绝缘10-20元总成本大概五百元上下比一台高端的全塔机箱便宜不少而且可复用性远高于机箱。这套骨架拆了换成长度更长的型材就能扩展成八卡设备这是任何成品机箱都给不了的灵活性。注意这里说的预算不含电源、显卡延长线等硬件本身那些属于设备配置投入视具体需求差异很大。3.2 装配顺序先底座再立梁最后挂硬件我吃过的亏告诉我装配顺序千万别乱。正确的顺序是底座组装用4040型材拼出底部矩形框四条腿的位置预先装好调节脚杯。脚杯一定要装否则设备放地上稍微有点不平整台机器就晃。调节脚杯这东西一套十几块钱能省掉你后期垫纸皮的麻烦。立柱与顶部框架在底座四角竖立柱高度按之前计算的数值来。这里注意立柱不要急着锁死先全部搭起来对角线量一下误差再逐步拧紧。型材这东西本身精度很高但六个自由度的连接件多多少少有装配误差不校正的话最后装硬件的时候孔位全对不上。主板托盘安装用T型螺母和铜柱把主板托盘固定在设备中部的横梁上。铜柱的作用有两个一是绝缘二是抬高主板让底部有散热风道。建议把主板托盘安排在设备的中上层让显卡区域和下置电源区域的走线互不干扰。显卡支架安装这一步是整个骨架的灵魂。每张显卡的尾部都要有独立的L型支架托住不能只靠插槽那一个受力点。显卡延长线方案更是如此显卡是悬在空中固定在支架上的受力点全靠支架和插槽两个位置。支架间距必须正好对应显卡的固定孔位装之前用卡尺量准一点。电源固定电源不要直接放地上建议在设备底部做一个独立的电源舱。用3030型材搭两根横梁把电源竖着卡在中间用螺栓固定住。开放式结构下电源的风道独立不会和显卡的散热互相干扰。3.3 装配中的高频失误螺栓买错长度M5x8、M5x12、M5x16这三种长度的螺栓作用完全不同。连接两段型材用短螺栓贯穿型材固定硬件用长螺栓。装的时候手边没有对应长度就乱凑最后会出现螺栓太长顶到内部结构、或者太短锁不紧的情况。老老实实分盒装标签写好。T型螺母方向装反T型螺母的T字头要正好卡进型材槽里才能锁紧。有时候装完发现螺母转不动了大概率就是头歪了卡在槽壁和型材内壁之间。正确做法是先检查T型螺母大面朝向是否对准槽口再从侧面滑入。忽略绝缘铝型材是导电体。主板托盘不能用金属件直接贴死在型材上必须有铜柱垫起。电源外壳本来就是裸露金属更不能用金属螺栓直接锁在型材上。用尼龙垫圈或者绝缘柱隔离一下就是几块钱的事但能避免一次灾难性的短路。4. 供电设计多GPU设备最容易翻车的环节全拆解骨架搭好之后很多人觉得设备就完成一大半了其实最大的坑才刚开始。开放设备的外观再漂亮供电环节出了问题轻则设备重启重则直接烧卡。这一节我把供电设计从功率计算到线材选择讲透。4.1 功率预算先算总量再定电源方案第一步不是买电源而是算总功率。拿常见的六卡配置来算单卡最大功耗三百瓦六张就是一千八百瓦CPU平台按两百瓦算主板、风扇、硬盘这些杂项加起来再算六十瓦。总功耗就是1800200602060瓦。这里有个核心原则电源不要满负载运行长期负载最好控制在额定功率的百分之八十以内。所以2060瓦除以0.8需要的额定功率就是2575瓦。市面上单电源超过两千瓦的可选型号很少而且价格离谱。所以绝大多数六卡以上的设备都会采用双电源方案。4.2 双电源怎么同步启动主板同步线与启动控制卡双电源方案的第一步是让两个电源同时给电供电。最简单的方式是主板同步线一根线同时插入两个电源的主板供电接口让主板信号同时唤醒两个电源。这种方式成本极低但只适合两个电源同时启动这种简单需求。更稳妥的方案是用双电源启动控制卡它能把两个电源的PG信号Power Good电源好信号做一个逻辑与确保两个电源都正常启动之后再统一发出启动信号。如果某个电源故障控制卡还能给主板发PG掉电信号触发主板紧急保护。实际操作中我见过不少人图省事用一根同步线把两个电源串起来就完事。短期用没问题但一旦某个电源老化输出电压波纹变大另一路电源可能还在满负荷工作系统就在不健康的供电状态下硬扛。长期来看多花几十块钱用控制卡更放心这是少见的用钱换稳定性的划算投资。4.3 线材选型别让转接线成为安全隐患多GPU设备里最容易出问题的不是电源本体而是延长线和转接头。买电源附带的原生线材通常质量不错但原线长度只够机箱内部使用。在开放的骨架上你需要把电源线从底部绕到显卡插槽位置长度往往就不够了。这时候很多人会选择买PCIe延长线。我的建议是一个字买。但千万别买劣质线线径必须达到16AWG低于这个标准的线在两百瓦以上的负载下会明显发热。每个8pin接口最好是独立的一根线上来不要买那种一拖二的转接线。一张卡需要两根8pin就用两根独立的线分别接不要用一根线从中间劈出两个头。线材品牌尽量选通过对应机构认证的至少要有明确的耐温等级标注。无标线材在长期高负载下绝缘层老化速度非常快这是真实存在的风险。另外显卡延长线也要特别注意接口方向。PCIE转接线的插槽端和卡扣端都有防呆设计理论上插反了插不进去但实际有些劣质线材的公头松轻轻一怼就能反向捅进去。轻则烧接口重则击穿显卡PCB的供电线路。装线之前先确认接口方向和金手指位置这个检查十秒钟但能救命。4.4 输入端防护独立空开与墙插的极限设备功耗过两千瓦之后供电安全就不再是设备内部的问题了而是整个配电环境的问题。一台两千瓦的设备市电220V下满载电流接近十安培。一个标准墙插的额定电流是十安培也就是说一台设备就能把一个墙插用到极限。如果你在一个墙插上同时接两台设备或者还插着显示器、空调总电流轻松超过十五安培墙插的簧片过热、绝缘体熔化的风险就在眼前。我的建议是为openrig设备单独走一路配电箱空开十六安培的空开配4平方的电源线专线专用。如果没有条件至少确保一个墙插只接这台设备并且定期摸一下插头的温度如果烫手说明载流已经超标了。提示这是整套设备里最不能妥协的一点。机箱丑了能忍风扇吵了能忍但供电环境如果游走在安全线边缘出事故的代价是毁灭性的。5. 散热与噪声开放结构的天然优势与人为调整开放式架构在散热上的优势是先天性的但优势不等于不需要规划。骨架摆得再好如果房间本身通风不行、风扇选型错误温度照样压不住。5.1 风道设计让冷空气从下往上自然对流openrig的竖插直通结构天然形成自下而上的风道。冷空气从设备底部进穿过显卡之间的间隙带走热量后从顶部出去。为了让这条风道更高效有两个关键细节一是设备底部要有一定高度的支撑腿至少十厘米以上避免进风口直接贴地把地面灰尘和热量全吸进去。二是顶部不要堆积任何东西保持出风口畅通。我见过有人把显示器、路由器放在设备顶上的等于把出风口堵了一半显卡温度立涨五度。5.2 风扇选型高速风扇优于大风量风扇显卡区域的风道通了还需要主动风扇助攻。这里有一个常見误区很多人买各种机箱风扇追求大风量和高静压的平衡反而忽略了多卡设备真正需要的是高压强制送风。实际效果最好的是工业级的12038风扇——即120毫米规格、38毫米厚度的风扇。这种风扇转速普遍在三千转以上能把气流像钉子一样打进显卡之间的狭窄缝隙强制替换掉积攒的热空气。我自己用的四把12038风扇固定在最底部进风口对着显卡阵列吹。实测六卡满载运行核心温度比被动散热低了八到十度而且因为风扇大规模替换了空气整个房间的升温也更快空调的负担反而小了。缺点就是吵。12038风扇满转的声音介于吹风机和吸尘器之间长期放在客厅或卧室里根本受不了。我的做法是接一个PWM调速器平时待机调到最低转速高负载时再拉高。既保住了寿命又保住了耳朵。5.3 显卡间距与散热效率的真实关系前面提到间距至少三十毫米这个数字不是拍脑袋定的。我做过一次对比测试同样六张卡间距从十毫米逐步加到四十毫米观察满载核心温度的变化。间距十毫米时显卡之间几乎就是贴死状态核心温度到了八十一度核心频率因为过热保护一直在跳。间距二十毫米温度降到七十六度。间距三十毫米温度稳定在七十二度。间距四十毫米温度只比间距三十毫米再降一度左右。结论很明确三十毫米是性价比拐点再往上加间距散热收益递减但设备体积却在线性增长。空间不紧张的话可以留四十毫米追求紧凑就卡三十毫米。低于二十毫米的间距配置我不建议任何人尝试。6. BIOS、系统配置与日常看护让设备从能点亮到稳定跑骨架和硬件都到位了最后一步是软件层面。多GPU设备点亮之后系统级的配置才是决定它是否稳定的关键变量。6.1 BIOS设置的几个必改项开机进BIOS有几个选项不调后续问题会接踵而至Above 4G Decoding必须开启。这个选项允许系统在PCIe总线上访问64位地址空间是多显卡设备识别全部显卡的前提。不开启的话系统可能只能认出三张或者四张卡。Re-Size BAR建议开启。开启后CPU可以访问显卡的全部显存对深度学习这类需要频繁数据交换的场景性能提升百分之五到十。PCIe Link Speed建议手动锁Gen3不要设成Auto。多卡环境下PCIe Gen4的信号完整性问题很常见Auto模式可能会因为链路训练不稳定导致随机掉卡。手动锁成Gen3牺牲一点点理论带宽换来的是结实稳定的链路。6.2 系统层面的显存访问与驱动排查以Ubuntu系统为例装好驱动后第一时间敲nvidia-smi确认六张卡全部在列表里。如果发现卡的数目不对大概率是BIOS里Above 4G没开或者PCIe槽通道没分配好。显存访问的问题也要提前预防。编辑/etc/default/grub在GRUB_CMDLINE_LINUX里加上pcirealloc这样可以强制内核重新分配PCIe资源解决多卡场景下显存访问顺序错乱的问题。驱动版本方面我个人的经验是别追新用官方建议的长期稳定版。对多卡设备来说驱动的稳定性优先级远高于新特性。一套跑了一个月没问题的驱动比刚发布的版本香得多。6.3 监控与告警远程盯住温度、功耗和风扇转速设备可以放在工作室或者机房不可能二十四小时盯着。建议至少做三件事部署温度监控工具定期记录每张卡的核心温度、显存温度和功耗一旦温度超过设定阈值就触发告警。电源模块的监控也不能忽略。如果用的是服务器电源改装的方案很多都带了PMBus接口可以在系统里直接读取每路输出的电压电流。风扇转速监控确保每一把风扇都在转。开放式结构里灰尘积累速度快风扇轴承一旦生涩转速掉下来温度会在一夜之间涨上去。6.4 日常维护清单开放式设备有一利一弊好处是清灰方便坏处是落灰速度也快。我的维护习惯是每三个月做一次全机清灰用高压气枪从进风口方向吹把型材凹槽和显卡散热鳍片里的积灰全部吹走。显卡散热鳍片如果堵死了哪怕转速拉满热量也传导不出来这就是很多设备用了一年后温度莫名升高的主因。内部供电线材的连接处建议每半年重新拧一次螺栓。电源端子和显卡供电接口长时间高负载工作会有轻微的热膨胀和氧化重新紧固能避免因为虚接导致的打火发热。另外给设备拍一张布局照片标注所有线材的走向和连接点存到手机里。出了问题排查的时候对着照片一根一根查效率翻倍。我自己在使用openrig式方案这两年半里体会最深的一点是这种设备真正解决了硬件如何被安置的问题剩下的散热、供电、维护都是可以依赖规范和工具去解决的确定性工程问题。只要骨架搭得正、电源分配合法、风道方向正确这套设备就能安安静静地在角落里跑上几年。比起折腾大机箱的日子现在的省心程度完全是两个世界。如果你也在为多GPU设备的结构和散热发愁抛开成品机箱的执念亲自搭一套openrig试试大概率会和我一样回不去了。
