1. 先别急着看参数把你公司的真实需求搞清楚再动手说句掏心窝的话我一开始接触“AI服务器”这三个字的时候脑子里飘过的全是各种炫酷的发布会参数、算力翻倍的宣传海报。但等我真坐下来准备拍板的时候发现最大的坑不在GPU型号上而在我们自己身上——公司到底要拿这台服务器干什么这个问题没想清楚后面每一步都是错的。我当时召集了算法、运维、还有业务线的负责人逼着每个人用三句话讲清楚自己的需求不许说“越多越好”这种废话。最后整理下来实际场景无非就这么几类。第一类是模型微调和推理部署。绝大多数公司不是从头训大模型而是在开源模型基础上做领域适配比如我们本来就有客服语料、行业知识库需要让模型懂我们的业务黑话。这类场景的特点是单次训练时间可以容忍但推理延迟必须低并发吞吐要稳得住。它真正吃的是显存容量和内存带宽而不是一味追求峰值算力。第二类是数据处理与向量化。AI项目落地最花时间的往往不是模型训练而是把已有的文档、图片、聊天记录清洗、切片、转成向量。这类任务大部分跑在CPU上GPU反而用得不多但它对内存容量、存储吞吐、数据管道的稳定性要求极高。很多团队在这里翻车买了一台顶级GPU服务器结果数据预处理环节天天OOMGPU空转等数据等于白烧钱。第三类是内部的算法研发与测试。研发团队需要环境做模型试跑、调参、验证新思路这类需求的特点是时间碎片化、环境隔离要求高、并发用户多。这时候你需要的可能不是一台“怪兽级”单机而是一套能切分成多个虚拟环境的算力池。我为什么要先说这个因为服务器的选型从来不是一个纯技术问题它是一个把业务目标翻译成硬件语言的过程。我见过不止一家公司老板听了销售一顿说直接上了8卡满配的机器结果业务根本用不满80%的算力在睡觉每个月的电费倒是真实在涨。还有一种是反过来先买了一台便宜的入门卡等模型一上量发现推理延迟高到没法用又得整个推翻重来浪费的时间比机器钱贵得多。所以我的建议是选型之前先组织一次内部需求盘点会把业务场景、预估并发、数据规模、团队技术水平全部量化打分。这里面最关键的量化指标不是“我们要做多牛的模型”而是“我们现在手里有多少数据未来半年预计增长多少线上用户最多同时来多少请求”。这些问题有了答案你再去谈GPU型号、卡数、网络方案心里就有谱了。另外顺便说一句我在这个阶段就把预算范围定出来了包括硬件采购、机房改造、电力增容、软件授权、运维人力这五笔账分开列。因为AI服务器的成本远远不只是买机器那一笔钱单纯比“单价”是外行才干的事。2. 关于GPU选型我总结的一套“反营销”判断法GPU是整个AI服务器里最贵的部件也是销售话术最密集的地方。什么“算力怪兽”“性能翻倍”“专为AI而生”这些词听多了容易上头。我给自己定了一条死规矩只看四个物理指标——显存容量、显存带宽、计算精度对应的算力、互联带宽。其他花里胡哨的概念都先丢一边。先看显存容量。现在主流的训练卡显存有40G、64G、80G甚至更大的。显存决定了你单卡能装下多大的模型和多大的batch size。如果显存不够模型装不下哪怕计算速度再快也没用就像用一个小杯子去接大桶水水龙头再猛也白搭。具体怎么估算呢一个比较糙的经验公式是模型参数量乘以2FP16权重再乘以1.2到1.5的冗余系数优化器状态、激活值、中间变量都占地方。比如你要微调一个7B参数的模型大概需要7×2×1.5等于21G左右那单卡40G是勉强够用的但如果想跑更大的batch或者加更多上下文长度就得往64G以上考虑了。再看显存带宽。这个指标很多人忽略但推理性能它说了算。模型推理的时候大模型是典型的“带宽饥渴”型负载计算单元经常在等数据从显存里搬过来。带宽越高的卡token生成速度越快。我实测下来同样跑一个7B模型低带宽卡和高带宽卡的首token延迟能差好几倍这直接影响用户体验。然后说计算精度。AI训练常用的精度是FP16、BF16推理量化后可能用FP8、INT8。你要看的是“对应精度下的TFLOPS”而不是厂商宣传的“FP32峰值”。因为AI负载基本不会跑在FP32上宣传页上那个巨大的FP32数字对AI场景参考价值不大。最后是卡间互联带宽。多卡训练时梯度同步、参数交换都是走卡间互联的。如果互联带宽不够8张卡的性能可能也就比4张卡强一点点甚至出现“负优化”。我见过有人选卡的时候只盯着单卡算力没注意卡间互联协议结果训练时卡的利用率只有百分之三四十整个集群跑起来还不如人家少一半卡的效果。这三条硬指标之外我再补充一个很多老板容易忽略的点生态兼容性。选GPU不只是选硬件其实是选一套软件栈。主流的AI框架、分布式训练方案、推理引擎都是围绕特定GPU厂商的生态做优化的。如果你选了一个非主流的路子后续所有工具链都要自己趟坑研发成本会呈指数上升。对大多数公司来说跟着主流生态走是最稳妥的选择别在硬件层面追求“标新立异”。3. 整机配置别只看CPU和内存我踩过最深的坑全在细节里GPU定下来之后很多人觉得万事大吉剩下随便配配就行。这个想法是非常危险的。我第一台服务器的配置单就是吃了这个亏销售给的方案CPU拉满、内存拉满、GPU顶配看着啥都强结果一跑真实负载就各种莫名其妙的问题。先说CPU。好多人以为AI服务器CPU不重要随便来一颗就行。实际上CPU承担的是数据预处理、指令下发、通信调度这些活如果CPU核心数不够、主频太低GPU就会频繁处在“等活干”的状态。举个例子你的数据管道要从硬盘读数据、做解码、做增强、再搬到显存里这一整套流程都是CPU在驱动。CPU慢了GPU再快也只能空转。我当时配的是两颗中高端至强选的时候特意看了全核睿频和PCIe通道数实践证明这个钱不能省。再说内存。内存容量有一个底线至少是显存总容量的1.5到2倍能上2倍以上更好。因为训练的时候CPU侧需要暂存数据、做预处理内存不够就会导致数据搬移阻塞。另外内存通道数和频率也很关键通道数不够同样会把数据通路卡住。别只看内存“多少G”还要看它是几通道、什么频率、支不支持ECC纠错。AI服务器7×24小时高负载跑内存出错的概率比普通服务器高得多ECC这个功能必须有。接下来是存储这是我从“踩坑”名单里拉出来的头号选手。AI负载的数据读取模式很极端动不动就是几百G甚至上T的数据集训练过程中还要反复读取检查点文件。普通的SATA机械盘根本扛不住这种吞吐。我当时配了NVMe全闪阵列系统盘和数据盘分开。刚开始嫌贵后来发现这笔钱是最值得花的。一个标准训练数据集的读取带宽至少要到GB/s级别如果达不到训练过程中的数据等待时间会大得吓人。实测下来从机械盘换到NVMe同样的训练任务数据加载时间从十几分钟压缩到了几十秒体验完全不是一个量级。还有网络这个最容易在选型阶段被忽略。如果你只有一台服务器那内部网络就是卡间互联的事。但如果你规划的是几台服务器组成的集群那服务器之间的网络就必须重视。AI分布式训练里节点间通信频繁推荐至少上RoCE或者InfiniBand方案带宽从200G起步。我有个朋友图省钱用了普通的万兆以太网结果一上分布式训练通信时间比计算时间还长整个集群效率低到怀疑人生。然后是整机结构。这部分我建议直接问供应商几个问题散热方案是风冷还是液冷最大支持几张全高全长双宽GPU卡电源冗余是不是N1PCIe扩展槽位还有没有富余这些问题如果答不上来或者含含糊糊基本可以判断这家的方案就是贴牌攒机没什么自主研发能力。我给一个简单的配置参考表这是我后来验证过比较稳的一套方案供大家参考部件推荐配置理由CPU双路单颗32核以上全核睿频3.0GHz以上数据处理和指令调度不吃亏内存512G起步DDR516通道ECC满足大数据预处理冗余充足系统盘2块480G NVMeRAID1系统安全和速度兼顾数据盘多块3.84T NVMe按容量和吞吐需求组合训练数据读取不掉链子GPU按前文需求定8卡为主流兼顾性能与机箱内互联网络双口25G网卡起步集群上RoCE多机通信不拖后腿电源冗余电源转换效率白金级稳定性兜底省电费散热优先液冷或强风冷方案长时间高负载不掉频4. 机架的演进是我这次选型里最意外的变量先说明一下我说的“机架”不是那种放交换机的普通网络机柜。AI服务器的机架和传统机柜有着天壤之别。最初我压根没把机架当回事觉得不就是个铁柜子嘛哪家不能买。直到供电和散热方案那边给了我一堆限制条件我才意识到机架选型才是整个基础设施里最难缠的部分。传统数据中心的标准机柜一般按4到8千瓦功率密度来设计。这个密度跑普通业务服务器绰绰有余但AI服务器完全不是这个量级。一台8卡的高端训练服务器满载功耗轻松上到6到10千瓦一个42U的机柜如果塞两台功率密度直接干到15到20千瓦。这时候传统机柜的供电能力、散热能力全面告急。我专门查了下市面上主流的AI服务器机架方案发现这个品类的演进方向已经从“能装下服务器”变成了“能喂饱服务器”。机架演进里第一个大变化是供电。老式机柜一条PDU走天下AI机架现在推荐上整柜式母线配电单柜支持功率往30千瓦以上走。这不仅是换一根粗电线的问题而是从配电柜到机柜内的整个链路都要重新设计。我这次选机架的时候直接让供应商把机柜的母线规格、断路器容量、接地方案全部书面化作为验收条款写进合同。第二个大变化是散热。前几年风冷还能勉强压住最近这两年GPU的功耗涨得太快纯风冷方案已经压不太住了。现在的趋势是液冷机架通过冷板直接给GPU散热或者用浸没式液冷把整台服务器泡在冷却液里。液冷机架的好处不只是散热效率高还能大幅降低风扇转速噪音小机房不用像以前那样开足空调猛吹。但是液冷也有坑最典型的是漏液风险和维护复杂度。选液冷方案一定要确认供应商有没有成熟的漏液检测和自动切断机制不然半夜漏液烧了设备哭都来不及。第三个变化是布线和管理。AI服务器因为要跑高速互联柜内线缆的数量和规格都远超普通机架。传统的凌乱走线在AI机架里行不通了因为线缆太粗太密会影响气流组织进而影响散热。现在比较成熟的方案是采用正交架构或者顶部走线槽把数据线和电源线分离维护的时候不用在蜘蛛网里找线。机架演进这个话题提醒了我一件事AI服务器从来不是“买一台机器”这么简单它是一个包含供电、散热、布线、运维的整体系统。我这次特意在签合同之前让供应商带着机架方案到我们机房现场勘测了一遍确认了地板承重、空调出风方向、UPS容量、备用柴油发电机这些现场条件全部匹配以后才最终拍板。如果你跳过这一步等机器进场了才发现机柜放不下、电力带不动那种痛苦我不想再经历第二次。5. 供应商的方案别照单全收拆开看这五个地方销售给的方案永远是“最好的配置最贵的价格”。我能理解他们的立场但作为掏钱的人必须学会拆方案。我把供应商方案里最容易藏水分的地方归纳成五块看完这五块基本就能判断这家供应商是靠谱还是忽悠。第一GPU的“整卡”和“模组”要分清。同样型号的GPU有原厂整卡也有第三方模组散热设计、功耗调校、保修政策完全不一样。有些方案报价低猫腻就藏在这里。整卡和模组都用过之后我的感受是大厂原厂整卡在长时间负载下的稳定性明显更让人放心出了问题保修也很干脆这笔差价值得花。第二CPU和内存的“品牌后缀”要抠细节。同样是512G内存普通条和带ECC的服务器内存价格差一大截同样是CPU盒装和散片价格也有区别。方案上如果只写“512G内存”而不标明是否ECC、是否服务器认证那后面大概率会给你用桌面级配件鱼目混珠。第三存储的“读写性能”不能只看容量。两块都是4TB的NVMe盘QLC和TLC的写入寿命和持续性能差别很大。AI训练的数据集经常反复读取和写入QLC盘用久了性能衰减非常明显。我在方案里直接要求供应商明确标注硬盘类型不接受“NVMe”这种模糊表述。第四网络方案要看“端口数×速率”而不是“支持万兆”这种话。支持万兆和标配万兆完全是两码事很多低价方案默认只给千兆口要上万兆得另外加钱。我建议直接把网络配置做成表格一步步确认管理口几个、业务口几个、每个口的速率是多少、光模块含不含。全部落实在纸面上不给供应商发挥空间。第五售后的“服务等级”要和业务匹配。AI服务器故障一次影响的是整个研发进度和线上服务。你要在合同里明确硬件故障多久响应、备件多久到位、远程支持是7×24还是工作日5×8。很多供应商报价便宜是因为售后标准放得很低出了问题你才知道什么叫叫天天不应。我这次最后选供应商的时候特意把五家方案的参数做了个横向对比表把每一项都拆到最小颗粒度最后发现最低价和次低价之间差的主要不是配置而是售后、配件品牌和后期服务。把这些看不见的东西补上价格差距其实并没有那么大。所以我给大家的建议是比价要拆开比只看总价就是被拿捏的开始。6. 交付验收阶段这几件事没做等于裸奔机器选好了合同签了等机器到货之后很多人觉得选型工作就结束了。以我的经验来说验收阶段才是避坑的最后一关而且是翻车率极高的一关。开箱验货的第一步是核对序列号和配置清单。这事听起来很蠢但真的有人因为没核对用了好几个月才发现某块硬盘的型号和合同不一致。我会让运维同事把所有核心部件的序列号、固件版本、出厂日期逐一记录下来和合同附件对比一旦有出入立刻联系供应商。第二步是跑稳定性压力测试。新机器不能直接上线跑业务必须先做烧机测试。我们当时用压力测试工具把CPU、内存、GPU、存储全部拉满连续跑了72小时。重点观察这几个数据GPU温度曲线、核心频率是否出现明显掉频、内存报错次数、硬盘健康状态。如果72小时内一切平稳基本可以放心如果中途出现死机、报错、掉卡一定要在验收期内让供应商解决不解决就拒绝签验收单。第三步是验证多卡通信带宽和分布式训练效率。单卡测试通过不代表多卡没问题。我们用分布式训练的标准benchmark连续跑了几轮对比4卡、8卡情况下的加速比。如果8卡相对4卡的加速比远低于理论值就要检查是不是卡间互联有问题或者驱动调校不到位。这一步能暴露很多“单卡看着没毛病一上集群就露馅”的深层问题。第四步是建立监控告警体系。AI服务器的监控和普通服务器不太一样要重点盯GPU利用率、显存占用、温度、功耗、NVLink状态以及各卡之间的通信延时。我们上线了一套监控面板把这些指标全部可视化设置了告警阈值。比如GPU温度超过80度就告警、某张卡的利用率长期低于10%也要提示去查原因。别嫌麻烦等出了问题再回头查日志那代价可就大了。第五步是人。机器到货那天我就让供应商安排了一次详细的培训把我们自己的运维和算法同事都拉过去听。内容包括常见故障怎么判断、日志怎么看、驱动和固件怎么升级、备件怎么申请。以前我总觉得培训这种事可以缓一缓后来发现机器跑起来再临时问供应商人家响应慢得能急死人。提前把这些能力沉淀在自己团队后面所有事情都顺畅。我经历过一次很深刻的教训上一批机器验收时没做足压力测试等业务上线了才发现其中一张卡在负载达到一定程度以后就会掉驱动查了很久才定位是硬件故障。返修又等了快半个月整个项目进度被严重拖累。从那以后我把验收流程写成了公司采购的标准动作每次新机器到货都必须完整执行这是花小钱省大钱的事。7. 如果再选一次我会这么安排整体节奏回头看我整个选型过程最浪费时间的地方不是比较参数而是在需求不清晰的时候就开始看硬件。如果让我重来一次我会把整体节奏调整成五个阶段每个阶段有明确的目标和产出物。第一阶段是业务梳理大约花一周时间。召集各业务线负责人把近半年的AI需求全部列出来包括数据规模、应用场景、并发预估、性能要求输出一份需求文档。这份文档是整个选型的源头后面的所有技术决策都要能追溯到这里。第二阶段是方案设计大约花两周时间。基于需求文档让供应商出方案同时自己找技术团队做一份内部参考方案。两边一对比供应商方案里那些“超额配置”或者“缩水项”就一目了然了。第三阶段是商务谈判一周时间。把技术方案确定以后再进入价格谈判。谈判前先确定好资金预算的分项把硬件、软件授权、服务、机房改造分开谈避免供应商打包报价让你看不清真实成本。第四阶段是机房准备这个要和方案设计同步开始。机架、电力、散热、网络这些基础设施的改造周期往往比服务器到货周期还长一定要提前启动。我当时最大的教训就是机房的电力增容拖了后腿机器到了只能干等着白白浪费了半个月。第五阶段是到货验收和上线两周时间。严格按照前面说的验收流程走全部通过以后才能真正进业务。这套节奏看着慢其实是最快的。因为它把最容易返工的需求和基础设施环节前置避免后面推倒重来。我见过太多公司从选型到上线只用了不到一个月看起来效率很高结果后面用了半年时间去填坑。算总账的话一点都不划算。最后再说一个选型之外的细节AI服务器的运维门槛比普通服务器高不少。你不仅要会看CPU内存的传统指标还得理解GPU的工作机制、显存管理、分布式训练的通信模式。如果团队里没有这样的人我强烈建议在选型阶段就借力供应商的技术支持让他们帮你把环境调好、教会你的人再走。自由市场上能买到硬件但把硬件用好说到底还是靠人。
1. 先别急着看参数把你公司的真实需求搞清楚再动手说句掏心窝的话我一开始接触“AI服务器”这三个字的时候脑子里飘过的全是各种炫酷的发布会参数、算力翻倍的宣传海报。但等我真坐下来准备拍板的时候发现最大的坑不在GPU型号上而在我们自己身上——公司到底要拿这台服务器干什么这个问题没想清楚后面每一步都是错的。我当时召集了算法、运维、还有业务线的负责人逼着每个人用三句话讲清楚自己的需求不许说“越多越好”这种废话。最后整理下来实际场景无非就这么几类。第一类是模型微调和推理部署。绝大多数公司不是从头训大模型而是在开源模型基础上做领域适配比如我们本来就有客服语料、行业知识库需要让模型懂我们的业务黑话。这类场景的特点是单次训练时间可以容忍但推理延迟必须低并发吞吐要稳得住。它真正吃的是显存容量和内存带宽而不是一味追求峰值算力。第二类是数据处理与向量化。AI项目落地最花时间的往往不是模型训练而是把已有的文档、图片、聊天记录清洗、切片、转成向量。这类任务大部分跑在CPU上GPU反而用得不多但它对内存容量、存储吞吐、数据管道的稳定性要求极高。很多团队在这里翻车买了一台顶级GPU服务器结果数据预处理环节天天OOMGPU空转等数据等于白烧钱。第三类是内部的算法研发与测试。研发团队需要环境做模型试跑、调参、验证新思路这类需求的特点是时间碎片化、环境隔离要求高、并发用户多。这时候你需要的可能不是一台“怪兽级”单机而是一套能切分成多个虚拟环境的算力池。我为什么要先说这个因为服务器的选型从来不是一个纯技术问题它是一个把业务目标翻译成硬件语言的过程。我见过不止一家公司老板听了销售一顿说直接上了8卡满配的机器结果业务根本用不满80%的算力在睡觉每个月的电费倒是真实在涨。还有一种是反过来先买了一台便宜的入门卡等模型一上量发现推理延迟高到没法用又得整个推翻重来浪费的时间比机器钱贵得多。所以我的建议是选型之前先组织一次内部需求盘点会把业务场景、预估并发、数据规模、团队技术水平全部量化打分。这里面最关键的量化指标不是“我们要做多牛的模型”而是“我们现在手里有多少数据未来半年预计增长多少线上用户最多同时来多少请求”。这些问题有了答案你再去谈GPU型号、卡数、网络方案心里就有谱了。另外顺便说一句我在这个阶段就把预算范围定出来了包括硬件采购、机房改造、电力增容、软件授权、运维人力这五笔账分开列。因为AI服务器的成本远远不只是买机器那一笔钱单纯比“单价”是外行才干的事。2. 关于GPU选型我总结的一套“反营销”判断法GPU是整个AI服务器里最贵的部件也是销售话术最密集的地方。什么“算力怪兽”“性能翻倍”“专为AI而生”这些词听多了容易上头。我给自己定了一条死规矩只看四个物理指标——显存容量、显存带宽、计算精度对应的算力、互联带宽。其他花里胡哨的概念都先丢一边。先看显存容量。现在主流的训练卡显存有40G、64G、80G甚至更大的。显存决定了你单卡能装下多大的模型和多大的batch size。如果显存不够模型装不下哪怕计算速度再快也没用就像用一个小杯子去接大桶水水龙头再猛也白搭。具体怎么估算呢一个比较糙的经验公式是模型参数量乘以2FP16权重再乘以1.2到1.5的冗余系数优化器状态、激活值、中间变量都占地方。比如你要微调一个7B参数的模型大概需要7×2×1.5等于21G左右那单卡40G是勉强够用的但如果想跑更大的batch或者加更多上下文长度就得往64G以上考虑了。再看显存带宽。这个指标很多人忽略但推理性能它说了算。模型推理的时候大模型是典型的“带宽饥渴”型负载计算单元经常在等数据从显存里搬过来。带宽越高的卡token生成速度越快。我实测下来同样跑一个7B模型低带宽卡和高带宽卡的首token延迟能差好几倍这直接影响用户体验。然后说计算精度。AI训练常用的精度是FP16、BF16推理量化后可能用FP8、INT8。你要看的是“对应精度下的TFLOPS”而不是厂商宣传的“FP32峰值”。因为AI负载基本不会跑在FP32上宣传页上那个巨大的FP32数字对AI场景参考价值不大。最后是卡间互联带宽。多卡训练时梯度同步、参数交换都是走卡间互联的。如果互联带宽不够8张卡的性能可能也就比4张卡强一点点甚至出现“负优化”。我见过有人选卡的时候只盯着单卡算力没注意卡间互联协议结果训练时卡的利用率只有百分之三四十整个集群跑起来还不如人家少一半卡的效果。这三条硬指标之外我再补充一个很多老板容易忽略的点生态兼容性。选GPU不只是选硬件其实是选一套软件栈。主流的AI框架、分布式训练方案、推理引擎都是围绕特定GPU厂商的生态做优化的。如果你选了一个非主流的路子后续所有工具链都要自己趟坑研发成本会呈指数上升。对大多数公司来说跟着主流生态走是最稳妥的选择别在硬件层面追求“标新立异”。3. 整机配置别只看CPU和内存我踩过最深的坑全在细节里GPU定下来之后很多人觉得万事大吉剩下随便配配就行。这个想法是非常危险的。我第一台服务器的配置单就是吃了这个亏销售给的方案CPU拉满、内存拉满、GPU顶配看着啥都强结果一跑真实负载就各种莫名其妙的问题。先说CPU。好多人以为AI服务器CPU不重要随便来一颗就行。实际上CPU承担的是数据预处理、指令下发、通信调度这些活如果CPU核心数不够、主频太低GPU就会频繁处在“等活干”的状态。举个例子你的数据管道要从硬盘读数据、做解码、做增强、再搬到显存里这一整套流程都是CPU在驱动。CPU慢了GPU再快也只能空转。我当时配的是两颗中高端至强选的时候特意看了全核睿频和PCIe通道数实践证明这个钱不能省。再说内存。内存容量有一个底线至少是显存总容量的1.5到2倍能上2倍以上更好。因为训练的时候CPU侧需要暂存数据、做预处理内存不够就会导致数据搬移阻塞。另外内存通道数和频率也很关键通道数不够同样会把数据通路卡住。别只看内存“多少G”还要看它是几通道、什么频率、支不支持ECC纠错。AI服务器7×24小时高负载跑内存出错的概率比普通服务器高得多ECC这个功能必须有。接下来是存储这是我从“踩坑”名单里拉出来的头号选手。AI负载的数据读取模式很极端动不动就是几百G甚至上T的数据集训练过程中还要反复读取检查点文件。普通的SATA机械盘根本扛不住这种吞吐。我当时配了NVMe全闪阵列系统盘和数据盘分开。刚开始嫌贵后来发现这笔钱是最值得花的。一个标准训练数据集的读取带宽至少要到GB/s级别如果达不到训练过程中的数据等待时间会大得吓人。实测下来从机械盘换到NVMe同样的训练任务数据加载时间从十几分钟压缩到了几十秒体验完全不是一个量级。还有网络这个最容易在选型阶段被忽略。如果你只有一台服务器那内部网络就是卡间互联的事。但如果你规划的是几台服务器组成的集群那服务器之间的网络就必须重视。AI分布式训练里节点间通信频繁推荐至少上RoCE或者InfiniBand方案带宽从200G起步。我有个朋友图省钱用了普通的万兆以太网结果一上分布式训练通信时间比计算时间还长整个集群效率低到怀疑人生。然后是整机结构。这部分我建议直接问供应商几个问题散热方案是风冷还是液冷最大支持几张全高全长双宽GPU卡电源冗余是不是N1PCIe扩展槽位还有没有富余这些问题如果答不上来或者含含糊糊基本可以判断这家的方案就是贴牌攒机没什么自主研发能力。我给一个简单的配置参考表这是我后来验证过比较稳的一套方案供大家参考部件推荐配置理由CPU双路单颗32核以上全核睿频3.0GHz以上数据处理和指令调度不吃亏内存512G起步DDR516通道ECC满足大数据预处理冗余充足系统盘2块480G NVMeRAID1系统安全和速度兼顾数据盘多块3.84T NVMe按容量和吞吐需求组合训练数据读取不掉链子GPU按前文需求定8卡为主流兼顾性能与机箱内互联网络双口25G网卡起步集群上RoCE多机通信不拖后腿电源冗余电源转换效率白金级稳定性兜底省电费散热优先液冷或强风冷方案长时间高负载不掉频4. 机架的演进是我这次选型里最意外的变量先说明一下我说的“机架”不是那种放交换机的普通网络机柜。AI服务器的机架和传统机柜有着天壤之别。最初我压根没把机架当回事觉得不就是个铁柜子嘛哪家不能买。直到供电和散热方案那边给了我一堆限制条件我才意识到机架选型才是整个基础设施里最难缠的部分。传统数据中心的标准机柜一般按4到8千瓦功率密度来设计。这个密度跑普通业务服务器绰绰有余但AI服务器完全不是这个量级。一台8卡的高端训练服务器满载功耗轻松上到6到10千瓦一个42U的机柜如果塞两台功率密度直接干到15到20千瓦。这时候传统机柜的供电能力、散热能力全面告急。我专门查了下市面上主流的AI服务器机架方案发现这个品类的演进方向已经从“能装下服务器”变成了“能喂饱服务器”。机架演进里第一个大变化是供电。老式机柜一条PDU走天下AI机架现在推荐上整柜式母线配电单柜支持功率往30千瓦以上走。这不仅是换一根粗电线的问题而是从配电柜到机柜内的整个链路都要重新设计。我这次选机架的时候直接让供应商把机柜的母线规格、断路器容量、接地方案全部书面化作为验收条款写进合同。第二个大变化是散热。前几年风冷还能勉强压住最近这两年GPU的功耗涨得太快纯风冷方案已经压不太住了。现在的趋势是液冷机架通过冷板直接给GPU散热或者用浸没式液冷把整台服务器泡在冷却液里。液冷机架的好处不只是散热效率高还能大幅降低风扇转速噪音小机房不用像以前那样开足空调猛吹。但是液冷也有坑最典型的是漏液风险和维护复杂度。选液冷方案一定要确认供应商有没有成熟的漏液检测和自动切断机制不然半夜漏液烧了设备哭都来不及。第三个变化是布线和管理。AI服务器因为要跑高速互联柜内线缆的数量和规格都远超普通机架。传统的凌乱走线在AI机架里行不通了因为线缆太粗太密会影响气流组织进而影响散热。现在比较成熟的方案是采用正交架构或者顶部走线槽把数据线和电源线分离维护的时候不用在蜘蛛网里找线。机架演进这个话题提醒了我一件事AI服务器从来不是“买一台机器”这么简单它是一个包含供电、散热、布线、运维的整体系统。我这次特意在签合同之前让供应商带着机架方案到我们机房现场勘测了一遍确认了地板承重、空调出风方向、UPS容量、备用柴油发电机这些现场条件全部匹配以后才最终拍板。如果你跳过这一步等机器进场了才发现机柜放不下、电力带不动那种痛苦我不想再经历第二次。5. 供应商的方案别照单全收拆开看这五个地方销售给的方案永远是“最好的配置最贵的价格”。我能理解他们的立场但作为掏钱的人必须学会拆方案。我把供应商方案里最容易藏水分的地方归纳成五块看完这五块基本就能判断这家供应商是靠谱还是忽悠。第一GPU的“整卡”和“模组”要分清。同样型号的GPU有原厂整卡也有第三方模组散热设计、功耗调校、保修政策完全不一样。有些方案报价低猫腻就藏在这里。整卡和模组都用过之后我的感受是大厂原厂整卡在长时间负载下的稳定性明显更让人放心出了问题保修也很干脆这笔差价值得花。第二CPU和内存的“品牌后缀”要抠细节。同样是512G内存普通条和带ECC的服务器内存价格差一大截同样是CPU盒装和散片价格也有区别。方案上如果只写“512G内存”而不标明是否ECC、是否服务器认证那后面大概率会给你用桌面级配件鱼目混珠。第三存储的“读写性能”不能只看容量。两块都是4TB的NVMe盘QLC和TLC的写入寿命和持续性能差别很大。AI训练的数据集经常反复读取和写入QLC盘用久了性能衰减非常明显。我在方案里直接要求供应商明确标注硬盘类型不接受“NVMe”这种模糊表述。第四网络方案要看“端口数×速率”而不是“支持万兆”这种话。支持万兆和标配万兆完全是两码事很多低价方案默认只给千兆口要上万兆得另外加钱。我建议直接把网络配置做成表格一步步确认管理口几个、业务口几个、每个口的速率是多少、光模块含不含。全部落实在纸面上不给供应商发挥空间。第五售后的“服务等级”要和业务匹配。AI服务器故障一次影响的是整个研发进度和线上服务。你要在合同里明确硬件故障多久响应、备件多久到位、远程支持是7×24还是工作日5×8。很多供应商报价便宜是因为售后标准放得很低出了问题你才知道什么叫叫天天不应。我这次最后选供应商的时候特意把五家方案的参数做了个横向对比表把每一项都拆到最小颗粒度最后发现最低价和次低价之间差的主要不是配置而是售后、配件品牌和后期服务。把这些看不见的东西补上价格差距其实并没有那么大。所以我给大家的建议是比价要拆开比只看总价就是被拿捏的开始。6. 交付验收阶段这几件事没做等于裸奔机器选好了合同签了等机器到货之后很多人觉得选型工作就结束了。以我的经验来说验收阶段才是避坑的最后一关而且是翻车率极高的一关。开箱验货的第一步是核对序列号和配置清单。这事听起来很蠢但真的有人因为没核对用了好几个月才发现某块硬盘的型号和合同不一致。我会让运维同事把所有核心部件的序列号、固件版本、出厂日期逐一记录下来和合同附件对比一旦有出入立刻联系供应商。第二步是跑稳定性压力测试。新机器不能直接上线跑业务必须先做烧机测试。我们当时用压力测试工具把CPU、内存、GPU、存储全部拉满连续跑了72小时。重点观察这几个数据GPU温度曲线、核心频率是否出现明显掉频、内存报错次数、硬盘健康状态。如果72小时内一切平稳基本可以放心如果中途出现死机、报错、掉卡一定要在验收期内让供应商解决不解决就拒绝签验收单。第三步是验证多卡通信带宽和分布式训练效率。单卡测试通过不代表多卡没问题。我们用分布式训练的标准benchmark连续跑了几轮对比4卡、8卡情况下的加速比。如果8卡相对4卡的加速比远低于理论值就要检查是不是卡间互联有问题或者驱动调校不到位。这一步能暴露很多“单卡看着没毛病一上集群就露馅”的深层问题。第四步是建立监控告警体系。AI服务器的监控和普通服务器不太一样要重点盯GPU利用率、显存占用、温度、功耗、NVLink状态以及各卡之间的通信延时。我们上线了一套监控面板把这些指标全部可视化设置了告警阈值。比如GPU温度超过80度就告警、某张卡的利用率长期低于10%也要提示去查原因。别嫌麻烦等出了问题再回头查日志那代价可就大了。第五步是人。机器到货那天我就让供应商安排了一次详细的培训把我们自己的运维和算法同事都拉过去听。内容包括常见故障怎么判断、日志怎么看、驱动和固件怎么升级、备件怎么申请。以前我总觉得培训这种事可以缓一缓后来发现机器跑起来再临时问供应商人家响应慢得能急死人。提前把这些能力沉淀在自己团队后面所有事情都顺畅。我经历过一次很深刻的教训上一批机器验收时没做足压力测试等业务上线了才发现其中一张卡在负载达到一定程度以后就会掉驱动查了很久才定位是硬件故障。返修又等了快半个月整个项目进度被严重拖累。从那以后我把验收流程写成了公司采购的标准动作每次新机器到货都必须完整执行这是花小钱省大钱的事。7. 如果再选一次我会这么安排整体节奏回头看我整个选型过程最浪费时间的地方不是比较参数而是在需求不清晰的时候就开始看硬件。如果让我重来一次我会把整体节奏调整成五个阶段每个阶段有明确的目标和产出物。第一阶段是业务梳理大约花一周时间。召集各业务线负责人把近半年的AI需求全部列出来包括数据规模、应用场景、并发预估、性能要求输出一份需求文档。这份文档是整个选型的源头后面的所有技术决策都要能追溯到这里。第二阶段是方案设计大约花两周时间。基于需求文档让供应商出方案同时自己找技术团队做一份内部参考方案。两边一对比供应商方案里那些“超额配置”或者“缩水项”就一目了然了。第三阶段是商务谈判一周时间。把技术方案确定以后再进入价格谈判。谈判前先确定好资金预算的分项把硬件、软件授权、服务、机房改造分开谈避免供应商打包报价让你看不清真实成本。第四阶段是机房准备这个要和方案设计同步开始。机架、电力、散热、网络这些基础设施的改造周期往往比服务器到货周期还长一定要提前启动。我当时最大的教训就是机房的电力增容拖了后腿机器到了只能干等着白白浪费了半个月。第五阶段是到货验收和上线两周时间。严格按照前面说的验收流程走全部通过以后才能真正进业务。这套节奏看着慢其实是最快的。因为它把最容易返工的需求和基础设施环节前置避免后面推倒重来。我见过太多公司从选型到上线只用了不到一个月看起来效率很高结果后面用了半年时间去填坑。算总账的话一点都不划算。最后再说一个选型之外的细节AI服务器的运维门槛比普通服务器高不少。你不仅要会看CPU内存的传统指标还得理解GPU的工作机制、显存管理、分布式训练的通信模式。如果团队里没有这样的人我强烈建议在选型阶段就借力供应商的技术支持让他们帮你把环境调好、教会你的人再走。自由市场上能买到硬件但把硬件用好说到底还是靠人。
