前阵子帮朋友调一套双卡训练环境他收了两张二手RTX 3090特意配了NVLink桥接器结果装完发现链路带宽一直不对折腾到后半夜才定位到问题——桥接器的间距买错了金手指有一半是悬空的。这件事让我意识到很多人对GPU互联的理解还停留在“插上桥接器就能提速”的阶段。其实从PCIe总线到NVIDIA独占的NVLink专用链路再到这两年行业里高频出现的EthLink说法GPU互联已经经历了好几代技术和思路的转变。这篇文章就沿着这条演进线把NVLink的前世今生、双卡3090桥接方案的真实体验以及以太网接棒后的行业趋势一次讲清楚。如果你正在纠结要不要买NVLink桥接器或者在做GPU集群的选型规划这篇文章应该能帮你少走不少弯路。1. 为什么大模型训练把GPU互联推到了台前1.1 单卡的天花板显存和算力总是不够用大模型训练的本质就是在海量参数上反复做矩阵乘法和梯度更新。这两年LLM的参数规模从70亿涨到数千亿带来的直接问题是单张GPU连模型参数都装不下。以Llama 2 70B这个典型开源模型为例光参数用BF16半精度存储就需要约140GB显存而训练时还要额外保存优化器状态AdamW会维护一阶动量和二阶动量算下来光训练状态就超过400GB。一张H100的80GB显存连零头都不够。这就逼出了多卡并行。但多卡并行不是把几张卡拼在一起就能自动加速的它有一个绕不开的代价通信。无论你用哪种并行策略数据都要在GPU之间流动互联链路的带宽和延迟直接决定多卡集群能跑到多高的效率。可以这样理解多张GPU就像一个项目团队开会同步信息的频次越高、同步的数据量越大用来干活的精力就越少。GPU互联就是“开会”的那条通道通道太窄整个团队都会卡在处理信息上。1.2 并行策略五花八门但都依赖通信当前主流的分布式训练并行策略可以归成三类每一类对通信的依赖程度不同。数据并行Data Parallelism每张卡保存一份完整的模型副本消费不同的batch数据。前向计算互不干扰但反向传播后需要把梯度做一次全局AllReduce聚合。模型越大单次梯度同步的数据量越大。张量并行Tensor Parallelism把模型内一个矩阵按行或列切分到多张卡上前向和反向的每个算子都涉及跨卡通信属于通信最密集的方式。流水线并行Pipeline Parallelism把模型按层切成多段每张卡负责其中一段。通信只发生在段与段之间的边界频率较低但可能引发GPU利用率空洞。通信的忙碌程度排序大约是张量并行 数据并行 流水线并行。而像GPT这类超大规模模型训练通常是三种并行混着用。这也意味着互联带宽不够时GPU算得再快也会被通信拖住典型现象就是训练时的GPU利用率上不去大量时间都在等待梯度数据到达。1.3 PCIe为什么不够用在NVLink出现之前GPU之间的数据交换基本依赖PCIe总线。PCIe 4.0 x16的理论双向带宽约64GB/sPCIe 5.0 x16提升到约128GB/s。看数字不算差但在真实多卡场景里PCIe存在两个硬伤。第一个硬伤是共享带宽。PCIe是分层拓扑结构CPU的PCIe通道数量有限多张卡和NVMe盘、万兆网卡都挂在同一棵PCIe树上抢带宽是常态。第二个硬伤是路径延迟。两张卡如果不在同一个CPU直连的端口下数据要走PCIe Switch或跨CPU互联比如UPI总线中转延迟会成倍增加。类比一下PCIe像是城市公交车便宜、通用但要跟一堆人挤一条路NVLink则像地铁专线只跑GPU相关的通信站点少、速度快。这也是为什么NVIDIA从P100开始坚持在自家加速卡上做专用互联链路而不是继续靠PCIe打天下。2. NVLink的演进时间线每一代解决了什么问题2.1 NVLink 1.0到2.0从点到点总线到NVSwitch交换NVIDIA在2016年的P100上首次引入NVLink 1.0提供4条链路双向总带宽160GB/s。每颗GPU通过NVLink直接与另一颗GPU相连形成“点到点”连接打破了PCIe的总线瓶颈。不过第一代NVLink的拓扑还是朴素的环状结构多卡通信要“经过邻居中转”带宽会打折扣。到了2017年的V100NVLink 2.0把链路数增加到6条双向带宽提升到300GB/s。更关键的变化是NVSwitch的引入——这是一颗独立的NVLink交换芯片相当于一个迷你交换机让8张GPU之间实现任意点到点的全互联通信。DGX-1服务器就是依靠NVSwitch让8张V100可以两两直连不再依赖链路上的“顺风车”。从这时起NVLink不再只是加速卡上的几排金手指而是一套真正意义上的互联网络。2.2 NVLink 3.0到4.0带宽翻倍和机群规模扩大2020年的A100带来NVLink 3.0链路数从6条翻倍到12条双向带宽600GB/s。第三代NVSwitch也顺势推出DGX A100平台内的8张GPU可以做到完全全互联任意两张卡之间的通信都能跑满链路带宽。2022年的H100把这一代拉到更极致NVLink 4.0提供18条链路双向带宽900GB/s。这一代NVLink还支持GPU之间的直接点对点通信不再强制依赖NVSwitch。可以看到短短六年时间单卡对外的互联带宽从160GB/s涨到了900GB/s翻了超过5倍可以说几乎追平了同时期PCIe的演进速度而且一直保持数倍领先。NVLink代际代表GPU架构单卡链接数双向带宽关键变化NVLink 1.0P100Pascal4160GB/s首次绕开PCIe点到点直连NVLink 2.0V100Volta6300GB/s引入NVSwitch支持8卡全互联NVLink 3.0A100Ampere12600GB/s链路数翻倍第三代NVSwitchNVLink 4.0H100Hopper18900GB/s支持跨节点带宽逼近1TB/sNVLink 5.0B200Blackwell18单链路翻倍1.8TB/s机柜级互联光互连方案落地2.3 NVLink 5.0与Blackwell把机柜变成一台GPU到了Blackwell这一代B200/GB200NVLink 5.0把双向带宽推到每GPU 1.8TB/s也就是单条链路的带宽又翻了一倍。但比带宽数字更值得关注的是架构变化NVIDIA开始用NVLink把“一个机柜”变成“一台GPU”。以GB200 NVL72为例一个标准机柜里塞进72颗Blackwell GPU通过第五代NVLink和NVSwitch实现全互联。所有72颗GPU共享一个NVLink域任意两颗卡之间都有超高带宽直连。这种“机柜即超级计算机”的设计本质上是把Scale-up纵向扩展的边界从服务器机箱扩大到了整个机柜。NVIDIA甚至已经发布了基于硅光子技术的NVLink光纤互连方案让NVLink域还可以延伸到机房内的多个机柜。这里透露的趋势很明确NVLink不再只属于机箱内部它正在变成一种数据中心级的互连技术。2.4 消费级与专业级的分水岭3090是最后的NVLink游戏卡聊完专业卡必须说消费级市场因为这里有一个对个人开发者影响深远的决定NVIDIA在RTX 30系列之后彻底从游戏卡上砍掉了NVLink。RTX 30系列Ampere架构里只有RTX 3090和RTX 3090 Ti保留了NVLink接口3080、3070、3060全都没有。到了RTX 40系列Ada架构和50系列Blackwell消费版NVLink接口被全部移除。也就是说如果你想在消费级显卡上体验NVLink3090/3090 Ti是最后的选择这也直接导致这几年二手3090在AI爱好者圈子里行情一直很稳。从产品定位角度说这个设计并不难理解游戏场景不太需要GPU间高频通信NVLink增加的硬件成本和桥接器门槛对游戏玩家来说是负收益。NVIDIA刻意拉开消费级与专业级的功能差距让真正有互联需求的企业用户去买A100、H100或者HGX平台。只不过对预算有限的个人AI玩家来说3090就成了“性价比的绝唱”。3. 两张RTX 3090插上NVLink桥接器个人玩家实测记录3.1 为什么偏偏是它24GB显存加最后的NVLink3090被AI玩家盯上核心原因就两个24GB的GDDR6X显存以及它是最后一代支持NVLink的消费级显卡。双卡加起来虽然不会自动变成48GB的统一显存池但在支持张量并行或模型切分的推理/训练框架里两张卡各自负责一半模型计算通过NVLink高频同步中间结果实际能跑的单模型规模确实比单卡大很多。需要特别澄清一个常见误区NVLink不会像RAID硬盘阵列那样把两张卡的显存“合并”成一个48GB的池子。操作系统和驱动层面上两张卡依然是两个独立的CUDA设备你需要依赖PyTorch、vLLM等框架里的张量并行或推理引擎来把模型切分到两张卡上。NVLink的价值在于切分后卡间通信比走PCIe快得多从而让多卡的实际效率接近单卡。3.2 桥接器选型与安装实测如果确定要走3090双卡方案买桥接器的第一件事不是看价格而是看间距。NVIDIA官方GeForce RTX 3090 NVLink桥接器有两个规格3-slot和4-slot对应的是主板上两张显卡插槽之间的物理间距。安装步骤本身不复杂关机断电打开机箱侧板拆下PCIe挡板。把两张3090分别插入主板直连CPU的PCIe x16插槽确认卡扣到位。取出NVLink桥接器对准两张显卡顶部的NVLink金手指先让一头嵌入再均匀用力压下另一头听到清脆的卡入声即可。上电开机安装最新版NVIDIA驱动。驱动就绪后用下面两条命令验证链路状态# 查看NVLink链路数量和带宽状态 nvidia-smi nvlink -s # 查看GPU拓扑和PCIe链路信息 nvidia-smi topo -m正常状态会显示两张卡之间的NVLink链路数为23090有2条NVLink链路带宽字段显示正常。如果链路数为0先确认桥接器间距是否匹配、金手指是否完全贴合再检查驱动版本是否过旧。3.3 实测收益不同场景差了多少我把这套双卡3090方案放在三个场景里实测过结果差异很大值得你参考。LLM推理vLLM Tensor Parallelism2这是NVLink收益最明显的场景。跑7B参数模型时模型切成两半分别放两张卡PreFill阶段和Decode阶段都要高频交换中间激活值。实测相比纯PCIe通信单token生成延迟大约能降低30%到50%吞吐接近翻倍。大模型微调LoRA/QLoRA收益取决于batch size。batch越大梯度同步占比越小NVLink的边际收益越小。实测在batch size1时收益明显加大到8以上后NVLink和PCIe的差距被训练计算时间摊薄感知不强。常规图像模型训练数据并行这个时候两张卡只需要在每轮迭代结束后AllReduce一次梯度通信频率低NVLink相对PCIe的优势几乎体现不出来。这组实测说明一个很值得记住的原则NVLink不是保险它只在通信密集场景才值回票价。买之前先想清楚——你要跑的模型是否切分到多卡上、切分后的通信频率高不高这比纠结买哪款桥接器重要得多。3.4 双卡3090避坑清单除了桥接器间距我在实际使用中还踩过这些坑列出来供参考电源功率3090单卡峰值功耗能到350W以上双卡整机建议1000W以上的金牌电源否则负载一高就黑屏重启。散热风道两张3090挨在一起发热非常恐怖。建议选散热设计不越肩的主板卡位机箱后部和顶部风扇配足有条件开侧板或加装机箱风扇。NVLink桥接器本身紧贴显卡顶部如果卡位太近风道会更差。系统选择LinuxUbuntu 20.04/22.04下驱动和CUDA的支持最省心。Windows下虽然也能用但遇到显存占用不释放、驱动崩溃的概率高不少。主板和CPU通道两张卡必须插在直连CPU的PCIe x16插槽插到PCH芯片组转接的插槽会导致带宽翻倍下降NVLink也救不回来。4. EthLink的实质当GPU互联走出机箱以太网接棒4.1 先厘清概念EthLink不是某个单一产品这两年“EthLink”这个热词的曝光度直线上升但严格说它没有对应的官方产品名。它更像行业和社区对“基于以太网的GPU互联方案”的概括性称呼核心指向两个方向一个是RoCERDMA over Converged Ethernet即基于以太网的远程直接内存访问技术另一个是NVIDIA近两年大力推广的Spectrum-X以太网AI平台。简而言之EthLink方案的任务是把NVLink擅长的“GPU直连GPU”式高速通信拓展到机柜之外、跨越交换机的更大规模。有一个点必须强调EthLink不是要取代NVLink。它取代的反而是传统意义上的InfiniBand——那套性能优异但极其昂贵的专用高性能网络。以太网的优势在于生态成熟、价格亲民、兼容性好同时RoCE技术在性能上已经追到了“够用”的水平这让“用以太网做AI集群网络”在这两年从一个边缘话题变成主流选项。4.2 RoCE为什么能扛起GPU通信要理解RoCE得先理解RDMA。传统网络通信走的是TCP/IP协议栈数据从GPU显存到CPU内存再经过操作系统内核、网卡驱动层层拷贝和封装最后才发出去。这个过程中的CPU占用、内存拷贝延迟在GPU高频率的AllReduce通信下是不可接受的。RDMA的思路是让网卡“绕过CPU和操作系统”直接从发送端的内存甚至GPU显存把数据搬到接收端的内存。结合NVIDIA的GPUDirect RDMA技术网卡可以跳过CPU内存直接读写GPU显存通信路径从“GPU→CPU→内核→网卡→交换机…”压缩成“GPU→网卡→交换机→网卡→GPU”省掉了两次内存拷贝和频繁的内核态切换延迟和CPU占用双双大幅下降。RoCEv2是当前最流行的RDMA实现它把RDMA封装在UDP/IP报文里可以跨三层网络路由扩展性和管理便利性比第一代RoCE好很多。要让它跑得稳底层网络必须做到“无损”——不能丢包因为RDMA对丢包极度敏感一丢包就重传性能断崖式下滑。于是就有了PFC优先级流控、ECN显式拥塞通知、DCQCN等机制从交换机和网卡两个层面把拥塞控制在源头。这也是AI以太网和办公以太网最大的差别所在。4.3 AI以太网和传统以太网的区别在哪很多人会问公司里已经在用以太网了是不是加几台GPU服务器就能跑分布式训练答案是远远不够。传统企业以太网是“尽力而为”的设计拥塞时直接丢包靠上层TCP重传兜底。这种设计对网页浏览、文件共享没问题但对分布式训练这种动不动就要在几百毫秒内完成几十GB零拷贝搬运的“数据洪流”来说完全是灾难。AI以太网在传统以太网基础上做了几层关键改造无损传输通过PFC让交换机为RDMA流量保留专用队列拥塞时暂停发送而不是丢包。智能拥塞控制交换机检测到拥塞就打ECN标记网卡收到后主动降低发送速率避免流冲突。DPU/智能网卡卸载NVIDIA BlueField等DPU把拥塞控制、负载均衡、RoCE处理逻辑从CPU卸载到网卡硬件里让GPU的通信占用不消耗主机CPU算力。可以说传统以太网是“送快递丢件了补发”AI以太网则是“专线冷链物流全程监控温度”成本高一些但能把易碎的货完好送到。4.4 以太网阵营的“合纵连横”UEC联盟意味着什么InfiniBand虽然性能顶尖但它是NVIDIA的封闭生态价格昂贵。为了不让NVIDIA在AI网络领域形成绝对垄断2023年AMD、Broadcom、Cisco、HPE、Meta、Microsoft等巨头联合成立了Ultra Ethernet ConsortiumUEC目标很明确打造一套基于标准以太网、面向AI和高性能计算的开放互联规范。到2024年底UEC成员已经超过30家并且发布了1.0规范涵盖了物理层、链路层、传输层、软件层等多个维度的改进。这件事的行业意义非常大。它意味着“用以太网做GPU集群互联”不再是NVIDIA一家推动的附加功能而是整个IT行业在共同押注的方向。当交换机、网卡、GPU、软件框架都围绕同一套开放标准适配时EthLink类方案的成本会进一步下降部署门槛也会不断降低。5. 混合互联架构与落地选型建议5.1 Scale-up与Scale-out的分工逻辑看完NVLink和EthLink各自的演进你会发现GPU互联的未来不是二选一而是明确的分工协作这叫混合互联架构。Scale-up纵向扩展负责“把一坨更大的任务塞进一台机器”用NVLink把多张GPU高效地拼成一个计算单元让张量并行、流水线并行等对通信要求极高的模式跑得动。它是“把地基打深”。Scale-out横向扩展负责“把机器的数量堆上去”用以太网RoCE/Spectrum-X或InfiniBand把众多计算单元连接成超大规模集群承担数据并行、专家并行等跨节点通信。它是“把楼层盖高”。为什么不能让NVLink一统天下两个原因。一是物理距离和成本NVLink的高速信号目前很难在几十米之外保持稳定而且专用交换设备和线缆的成本远高于以太网。二是扩展性NVLink域的设计目标是一个有限规模的封闭集合比如一个机柜72卡继续扩大需要依赖更高层的网络。反过来仅靠以太网做机内互联又无法满足超低频次通信场景下的性能需求。5.2 不同规模的方案选型参考根据自己的量级选型会比追逐最新的技术名词更有价值。下面是我对不同规模的建议规模典型配置互联方案注意点个人玩家2×RTX 3090机内NVLink桥接确认框架支持张量并行否则NVLink收益有限小团队4×4090 / 4×A6000PCIe 可选NVLink专业卡4090无NVLink多卡靠PCIe带宽注意CPU通道分配中型集群8×A100/H100整机机内NVSwitch机间RoCE/IB网络设计要先画拓扑确认交换机端口数和缓存大型集群GB200 NVL72等机柜内NVLink机柜间Spectrum-X/IB关注NVL72的机柜级NVLink域和外部网络的带宽配比5.3 给个人玩家和小团队的三条实操建议第一先把瓶颈测出来再花钱。很多人一上来就买NVLink桥接器结果程序跑的是单卡或纯数据并行互联根本用不上。我推荐用NCCL官方提供的nvidia-nccl-tests工具跑一遍带宽和延迟测试两条命令就能定位通信瓶颈。实测的带宽和延迟数据比任何理论峰值都更接近真实体感。第二有针对性地选择生态。如果你主要是跑LLM推理和微调优先选择已经实现好张量并行TP/PP的框架比如vLLM、TensorRT-LLM、SGLang等它们对NVLink或网卡通信的利用已经高度优化。如果只是训练自己的CV模型数据并行就够用的话PCIe的带宽并没有想象中那么不堪。第三关注系统设计的整体性。互联只是整个AI系统的一环CPU的PCIe分配、内存带宽、NVMe速度、网卡速率都会成为性能瓶颈。我的经验是在调GPU互联方案前先把nvidia-smi、nvtop、perf这些工具用熟把CPU、内存、I/O的占用情况都看清楚再做优化才不会“头疼医头”。最后分享一点我的实操体会玩GPU互联这几年我最大的感受是技术名词越来越多本质问题始终没变——数据怎么在算力单元之间最高效地流动。从PCIe到NVLink再到如今风口上的EthLink每一步演进都是因为前一种方案满足不了更大规模的算力协作需求。如果你现在打算入手多卡方案我的建议很简单先拿一张卡跑起来打开性能监控看看它的利用率和等待时间再决定要不要加第二张以及用什么方式把它们连起来。工具链上nvidia-smi和nccl-tests是我必用的两个工具它们能帮你跳开所有理论争议直接看到网络的真实状态。选择互联方案本质上还是在回答一道算术题你愿意为“少等几毫秒”花多少钱。答案因人而异但搞清楚题面的人永远比盲目堆硬件的人走得快。
前阵子帮朋友调一套双卡训练环境他收了两张二手RTX 3090特意配了NVLink桥接器结果装完发现链路带宽一直不对折腾到后半夜才定位到问题——桥接器的间距买错了金手指有一半是悬空的。这件事让我意识到很多人对GPU互联的理解还停留在“插上桥接器就能提速”的阶段。其实从PCIe总线到NVIDIA独占的NVLink专用链路再到这两年行业里高频出现的EthLink说法GPU互联已经经历了好几代技术和思路的转变。这篇文章就沿着这条演进线把NVLink的前世今生、双卡3090桥接方案的真实体验以及以太网接棒后的行业趋势一次讲清楚。如果你正在纠结要不要买NVLink桥接器或者在做GPU集群的选型规划这篇文章应该能帮你少走不少弯路。1. 为什么大模型训练把GPU互联推到了台前1.1 单卡的天花板显存和算力总是不够用大模型训练的本质就是在海量参数上反复做矩阵乘法和梯度更新。这两年LLM的参数规模从70亿涨到数千亿带来的直接问题是单张GPU连模型参数都装不下。以Llama 2 70B这个典型开源模型为例光参数用BF16半精度存储就需要约140GB显存而训练时还要额外保存优化器状态AdamW会维护一阶动量和二阶动量算下来光训练状态就超过400GB。一张H100的80GB显存连零头都不够。这就逼出了多卡并行。但多卡并行不是把几张卡拼在一起就能自动加速的它有一个绕不开的代价通信。无论你用哪种并行策略数据都要在GPU之间流动互联链路的带宽和延迟直接决定多卡集群能跑到多高的效率。可以这样理解多张GPU就像一个项目团队开会同步信息的频次越高、同步的数据量越大用来干活的精力就越少。GPU互联就是“开会”的那条通道通道太窄整个团队都会卡在处理信息上。1.2 并行策略五花八门但都依赖通信当前主流的分布式训练并行策略可以归成三类每一类对通信的依赖程度不同。数据并行Data Parallelism每张卡保存一份完整的模型副本消费不同的batch数据。前向计算互不干扰但反向传播后需要把梯度做一次全局AllReduce聚合。模型越大单次梯度同步的数据量越大。张量并行Tensor Parallelism把模型内一个矩阵按行或列切分到多张卡上前向和反向的每个算子都涉及跨卡通信属于通信最密集的方式。流水线并行Pipeline Parallelism把模型按层切成多段每张卡负责其中一段。通信只发生在段与段之间的边界频率较低但可能引发GPU利用率空洞。通信的忙碌程度排序大约是张量并行 数据并行 流水线并行。而像GPT这类超大规模模型训练通常是三种并行混着用。这也意味着互联带宽不够时GPU算得再快也会被通信拖住典型现象就是训练时的GPU利用率上不去大量时间都在等待梯度数据到达。1.3 PCIe为什么不够用在NVLink出现之前GPU之间的数据交换基本依赖PCIe总线。PCIe 4.0 x16的理论双向带宽约64GB/sPCIe 5.0 x16提升到约128GB/s。看数字不算差但在真实多卡场景里PCIe存在两个硬伤。第一个硬伤是共享带宽。PCIe是分层拓扑结构CPU的PCIe通道数量有限多张卡和NVMe盘、万兆网卡都挂在同一棵PCIe树上抢带宽是常态。第二个硬伤是路径延迟。两张卡如果不在同一个CPU直连的端口下数据要走PCIe Switch或跨CPU互联比如UPI总线中转延迟会成倍增加。类比一下PCIe像是城市公交车便宜、通用但要跟一堆人挤一条路NVLink则像地铁专线只跑GPU相关的通信站点少、速度快。这也是为什么NVIDIA从P100开始坚持在自家加速卡上做专用互联链路而不是继续靠PCIe打天下。2. NVLink的演进时间线每一代解决了什么问题2.1 NVLink 1.0到2.0从点到点总线到NVSwitch交换NVIDIA在2016年的P100上首次引入NVLink 1.0提供4条链路双向总带宽160GB/s。每颗GPU通过NVLink直接与另一颗GPU相连形成“点到点”连接打破了PCIe的总线瓶颈。不过第一代NVLink的拓扑还是朴素的环状结构多卡通信要“经过邻居中转”带宽会打折扣。到了2017年的V100NVLink 2.0把链路数增加到6条双向带宽提升到300GB/s。更关键的变化是NVSwitch的引入——这是一颗独立的NVLink交换芯片相当于一个迷你交换机让8张GPU之间实现任意点到点的全互联通信。DGX-1服务器就是依靠NVSwitch让8张V100可以两两直连不再依赖链路上的“顺风车”。从这时起NVLink不再只是加速卡上的几排金手指而是一套真正意义上的互联网络。2.2 NVLink 3.0到4.0带宽翻倍和机群规模扩大2020年的A100带来NVLink 3.0链路数从6条翻倍到12条双向带宽600GB/s。第三代NVSwitch也顺势推出DGX A100平台内的8张GPU可以做到完全全互联任意两张卡之间的通信都能跑满链路带宽。2022年的H100把这一代拉到更极致NVLink 4.0提供18条链路双向带宽900GB/s。这一代NVLink还支持GPU之间的直接点对点通信不再强制依赖NVSwitch。可以看到短短六年时间单卡对外的互联带宽从160GB/s涨到了900GB/s翻了超过5倍可以说几乎追平了同时期PCIe的演进速度而且一直保持数倍领先。NVLink代际代表GPU架构单卡链接数双向带宽关键变化NVLink 1.0P100Pascal4160GB/s首次绕开PCIe点到点直连NVLink 2.0V100Volta6300GB/s引入NVSwitch支持8卡全互联NVLink 3.0A100Ampere12600GB/s链路数翻倍第三代NVSwitchNVLink 4.0H100Hopper18900GB/s支持跨节点带宽逼近1TB/sNVLink 5.0B200Blackwell18单链路翻倍1.8TB/s机柜级互联光互连方案落地2.3 NVLink 5.0与Blackwell把机柜变成一台GPU到了Blackwell这一代B200/GB200NVLink 5.0把双向带宽推到每GPU 1.8TB/s也就是单条链路的带宽又翻了一倍。但比带宽数字更值得关注的是架构变化NVIDIA开始用NVLink把“一个机柜”变成“一台GPU”。以GB200 NVL72为例一个标准机柜里塞进72颗Blackwell GPU通过第五代NVLink和NVSwitch实现全互联。所有72颗GPU共享一个NVLink域任意两颗卡之间都有超高带宽直连。这种“机柜即超级计算机”的设计本质上是把Scale-up纵向扩展的边界从服务器机箱扩大到了整个机柜。NVIDIA甚至已经发布了基于硅光子技术的NVLink光纤互连方案让NVLink域还可以延伸到机房内的多个机柜。这里透露的趋势很明确NVLink不再只属于机箱内部它正在变成一种数据中心级的互连技术。2.4 消费级与专业级的分水岭3090是最后的NVLink游戏卡聊完专业卡必须说消费级市场因为这里有一个对个人开发者影响深远的决定NVIDIA在RTX 30系列之后彻底从游戏卡上砍掉了NVLink。RTX 30系列Ampere架构里只有RTX 3090和RTX 3090 Ti保留了NVLink接口3080、3070、3060全都没有。到了RTX 40系列Ada架构和50系列Blackwell消费版NVLink接口被全部移除。也就是说如果你想在消费级显卡上体验NVLink3090/3090 Ti是最后的选择这也直接导致这几年二手3090在AI爱好者圈子里行情一直很稳。从产品定位角度说这个设计并不难理解游戏场景不太需要GPU间高频通信NVLink增加的硬件成本和桥接器门槛对游戏玩家来说是负收益。NVIDIA刻意拉开消费级与专业级的功能差距让真正有互联需求的企业用户去买A100、H100或者HGX平台。只不过对预算有限的个人AI玩家来说3090就成了“性价比的绝唱”。3. 两张RTX 3090插上NVLink桥接器个人玩家实测记录3.1 为什么偏偏是它24GB显存加最后的NVLink3090被AI玩家盯上核心原因就两个24GB的GDDR6X显存以及它是最后一代支持NVLink的消费级显卡。双卡加起来虽然不会自动变成48GB的统一显存池但在支持张量并行或模型切分的推理/训练框架里两张卡各自负责一半模型计算通过NVLink高频同步中间结果实际能跑的单模型规模确实比单卡大很多。需要特别澄清一个常见误区NVLink不会像RAID硬盘阵列那样把两张卡的显存“合并”成一个48GB的池子。操作系统和驱动层面上两张卡依然是两个独立的CUDA设备你需要依赖PyTorch、vLLM等框架里的张量并行或推理引擎来把模型切分到两张卡上。NVLink的价值在于切分后卡间通信比走PCIe快得多从而让多卡的实际效率接近单卡。3.2 桥接器选型与安装实测如果确定要走3090双卡方案买桥接器的第一件事不是看价格而是看间距。NVIDIA官方GeForce RTX 3090 NVLink桥接器有两个规格3-slot和4-slot对应的是主板上两张显卡插槽之间的物理间距。安装步骤本身不复杂关机断电打开机箱侧板拆下PCIe挡板。把两张3090分别插入主板直连CPU的PCIe x16插槽确认卡扣到位。取出NVLink桥接器对准两张显卡顶部的NVLink金手指先让一头嵌入再均匀用力压下另一头听到清脆的卡入声即可。上电开机安装最新版NVIDIA驱动。驱动就绪后用下面两条命令验证链路状态# 查看NVLink链路数量和带宽状态 nvidia-smi nvlink -s # 查看GPU拓扑和PCIe链路信息 nvidia-smi topo -m正常状态会显示两张卡之间的NVLink链路数为23090有2条NVLink链路带宽字段显示正常。如果链路数为0先确认桥接器间距是否匹配、金手指是否完全贴合再检查驱动版本是否过旧。3.3 实测收益不同场景差了多少我把这套双卡3090方案放在三个场景里实测过结果差异很大值得你参考。LLM推理vLLM Tensor Parallelism2这是NVLink收益最明显的场景。跑7B参数模型时模型切成两半分别放两张卡PreFill阶段和Decode阶段都要高频交换中间激活值。实测相比纯PCIe通信单token生成延迟大约能降低30%到50%吞吐接近翻倍。大模型微调LoRA/QLoRA收益取决于batch size。batch越大梯度同步占比越小NVLink的边际收益越小。实测在batch size1时收益明显加大到8以上后NVLink和PCIe的差距被训练计算时间摊薄感知不强。常规图像模型训练数据并行这个时候两张卡只需要在每轮迭代结束后AllReduce一次梯度通信频率低NVLink相对PCIe的优势几乎体现不出来。这组实测说明一个很值得记住的原则NVLink不是保险它只在通信密集场景才值回票价。买之前先想清楚——你要跑的模型是否切分到多卡上、切分后的通信频率高不高这比纠结买哪款桥接器重要得多。3.4 双卡3090避坑清单除了桥接器间距我在实际使用中还踩过这些坑列出来供参考电源功率3090单卡峰值功耗能到350W以上双卡整机建议1000W以上的金牌电源否则负载一高就黑屏重启。散热风道两张3090挨在一起发热非常恐怖。建议选散热设计不越肩的主板卡位机箱后部和顶部风扇配足有条件开侧板或加装机箱风扇。NVLink桥接器本身紧贴显卡顶部如果卡位太近风道会更差。系统选择LinuxUbuntu 20.04/22.04下驱动和CUDA的支持最省心。Windows下虽然也能用但遇到显存占用不释放、驱动崩溃的概率高不少。主板和CPU通道两张卡必须插在直连CPU的PCIe x16插槽插到PCH芯片组转接的插槽会导致带宽翻倍下降NVLink也救不回来。4. EthLink的实质当GPU互联走出机箱以太网接棒4.1 先厘清概念EthLink不是某个单一产品这两年“EthLink”这个热词的曝光度直线上升但严格说它没有对应的官方产品名。它更像行业和社区对“基于以太网的GPU互联方案”的概括性称呼核心指向两个方向一个是RoCERDMA over Converged Ethernet即基于以太网的远程直接内存访问技术另一个是NVIDIA近两年大力推广的Spectrum-X以太网AI平台。简而言之EthLink方案的任务是把NVLink擅长的“GPU直连GPU”式高速通信拓展到机柜之外、跨越交换机的更大规模。有一个点必须强调EthLink不是要取代NVLink。它取代的反而是传统意义上的InfiniBand——那套性能优异但极其昂贵的专用高性能网络。以太网的优势在于生态成熟、价格亲民、兼容性好同时RoCE技术在性能上已经追到了“够用”的水平这让“用以太网做AI集群网络”在这两年从一个边缘话题变成主流选项。4.2 RoCE为什么能扛起GPU通信要理解RoCE得先理解RDMA。传统网络通信走的是TCP/IP协议栈数据从GPU显存到CPU内存再经过操作系统内核、网卡驱动层层拷贝和封装最后才发出去。这个过程中的CPU占用、内存拷贝延迟在GPU高频率的AllReduce通信下是不可接受的。RDMA的思路是让网卡“绕过CPU和操作系统”直接从发送端的内存甚至GPU显存把数据搬到接收端的内存。结合NVIDIA的GPUDirect RDMA技术网卡可以跳过CPU内存直接读写GPU显存通信路径从“GPU→CPU→内核→网卡→交换机…”压缩成“GPU→网卡→交换机→网卡→GPU”省掉了两次内存拷贝和频繁的内核态切换延迟和CPU占用双双大幅下降。RoCEv2是当前最流行的RDMA实现它把RDMA封装在UDP/IP报文里可以跨三层网络路由扩展性和管理便利性比第一代RoCE好很多。要让它跑得稳底层网络必须做到“无损”——不能丢包因为RDMA对丢包极度敏感一丢包就重传性能断崖式下滑。于是就有了PFC优先级流控、ECN显式拥塞通知、DCQCN等机制从交换机和网卡两个层面把拥塞控制在源头。这也是AI以太网和办公以太网最大的差别所在。4.3 AI以太网和传统以太网的区别在哪很多人会问公司里已经在用以太网了是不是加几台GPU服务器就能跑分布式训练答案是远远不够。传统企业以太网是“尽力而为”的设计拥塞时直接丢包靠上层TCP重传兜底。这种设计对网页浏览、文件共享没问题但对分布式训练这种动不动就要在几百毫秒内完成几十GB零拷贝搬运的“数据洪流”来说完全是灾难。AI以太网在传统以太网基础上做了几层关键改造无损传输通过PFC让交换机为RDMA流量保留专用队列拥塞时暂停发送而不是丢包。智能拥塞控制交换机检测到拥塞就打ECN标记网卡收到后主动降低发送速率避免流冲突。DPU/智能网卡卸载NVIDIA BlueField等DPU把拥塞控制、负载均衡、RoCE处理逻辑从CPU卸载到网卡硬件里让GPU的通信占用不消耗主机CPU算力。可以说传统以太网是“送快递丢件了补发”AI以太网则是“专线冷链物流全程监控温度”成本高一些但能把易碎的货完好送到。4.4 以太网阵营的“合纵连横”UEC联盟意味着什么InfiniBand虽然性能顶尖但它是NVIDIA的封闭生态价格昂贵。为了不让NVIDIA在AI网络领域形成绝对垄断2023年AMD、Broadcom、Cisco、HPE、Meta、Microsoft等巨头联合成立了Ultra Ethernet ConsortiumUEC目标很明确打造一套基于标准以太网、面向AI和高性能计算的开放互联规范。到2024年底UEC成员已经超过30家并且发布了1.0规范涵盖了物理层、链路层、传输层、软件层等多个维度的改进。这件事的行业意义非常大。它意味着“用以太网做GPU集群互联”不再是NVIDIA一家推动的附加功能而是整个IT行业在共同押注的方向。当交换机、网卡、GPU、软件框架都围绕同一套开放标准适配时EthLink类方案的成本会进一步下降部署门槛也会不断降低。5. 混合互联架构与落地选型建议5.1 Scale-up与Scale-out的分工逻辑看完NVLink和EthLink各自的演进你会发现GPU互联的未来不是二选一而是明确的分工协作这叫混合互联架构。Scale-up纵向扩展负责“把一坨更大的任务塞进一台机器”用NVLink把多张GPU高效地拼成一个计算单元让张量并行、流水线并行等对通信要求极高的模式跑得动。它是“把地基打深”。Scale-out横向扩展负责“把机器的数量堆上去”用以太网RoCE/Spectrum-X或InfiniBand把众多计算单元连接成超大规模集群承担数据并行、专家并行等跨节点通信。它是“把楼层盖高”。为什么不能让NVLink一统天下两个原因。一是物理距离和成本NVLink的高速信号目前很难在几十米之外保持稳定而且专用交换设备和线缆的成本远高于以太网。二是扩展性NVLink域的设计目标是一个有限规模的封闭集合比如一个机柜72卡继续扩大需要依赖更高层的网络。反过来仅靠以太网做机内互联又无法满足超低频次通信场景下的性能需求。5.2 不同规模的方案选型参考根据自己的量级选型会比追逐最新的技术名词更有价值。下面是我对不同规模的建议规模典型配置互联方案注意点个人玩家2×RTX 3090机内NVLink桥接确认框架支持张量并行否则NVLink收益有限小团队4×4090 / 4×A6000PCIe 可选NVLink专业卡4090无NVLink多卡靠PCIe带宽注意CPU通道分配中型集群8×A100/H100整机机内NVSwitch机间RoCE/IB网络设计要先画拓扑确认交换机端口数和缓存大型集群GB200 NVL72等机柜内NVLink机柜间Spectrum-X/IB关注NVL72的机柜级NVLink域和外部网络的带宽配比5.3 给个人玩家和小团队的三条实操建议第一先把瓶颈测出来再花钱。很多人一上来就买NVLink桥接器结果程序跑的是单卡或纯数据并行互联根本用不上。我推荐用NCCL官方提供的nvidia-nccl-tests工具跑一遍带宽和延迟测试两条命令就能定位通信瓶颈。实测的带宽和延迟数据比任何理论峰值都更接近真实体感。第二有针对性地选择生态。如果你主要是跑LLM推理和微调优先选择已经实现好张量并行TP/PP的框架比如vLLM、TensorRT-LLM、SGLang等它们对NVLink或网卡通信的利用已经高度优化。如果只是训练自己的CV模型数据并行就够用的话PCIe的带宽并没有想象中那么不堪。第三关注系统设计的整体性。互联只是整个AI系统的一环CPU的PCIe分配、内存带宽、NVMe速度、网卡速率都会成为性能瓶颈。我的经验是在调GPU互联方案前先把nvidia-smi、nvtop、perf这些工具用熟把CPU、内存、I/O的占用情况都看清楚再做优化才不会“头疼医头”。最后分享一点我的实操体会玩GPU互联这几年我最大的感受是技术名词越来越多本质问题始终没变——数据怎么在算力单元之间最高效地流动。从PCIe到NVLink再到如今风口上的EthLink每一步演进都是因为前一种方案满足不了更大规模的算力协作需求。如果你现在打算入手多卡方案我的建议很简单先拿一张卡跑起来打开性能监控看看它的利用率和等待时间再决定要不要加第二张以及用什么方式把它们连起来。工具链上nvidia-smi和nccl-tests是我必用的两个工具它们能帮你跳开所有理论争议直接看到网络的真实状态。选择互联方案本质上还是在回答一道算术题你愿意为“少等几毫秒”花多少钱。答案因人而异但搞清楚题面的人永远比盲目堆硬件的人走得快。
