AI集群Leaf-Spine设计的输入不是“需要多少台交换机”而是一组业务与端点数据节点数量、每节点GPU和训练网卡数量、单端口速率、作业最大规模、跨Leaf通信比例、允许的超售水平以及故障时的性能目标。先固定输入端口预算才可验证。步骤一建立服务器端点表。每个节点记录NIC端口、GPU亲和关系、PCIe根复合体、NUMA位置和目标Rail。这里既决定需要多少Leaf下行口也决定NCCL能否按预期使用多网卡。若主机侧映射错误后续Fabric即使无阻塞也可能出现单Rail过载。步骤二计算Leaf容量。设有效下行能力为D、有效上行能力为UD与U的关系用于描述收敛。计算时要按实际启用的端口速率与数量不应直接使用交换机标称交换容量。Breakout后的子端口、保留口、管理用途以及不同速率混用都要在表中展开。步骤三展开Spine连接矩阵。每台Leaf应连接哪些Spine、每条上联承载多少带宽、共有多少条等价路径都应明确到端口。ECMP提供多路径但大象流哈希仍可能不均总容量不足时增加路径不会凭空增加带宽。对于Rail优化拓扑还要确认同一Rail节点间的跳数与路径符合设计。步骤四计算故障模型。分别移除一条上联、一台Spine和一个网络平面重新计算每台Leaf剩余上行与可用路径。结果要对应业务策略允许训练降速、允许任务重启还是要求故障后保持既定吞吐。N-1只写“网络可用”不够必须量化剩余容量和影响范围。步骤五加入扩容阶段。按机柜或可扩展单元列出第一期、第二期和最终规模检查Leaf服务器端口、Spine下联、跨列光纤、配线架和电力是否同步预留。只预留Leaf空口而没有Spine和布线容量会让第二期扩容变成现网重构。步骤六定义RoCE与可观测性。统一优先级映射、ECN阈值、PFC范围和网卡拥塞控制明确采集端口利用率、队列、ECN标记、PFC暂停、CNP、丢包和链路错误。拓扑预算只能说明容量边界计数器才能解释运行时流量是否按预期分布。验收按层级执行单节点验证PCIe与RDMA同Leaf验证接入跨Leaf验证Spine路径再以接近生产规模的NCCL覆盖并发、长时间运行和链路故障。固定消息大小、进程数、网卡选择与版本比较algbw、busbw、P95/P99波动和GPU等待。最终应输出四份可追溯文件端口连接表、正常与故障容量表、分期扩容表、测试与遥测基线。这样出现掉速时可以从时间点回看具体Leaf、Spine和队列而不是在交换机、网卡与线缆之间反复猜测。
AI集群Leaf-Spine设计的输入不是“需要多少台交换机”而是一组业务与端点数据节点数量、每节点GPU和训练网卡数量、单端口速率、作业最大规模、跨Leaf通信比例、允许的超售水平以及故障时的性能目标。先固定输入端口预算才可验证。步骤一建立服务器端点表。每个节点记录NIC端口、GPU亲和关系、PCIe根复合体、NUMA位置和目标Rail。这里既决定需要多少Leaf下行口也决定NCCL能否按预期使用多网卡。若主机侧映射错误后续Fabric即使无阻塞也可能出现单Rail过载。步骤二计算Leaf容量。设有效下行能力为D、有效上行能力为UD与U的关系用于描述收敛。计算时要按实际启用的端口速率与数量不应直接使用交换机标称交换容量。Breakout后的子端口、保留口、管理用途以及不同速率混用都要在表中展开。步骤三展开Spine连接矩阵。每台Leaf应连接哪些Spine、每条上联承载多少带宽、共有多少条等价路径都应明确到端口。ECMP提供多路径但大象流哈希仍可能不均总容量不足时增加路径不会凭空增加带宽。对于Rail优化拓扑还要确认同一Rail节点间的跳数与路径符合设计。步骤四计算故障模型。分别移除一条上联、一台Spine和一个网络平面重新计算每台Leaf剩余上行与可用路径。结果要对应业务策略允许训练降速、允许任务重启还是要求故障后保持既定吞吐。N-1只写“网络可用”不够必须量化剩余容量和影响范围。步骤五加入扩容阶段。按机柜或可扩展单元列出第一期、第二期和最终规模检查Leaf服务器端口、Spine下联、跨列光纤、配线架和电力是否同步预留。只预留Leaf空口而没有Spine和布线容量会让第二期扩容变成现网重构。步骤六定义RoCE与可观测性。统一优先级映射、ECN阈值、PFC范围和网卡拥塞控制明确采集端口利用率、队列、ECN标记、PFC暂停、CNP、丢包和链路错误。拓扑预算只能说明容量边界计数器才能解释运行时流量是否按预期分布。验收按层级执行单节点验证PCIe与RDMA同Leaf验证接入跨Leaf验证Spine路径再以接近生产规模的NCCL覆盖并发、长时间运行和链路故障。固定消息大小、进程数、网卡选择与版本比较algbw、busbw、P95/P99波动和GPU等待。最终应输出四份可追溯文件端口连接表、正常与故障容量表、分期扩容表、测试与遥测基线。这样出现掉速时可以从时间点回看具体Leaf、Spine和队列而不是在交换机、网卡与线缆之间反复猜测。
