上周当“全球最强GPU程序员Scott Gray离开OpenAI”的消息在技术圈传开时很多人的第一反应是去搜索“Scott Gray是谁”。这恰恰点出了一个有趣的现象在AI浪潮的聚光灯下最受关注的是模型、产品和创始人而那些真正在底层驱动算力极限、让庞大模型得以高效运行的“引擎师”们往往隐于幕后。Scott Gray的离开与其说是一个明星工程师的离职不如说是一个绝佳的契机让我们重新审视一个被长期低估的领域GPU高性能计算HPC与AI系统软件栈的深度优化。这远不止是写几行CUDA代码那么简单它关乎如何将一块价值数十万美元的GPU硬件的潜力压榨到极致决定了AI研发的成本、速度和天花板。很多人对GPU编程的理解可能还停留在“用PyTorch调用.cuda()”或者“找个云服务租张A100”的层面。然而当模型参数从十亿级迈向万亿级当训练集群从几十张卡扩展到上万张卡时真正残酷的挑战才刚刚开始。此时框架本身的抽象层带来的损耗、卡与卡之间通信的瓶颈、内存墙的限制每一个点都可能让训练效率腰斩让百万美金级的算力投入事倍功半。Scott Gray这类顶尖工程师的工作正是在这些深水区搭建桥梁他们解决的不是“能不能跑起来”的问题而是“如何以接近理论极限的效率跑下去”的问题。他的离去像是一声提醒在狂热追逐更大模型的同时我们是否忽略了支撑这一切的、更底层也更坚实的工程能力1. 从“能用GPU”到“榨干GPU”理解性能优化的巨大鸿沟让我们先建立一个基本认知在AI训练中“程序能运行在GPU上”和“程序能高效利用GPU”之间存在着数量级的性能差异。这种差异正是普通应用开发与高性能计算HPC之间的核心分野。1.1 表象与本质你的GPU真的在“计算”吗当你运行一个深度学习训练脚本时通过nvidia-smi看到GPU利用率GPU-Util接近100%很多人会认为硬件已经满载。但这可能是一个极具迷惑性的表象。GPU利用率高仅表示流处理器SM处于忙碌状态但忙碌的内容可能包括低效的内存访问频繁在GPU的全局内存、共享内存、寄存器之间搬运数据而计算单元在等待数据即“内存墙”问题。控制流分歧Thread Divergence同一个线程束Warp通常是32个线程中的线程执行了不同的代码路径导致部分线程空转SIMD单指令多数据优势无法发挥。核函数启动开销与串行操作大量细碎的小核函数Kernel启动或者训练循环中掺杂了必须在CPU上执行的序列化操作如某些数据预处理、日志记录导致GPU计算流频繁中断形成“气泡”。真正的“高效”追求的是计算密度在单位时间内让GPU的计算核心FP32/FP64/Tensor Cores执行尽可能多的有效浮点运算FLOPs。这要求数据从显存被精准、连续、对齐地喂给计算单元并且计算指令的流水线被充分填满。1.2 软件栈的深度从Python到硅片现代AI训练是一个极其复杂的软件栈理解每一层的角色和损耗是优化的第一步应用层如PyTorch脚本用户编写的前向传播、损失计算、反向传播逻辑。这里的设计如模型结构、算子组合决定了计算的“计算图”。框架层如PyTorch, TensorFlow将Python代码表示的动态图或静态图转换为一系列高级算子如matmul,conv2d的调用。框架自带自动微分、内存管理和调度。算子库层如cuDNN, cuBLAS, CUTLASS由NVIDIA等厂商提供的、针对GPU架构高度优化的基础计算库。绝大多数框架的算子最终会调用它们。编译器层如PyTorch的TorchScript, JAX的JIT, CUDA C编译器将高级算子或用户自定义的核函数编译成GPU可执行的PTX并行线程执行指令再进一步优化为特定GPU架构的SASS微码。编译器的优化能力如循环展开、内存合并访问判断至关重要。驱动与运行时层CUDA Runtime, Driver管理GPU硬件资源显存、流、事件调度核函数执行。硬件层GPU执行最终的指令流。不同架构如Ampere, Hopper的SM设计、Tensor Core、内存层次L1/L2缓存、HBM特性不同需要针对性地优化。Scott Gray这样的工程师其强大之处在于能穿透这整个栈进行思考和优化。他们不仅能在第1层设计更高效的模型更能深入到第3、4层甚至重写部分算子库或编译器逻辑以消除层与层之间不匹配带来的性能损耗。例如框架可能将一个操作分解为多个标准算子的调用但这会引入额外的内存读写和核函数启动开销。一个深度的优化可能是直接编写一个融合算子Fused Kernel将多个操作在一个核函数内完成从而大幅减少全局内存访问和开销。2. 超越单卡分布式训练中的“隐形杀手”当模型大到单张GPU无法容纳时我们就进入了分布式训练的领域。这里的问题从“如何榨干一张卡”变成了“如何让成千上万张卡像一张卡那样高效工作”。效率的瓶颈往往从计算转移到了通信。2.1 通信模式与代价主要的并行范式和数据通信模式包括数据并行每张卡都有完整的模型副本处理不同的数据批次之后需要同步梯度。通信量正比于模型参数量。使用All-Reduce操作进行同步。模型并行张量并行将模型的单个层如Transformer的FFN层或注意力头切分到多张卡上。同一层的前向/反向传播过程中卡与卡之间需要频繁通信激活值或梯度。通信发生在每个层内部延迟敏感。流水线并行将模型的不同层分配到不同的卡上像一个流水线。需要精细地微批次Micro-batch调度来掩盖气泡Bubble即某些卡等待数据的时间。混合并行大型系统如GPT-4的训练通常是以上三种的复杂组合。通信的代价由**带宽Bandwidth和延迟Latency**共同决定。即使拥有InfiniBand这样的高速网络糟糕的通信模式编排例如大量小数据量的同步操作而非少量大数据量的聚合操作也会导致GPU大部分时间在等待而非计算。2.2 系统性优化从库到调度顶尖的优化工作发生在这里通信库优化NVIDIA的NCCL库是GPU间通信的基石。优化NCCL的算法使其更好地利用网络拓扑如NVLink、InfiniBand的层次结构减少通信步数是核心工作。例如针对All-Reduce操作根据数据大小和集群规模在Ring、Tree等算法间动态选择最优策略。计算-通信重叠理想状态下GPU在计算下一批数据的同时能通过DMA引擎异步地将上一批数据的通信任务完成。这需要极其精细的流Stream管理和任务依赖关系控制。全局调度与容错在万卡集群上节点故障是常态。训练框架需要能自动检测故障、保存检查点、重新调度任务并且尽可能不影响整体进度。这本身就是一个复杂的分布式系统问题。OpenAI能够训练SOTA模型不仅仅是因为它有钱买卡更是因为它拥有一套能够稳定、高效调度数千张GPU的软件基础设施。这套系统的构建和维护离不开Scott Gray这样深谙GPU硬件、网络和分布式系统原理的工程师。3. 面向特定硬件的极限优化以Tensor Core为例现代GPU如NVIDIA的V100、A100、H100最大的性能飞跃来自于专用计算单元如Tensor Core张量核心。它们为矩阵乘加运算MMA提供了远超传统CUDA Core的吞吐量。但“拥有”Tensor Core和“用好”Tensor Core是两回事。3.1 挑战数据布局与计算形状Tensor Core对输入数据的格式如FP16, BF16, INT8、在内存中的布局如Row-major, Column-major, Tensor Core喜欢的特定Tile格式以及计算矩阵的形状M, N, K维度有严格的要求。如果框架或算子库提供的计算模式不符合这些要求Tensor Core要么无法被调用要么效率低下。例如一个常见的性能陷阱是由于模型结构或算子实现的原因矩阵乘法的维度尤其是K维度不是Tensor Core最优Tile大小的整数倍。这会导致部分计算退回到效率较低的CUDA Core上执行俗称“Tile量化损失”。3.2 实践从CUTLASS到Triton为了应对这种挑战出现了更底层的工具CUTLASSNVIDIA开源的CUDA C模板库用于实现高性能的矩阵乘法GEMM和相关计算。它允许开发者精细地控制循环展开、数据预取、共享内存使用和指令流水线以针对特定的Tensor Core和数据类型生成近乎手写汇编级别效率的核函数。Scott Gray本人就是CUTLASS的重度使用和贡献者。Triton一种开源的GPU编程语言和编译器由OpenAI发布它提供了一个比CUDA C更高层但比PyTorch算子更底层的抽象。开发者可以用类Python的语法编写高效的核函数Triton编译器会自动处理很多复杂的优化如自动向量化、共享内存管理和流水线调度。它大大降低了编写高性能、融合算子的门槛。这些工具的出现并没有让底层优化变得简单而是将竞争推向了更专业的层面。它意味着未来能最大化硬件性能的团队将是那些既懂算法又懂如何用这些工具将算法“翻译”成最优硬件指令的团队。4. 对开发者与行业的启示我们该关注什么Scott Gray的离开是一个个案但其背后反映的趋势值得每一位身处AI领域的开发者思考。4.1 对个人开发者构建“垂直深度”对于大多数开发者成为Scott Gray这样的全栈性能之神并不现实。但我们可以构建自己的“垂直深度”建立性能分析思维善用性能剖析工具如PyTorch Profiler、NVIDIA Nsight Systems、Nsight Compute。不要猜测瓶颈要测量。学会阅读时间线轨迹和性能指标定位是计算、内存还是通信出了问题。理解计算约束学习基础的高性能计算概念如计算强度Arithmetic Intensity、内存层次、数据局部性。在模型设计时就有意识地思考“这个操作对GPU友好吗”掌握一门底层工具尝试学习使用Triton编写一个简单的融合算子或者用CUTLASS理解GEMM的优化原理。即使不用于生产这个过程也能极大地加深对硬件执行模型的理解。关注系统层面学习分布式训练的基本原理和框架如PyTorch DDP, FSDP, DeepSpeed。理解不同并行策略的代价能在设计大规模模型时做出更明智的权衡。4.2 对团队与公司投资“基础设施”对于研发团队和企业而言启示更为直接性能即成本在云上训练效率直接换算成美元。一个30%的性能提升可能意味着数百万美元的成本节约。投资于底层优化工程师往往比单纯购买更多算力具有更高的投资回报率。软硬件协同设计未来的AI芯片如TPU, NPU, 其他国产GPU会越来越多。闭眼使用CUDA生态可能不再是最优解。需要有团队能深入新硬件的软件栈进行定制化优化甚至影响硬件的设计方向。构建护城河当大家都在使用相同的开源模型架构如Transformer时谁能以更低的成本、更快的速度进行训练和推理谁就能获得迭代优势。这套高效的训练系统本身就是一个强大的技术护城河。4.3 开源生态与未来Scott Gray的很多工作如对CUTLASS、Triton的贡献都以开源形式回馈了社区。这揭示了一个良性循环顶尖人才在解决工业级规模问题时产生的工具和方法会下沉到开源社区赋能整个行业。作为普通开发者积极学习和使用这些开源工具就是站在了巨人的肩膀上。同时我们也看到像MLIR、Apache TVM这样的编译器基础设施正在崛起。它们的目标是构建一个通用的中间表示层将来自不同框架PyTorch, TensorFlow, JAX的模型自动编译和优化到任何后端硬件GPU, CPU, ASIC。这或许是解决AI计算碎片化的长远方向但其成熟仍需时间且最终仍需要深谙硬件特性的工程师来编写优化规则。回到开头的事件一位顶尖工程师的离职之所以能成为新闻是因为他代表了一种稀缺且关键的能力维度。在AI从“炼金术”走向“工程学”的过程中对算力效率的极致追求将越来越从可选项变为必选项。这不再是一个只属于少数硬件天才的隐秘角落而是每一个希望构建可持续、可扩展AI应用的团队都需要理解和重视的领域。下一次当你启动一个训练任务时或许可以多问一句我的代码真的配得上我租的这张GPU吗
上周当“全球最强GPU程序员Scott Gray离开OpenAI”的消息在技术圈传开时很多人的第一反应是去搜索“Scott Gray是谁”。这恰恰点出了一个有趣的现象在AI浪潮的聚光灯下最受关注的是模型、产品和创始人而那些真正在底层驱动算力极限、让庞大模型得以高效运行的“引擎师”们往往隐于幕后。Scott Gray的离开与其说是一个明星工程师的离职不如说是一个绝佳的契机让我们重新审视一个被长期低估的领域GPU高性能计算HPC与AI系统软件栈的深度优化。这远不止是写几行CUDA代码那么简单它关乎如何将一块价值数十万美元的GPU硬件的潜力压榨到极致决定了AI研发的成本、速度和天花板。很多人对GPU编程的理解可能还停留在“用PyTorch调用.cuda()”或者“找个云服务租张A100”的层面。然而当模型参数从十亿级迈向万亿级当训练集群从几十张卡扩展到上万张卡时真正残酷的挑战才刚刚开始。此时框架本身的抽象层带来的损耗、卡与卡之间通信的瓶颈、内存墙的限制每一个点都可能让训练效率腰斩让百万美金级的算力投入事倍功半。Scott Gray这类顶尖工程师的工作正是在这些深水区搭建桥梁他们解决的不是“能不能跑起来”的问题而是“如何以接近理论极限的效率跑下去”的问题。他的离去像是一声提醒在狂热追逐更大模型的同时我们是否忽略了支撑这一切的、更底层也更坚实的工程能力1. 从“能用GPU”到“榨干GPU”理解性能优化的巨大鸿沟让我们先建立一个基本认知在AI训练中“程序能运行在GPU上”和“程序能高效利用GPU”之间存在着数量级的性能差异。这种差异正是普通应用开发与高性能计算HPC之间的核心分野。1.1 表象与本质你的GPU真的在“计算”吗当你运行一个深度学习训练脚本时通过nvidia-smi看到GPU利用率GPU-Util接近100%很多人会认为硬件已经满载。但这可能是一个极具迷惑性的表象。GPU利用率高仅表示流处理器SM处于忙碌状态但忙碌的内容可能包括低效的内存访问频繁在GPU的全局内存、共享内存、寄存器之间搬运数据而计算单元在等待数据即“内存墙”问题。控制流分歧Thread Divergence同一个线程束Warp通常是32个线程中的线程执行了不同的代码路径导致部分线程空转SIMD单指令多数据优势无法发挥。核函数启动开销与串行操作大量细碎的小核函数Kernel启动或者训练循环中掺杂了必须在CPU上执行的序列化操作如某些数据预处理、日志记录导致GPU计算流频繁中断形成“气泡”。真正的“高效”追求的是计算密度在单位时间内让GPU的计算核心FP32/FP64/Tensor Cores执行尽可能多的有效浮点运算FLOPs。这要求数据从显存被精准、连续、对齐地喂给计算单元并且计算指令的流水线被充分填满。1.2 软件栈的深度从Python到硅片现代AI训练是一个极其复杂的软件栈理解每一层的角色和损耗是优化的第一步应用层如PyTorch脚本用户编写的前向传播、损失计算、反向传播逻辑。这里的设计如模型结构、算子组合决定了计算的“计算图”。框架层如PyTorch, TensorFlow将Python代码表示的动态图或静态图转换为一系列高级算子如matmul,conv2d的调用。框架自带自动微分、内存管理和调度。算子库层如cuDNN, cuBLAS, CUTLASS由NVIDIA等厂商提供的、针对GPU架构高度优化的基础计算库。绝大多数框架的算子最终会调用它们。编译器层如PyTorch的TorchScript, JAX的JIT, CUDA C编译器将高级算子或用户自定义的核函数编译成GPU可执行的PTX并行线程执行指令再进一步优化为特定GPU架构的SASS微码。编译器的优化能力如循环展开、内存合并访问判断至关重要。驱动与运行时层CUDA Runtime, Driver管理GPU硬件资源显存、流、事件调度核函数执行。硬件层GPU执行最终的指令流。不同架构如Ampere, Hopper的SM设计、Tensor Core、内存层次L1/L2缓存、HBM特性不同需要针对性地优化。Scott Gray这样的工程师其强大之处在于能穿透这整个栈进行思考和优化。他们不仅能在第1层设计更高效的模型更能深入到第3、4层甚至重写部分算子库或编译器逻辑以消除层与层之间不匹配带来的性能损耗。例如框架可能将一个操作分解为多个标准算子的调用但这会引入额外的内存读写和核函数启动开销。一个深度的优化可能是直接编写一个融合算子Fused Kernel将多个操作在一个核函数内完成从而大幅减少全局内存访问和开销。2. 超越单卡分布式训练中的“隐形杀手”当模型大到单张GPU无法容纳时我们就进入了分布式训练的领域。这里的问题从“如何榨干一张卡”变成了“如何让成千上万张卡像一张卡那样高效工作”。效率的瓶颈往往从计算转移到了通信。2.1 通信模式与代价主要的并行范式和数据通信模式包括数据并行每张卡都有完整的模型副本处理不同的数据批次之后需要同步梯度。通信量正比于模型参数量。使用All-Reduce操作进行同步。模型并行张量并行将模型的单个层如Transformer的FFN层或注意力头切分到多张卡上。同一层的前向/反向传播过程中卡与卡之间需要频繁通信激活值或梯度。通信发生在每个层内部延迟敏感。流水线并行将模型的不同层分配到不同的卡上像一个流水线。需要精细地微批次Micro-batch调度来掩盖气泡Bubble即某些卡等待数据的时间。混合并行大型系统如GPT-4的训练通常是以上三种的复杂组合。通信的代价由**带宽Bandwidth和延迟Latency**共同决定。即使拥有InfiniBand这样的高速网络糟糕的通信模式编排例如大量小数据量的同步操作而非少量大数据量的聚合操作也会导致GPU大部分时间在等待而非计算。2.2 系统性优化从库到调度顶尖的优化工作发生在这里通信库优化NVIDIA的NCCL库是GPU间通信的基石。优化NCCL的算法使其更好地利用网络拓扑如NVLink、InfiniBand的层次结构减少通信步数是核心工作。例如针对All-Reduce操作根据数据大小和集群规模在Ring、Tree等算法间动态选择最优策略。计算-通信重叠理想状态下GPU在计算下一批数据的同时能通过DMA引擎异步地将上一批数据的通信任务完成。这需要极其精细的流Stream管理和任务依赖关系控制。全局调度与容错在万卡集群上节点故障是常态。训练框架需要能自动检测故障、保存检查点、重新调度任务并且尽可能不影响整体进度。这本身就是一个复杂的分布式系统问题。OpenAI能够训练SOTA模型不仅仅是因为它有钱买卡更是因为它拥有一套能够稳定、高效调度数千张GPU的软件基础设施。这套系统的构建和维护离不开Scott Gray这样深谙GPU硬件、网络和分布式系统原理的工程师。3. 面向特定硬件的极限优化以Tensor Core为例现代GPU如NVIDIA的V100、A100、H100最大的性能飞跃来自于专用计算单元如Tensor Core张量核心。它们为矩阵乘加运算MMA提供了远超传统CUDA Core的吞吐量。但“拥有”Tensor Core和“用好”Tensor Core是两回事。3.1 挑战数据布局与计算形状Tensor Core对输入数据的格式如FP16, BF16, INT8、在内存中的布局如Row-major, Column-major, Tensor Core喜欢的特定Tile格式以及计算矩阵的形状M, N, K维度有严格的要求。如果框架或算子库提供的计算模式不符合这些要求Tensor Core要么无法被调用要么效率低下。例如一个常见的性能陷阱是由于模型结构或算子实现的原因矩阵乘法的维度尤其是K维度不是Tensor Core最优Tile大小的整数倍。这会导致部分计算退回到效率较低的CUDA Core上执行俗称“Tile量化损失”。3.2 实践从CUTLASS到Triton为了应对这种挑战出现了更底层的工具CUTLASSNVIDIA开源的CUDA C模板库用于实现高性能的矩阵乘法GEMM和相关计算。它允许开发者精细地控制循环展开、数据预取、共享内存使用和指令流水线以针对特定的Tensor Core和数据类型生成近乎手写汇编级别效率的核函数。Scott Gray本人就是CUTLASS的重度使用和贡献者。Triton一种开源的GPU编程语言和编译器由OpenAI发布它提供了一个比CUDA C更高层但比PyTorch算子更底层的抽象。开发者可以用类Python的语法编写高效的核函数Triton编译器会自动处理很多复杂的优化如自动向量化、共享内存管理和流水线调度。它大大降低了编写高性能、融合算子的门槛。这些工具的出现并没有让底层优化变得简单而是将竞争推向了更专业的层面。它意味着未来能最大化硬件性能的团队将是那些既懂算法又懂如何用这些工具将算法“翻译”成最优硬件指令的团队。4. 对开发者与行业的启示我们该关注什么Scott Gray的离开是一个个案但其背后反映的趋势值得每一位身处AI领域的开发者思考。4.1 对个人开发者构建“垂直深度”对于大多数开发者成为Scott Gray这样的全栈性能之神并不现实。但我们可以构建自己的“垂直深度”建立性能分析思维善用性能剖析工具如PyTorch Profiler、NVIDIA Nsight Systems、Nsight Compute。不要猜测瓶颈要测量。学会阅读时间线轨迹和性能指标定位是计算、内存还是通信出了问题。理解计算约束学习基础的高性能计算概念如计算强度Arithmetic Intensity、内存层次、数据局部性。在模型设计时就有意识地思考“这个操作对GPU友好吗”掌握一门底层工具尝试学习使用Triton编写一个简单的融合算子或者用CUTLASS理解GEMM的优化原理。即使不用于生产这个过程也能极大地加深对硬件执行模型的理解。关注系统层面学习分布式训练的基本原理和框架如PyTorch DDP, FSDP, DeepSpeed。理解不同并行策略的代价能在设计大规模模型时做出更明智的权衡。4.2 对团队与公司投资“基础设施”对于研发团队和企业而言启示更为直接性能即成本在云上训练效率直接换算成美元。一个30%的性能提升可能意味着数百万美元的成本节约。投资于底层优化工程师往往比单纯购买更多算力具有更高的投资回报率。软硬件协同设计未来的AI芯片如TPU, NPU, 其他国产GPU会越来越多。闭眼使用CUDA生态可能不再是最优解。需要有团队能深入新硬件的软件栈进行定制化优化甚至影响硬件的设计方向。构建护城河当大家都在使用相同的开源模型架构如Transformer时谁能以更低的成本、更快的速度进行训练和推理谁就能获得迭代优势。这套高效的训练系统本身就是一个强大的技术护城河。4.3 开源生态与未来Scott Gray的很多工作如对CUTLASS、Triton的贡献都以开源形式回馈了社区。这揭示了一个良性循环顶尖人才在解决工业级规模问题时产生的工具和方法会下沉到开源社区赋能整个行业。作为普通开发者积极学习和使用这些开源工具就是站在了巨人的肩膀上。同时我们也看到像MLIR、Apache TVM这样的编译器基础设施正在崛起。它们的目标是构建一个通用的中间表示层将来自不同框架PyTorch, TensorFlow, JAX的模型自动编译和优化到任何后端硬件GPU, CPU, ASIC。这或许是解决AI计算碎片化的长远方向但其成熟仍需时间且最终仍需要深谙硬件特性的工程师来编写优化规则。回到开头的事件一位顶尖工程师的离职之所以能成为新闻是因为他代表了一种稀缺且关键的能力维度。在AI从“炼金术”走向“工程学”的过程中对算力效率的极致追求将越来越从可选项变为必选项。这不再是一个只属于少数硬件天才的隐秘角落而是每一个希望构建可持续、可扩展AI应用的团队都需要理解和重视的领域。下一次当你启动一个训练任务时或许可以多问一句我的代码真的配得上我租的这张GPU吗
