AI Infra 入门3 个公式算清大模型推理的算力上限与带宽瓶颈附 4090 / A100 / H100 手算过程摘要大模型推理慢到底慢在哪本文从最基础的两个公式出发推导出 MFU / MBU 的定义再以「70B 模型 FP8 精度」为例手算 RTX 4090、A100、H100 三张卡的访存时间与计算时间最后给出结论当前大模型推理的瓶颈几乎永远在显存带宽不在算力。关键词AI Infra、MFU、MBU、算力瓶颈、显存带宽、Roofline、存算一体一、分析一个 AI 系统该抓哪几个关键字假设某个任务同时需要保存M字节执行F次浮点计算并通过某个存储接口读写R字节。加速器提供容量M2、计算的吞吐量是A接口的带宽是B。首先任何任务要想跑得起来必须先把数据装进去M M21.1 两个时间项任务的总耗时可以被拆成两个互相独立的时间分量T_compute F / A # 计算时间算力决定 T_memory R / B # 访存时间带宽决定T_compute把所有浮点运算做完需要多久T_memory把需要的数据全部搬运一遍需要多久。1.2 怎么衡量利用率MFU 与 MBU有了两个时间项就可以定义两个业界通用的利用率指标MFU F / (A * T_compute) # Model FLOPs Utilization算力利用率 MBU R / (B * T_memory) # Model Bandwidth Utilization带宽利用率MFU回答的是这段时间里算力单元有多少比例在真正干活MBU回答的是这段时间里显存带宽有多少比例在真正跑数据一个系统最理想的状态就是 MFU 和 MBU 同时无限逼近 1。「优化 AI 系统」本质上就是想办法让这两个数字逼近 1。1.3 常见加速器的硬件上限在动手优化之前先看清天花板在哪。以下是三张常见卡的关键参数显卡显存容量显存带宽BF16 矩阵峰值计算读满显存耗时RTX 409024 GB1.008 TB/s165.2 TFLOP/s0.99 ms/GBA100 80GB SXM80 GB2.039 TB/s312 TFLOP/s0.49 ms/GBH100 80GB SXM80 GB3.35 TB/s989.4 TFLOP/s0.30 ms/GB「读满显存耗时」 显存容量 ÷ 显存带宽表示把整张卡的显存完整读一遍至少需要多长时间。这个数字是后面所有估算的基准尺。二、一个具体例子70B 模型跑在 H100 上2.1 权重文件占多大显存假设条件模型参数量 70B精度 FP8。1B 10 亿 10^9所以参数量为70 × 10^9。FP8 每个参数占1 个字节显存占用 70 × 10^9 × 1 Byte 70 × 10^9 Byte ≈ 70 GB结论FP8 精度下70B 模型的权重约占用 70 GB 显存。顺手记住这个估算表面试和方案设计时非常常用FP32 是参数量 × 4FP16/BF16 是× 2FP8 是× 1。2.2 生成一个 token 大概要多久生成一个 token需要经历两个阶段。第一阶段访存。必须把显存里的权重全部搬到计算单元t_mem 70 GB / 3.35 TB/s 70 / 3350 s ≈ 0.0209 s 20.90 ms第二阶段计算。要怎么估计计算量对于一个向量和矩阵的点积每一个权重都经历了一次乘法 一次加法也就是 2 次浮点运算。所以 70B 参数的模型每生成一个 token 需要2 × 70 × 10^9 140 × 10^9 FLOPs 140 GFLOPs这条规律在业界叫「2N 规则」参数为 N 的模型前向传播一次约需要2N次浮点运算。模型越大需要的浮点计算也越多——注意是线性增长。于是计算时间为T_compute 140 GFLOPs / 989.4 TFLOPs/s 140 × 10^9 / 989.4 × 10^12 ≈ 0.14 ms两阶段对比T_mem 20.90 ms T_compute 0.14 ms两者相差 149 倍。2.3 这个 149 倍意味着什么这是全文最重要的一个推论在T_mem和T_compute相差两个数量级的情况下即使把计算时间优化到 0整体性能提升也不到 1%。换句话说算力优化在这个场景下已经彻底没有收益了。大模型的推理瓶颈根本不在 FLOPS而在显存带宽。这也正是当下存算一体Computing-in-Memory芯片如此兴盛的根本原因——既然瓶颈是「搬数据」而不是「算数据」那就干脆把计算搬进存储里省掉搬运这一步。三、三张卡横向对比T_mem 与 T_compute统一计算条件需要搬运的数据量70 GBFP8 权重需要的运算量2 × 70G 140 GFLOPs显卡显存带宽计算峰值T_memT_compute差距倍数RTX 40901.008 TB/s165.2 TFLOP/s69.44 ms0.85 ms82.0×A100 80GB SXM2.039 TB/s312 TFLOP/s34.33 ms0.45 ms76.5×H100 80GB SXM3.35 TB/s989.4 TFLOP/s20.90 ms0.14 ms147.7×逐项计算过程3.1 RTX 4090T_mem 70 / 1008 s 69.44 ms T_compute 140e9 / 165.2e12 0.85 ms3.2 A100 80GB SXMT_mem 70 / 2039 s 34.33 ms T_compute 140e9 / 312e12 0.45 ms3.3 H100 80GB SXMT_mem 70 / 3350 s 20.90 ms T_compute 140e9 / 989.4e12 0.14 ms3.1 换个视角算术强度Arithmetic Intensity上面的「差距倍数」其实不是巧合它可以用一个更普适的指标解释——算术强度即每搬运 1 字节数据能做多少次浮点运算算术强度 计算量 / 访存量 140e9 / 70e9 2 FLOPs/Byte而每张卡也有自己的机器平衡点Machine Balance机器平衡点 计算峰值 / 显存带宽显卡机器平衡点本任务的算术强度判定RTX 4090165.2 / 1.008 163.9FLOPs/Byte2严重访存受限A100312 / 2.039 153.0FLOPs/Byte2严重访存受限H100989.4 / 3.35 295.3FLOPs/Byte2严重访存受限判定规则算术强度 机器平衡点 → 访存受限Memory Bound反之 → 计算受限Compute Bound。我们的任务算术强度只有2而 H100 的平衡点高达295相差近 150 倍——与前面算出的 147.7 倍几乎完全吻合。三张卡无一例外全部是重度的访存受限。四、结论与延伸4.1 三条可带走的结论大模型推理batch size 1 的 decode 阶段是典型的访存受限任务瓶颈在显存带宽而非算力算力优化收益几乎为零。选卡时先看带宽再看算力。H100 相对 A100 的推理加速很大一部分来自 3.35 TB/s vs 2.039 TB/s 的带宽提升约 1.64×而不是算力的 3.17×。算术强度是判断「卡算力还是卡带宽」的通用工具——先算任务的 FLOPs/Byte再算卡的峰值/带宽比大小即可定性。4.2 几点延伸思考Batch Size 会改变结论上面的2N规则对应 batch size 1。当 batch 增大到 B 时计算量变为2NB而访存量仍是N权重只读一次算术强度随之变成2B。当2B超过机器平衡点时任务就会翻转为计算受限——这正是大 batch 推理能提升吞吐的根本原因也是 Continuous Batching 这类技术有效的理论基础。Prefill 与 Decode 是两种负载本文估算的是 decode逐 token 生成而 prefill 阶段要同时处理整段 prompt计算量随序列长度平方级增长更容易变成计算受限。这也是 PD 分离架构流行的原因。FP8 的算力峰值更高本文表格中的算力峰值取的是 BF16 数值而 H100 的 FP8 Tensor Core 稠密算力约是 BF16 的 2 倍约 1979 TFLOP/s。但即便按 FP8 重算T_compute也只是从 0.14 ms 降到 0.07 ms——瓶颈结论完全不变这本身就是「访存受限」最有力的佐证。如果这篇文章对你有帮助欢迎点赞收藏。下一篇会继续聊 KV Cache 的显存开销与 PagedAttention 的优化思路。
AI Infra 入门3 个公式算清大模型推理的算力上限与带宽瓶颈附 4090 / A100 / H100 手算过程摘要大模型推理慢到底慢在哪本文从最基础的两个公式出发推导出 MFU / MBU 的定义再以「70B 模型 FP8 精度」为例手算 RTX 4090、A100、H100 三张卡的访存时间与计算时间最后给出结论当前大模型推理的瓶颈几乎永远在显存带宽不在算力。关键词AI Infra、MFU、MBU、算力瓶颈、显存带宽、Roofline、存算一体一、分析一个 AI 系统该抓哪几个关键字假设某个任务同时需要保存M字节执行F次浮点计算并通过某个存储接口读写R字节。加速器提供容量M2、计算的吞吐量是A接口的带宽是B。首先任何任务要想跑得起来必须先把数据装进去M M21.1 两个时间项任务的总耗时可以被拆成两个互相独立的时间分量T_compute F / A # 计算时间算力决定 T_memory R / B # 访存时间带宽决定T_compute把所有浮点运算做完需要多久T_memory把需要的数据全部搬运一遍需要多久。1.2 怎么衡量利用率MFU 与 MBU有了两个时间项就可以定义两个业界通用的利用率指标MFU F / (A * T_compute) # Model FLOPs Utilization算力利用率 MBU R / (B * T_memory) # Model Bandwidth Utilization带宽利用率MFU回答的是这段时间里算力单元有多少比例在真正干活MBU回答的是这段时间里显存带宽有多少比例在真正跑数据一个系统最理想的状态就是 MFU 和 MBU 同时无限逼近 1。「优化 AI 系统」本质上就是想办法让这两个数字逼近 1。1.3 常见加速器的硬件上限在动手优化之前先看清天花板在哪。以下是三张常见卡的关键参数显卡显存容量显存带宽BF16 矩阵峰值计算读满显存耗时RTX 409024 GB1.008 TB/s165.2 TFLOP/s0.99 ms/GBA100 80GB SXM80 GB2.039 TB/s312 TFLOP/s0.49 ms/GBH100 80GB SXM80 GB3.35 TB/s989.4 TFLOP/s0.30 ms/GB「读满显存耗时」 显存容量 ÷ 显存带宽表示把整张卡的显存完整读一遍至少需要多长时间。这个数字是后面所有估算的基准尺。二、一个具体例子70B 模型跑在 H100 上2.1 权重文件占多大显存假设条件模型参数量 70B精度 FP8。1B 10 亿 10^9所以参数量为70 × 10^9。FP8 每个参数占1 个字节显存占用 70 × 10^9 × 1 Byte 70 × 10^9 Byte ≈ 70 GB结论FP8 精度下70B 模型的权重约占用 70 GB 显存。顺手记住这个估算表面试和方案设计时非常常用FP32 是参数量 × 4FP16/BF16 是× 2FP8 是× 1。2.2 生成一个 token 大概要多久生成一个 token需要经历两个阶段。第一阶段访存。必须把显存里的权重全部搬到计算单元t_mem 70 GB / 3.35 TB/s 70 / 3350 s ≈ 0.0209 s 20.90 ms第二阶段计算。要怎么估计计算量对于一个向量和矩阵的点积每一个权重都经历了一次乘法 一次加法也就是 2 次浮点运算。所以 70B 参数的模型每生成一个 token 需要2 × 70 × 10^9 140 × 10^9 FLOPs 140 GFLOPs这条规律在业界叫「2N 规则」参数为 N 的模型前向传播一次约需要2N次浮点运算。模型越大需要的浮点计算也越多——注意是线性增长。于是计算时间为T_compute 140 GFLOPs / 989.4 TFLOPs/s 140 × 10^9 / 989.4 × 10^12 ≈ 0.14 ms两阶段对比T_mem 20.90 ms T_compute 0.14 ms两者相差 149 倍。2.3 这个 149 倍意味着什么这是全文最重要的一个推论在T_mem和T_compute相差两个数量级的情况下即使把计算时间优化到 0整体性能提升也不到 1%。换句话说算力优化在这个场景下已经彻底没有收益了。大模型的推理瓶颈根本不在 FLOPS而在显存带宽。这也正是当下存算一体Computing-in-Memory芯片如此兴盛的根本原因——既然瓶颈是「搬数据」而不是「算数据」那就干脆把计算搬进存储里省掉搬运这一步。三、三张卡横向对比T_mem 与 T_compute统一计算条件需要搬运的数据量70 GBFP8 权重需要的运算量2 × 70G 140 GFLOPs显卡显存带宽计算峰值T_memT_compute差距倍数RTX 40901.008 TB/s165.2 TFLOP/s69.44 ms0.85 ms82.0×A100 80GB SXM2.039 TB/s312 TFLOP/s34.33 ms0.45 ms76.5×H100 80GB SXM3.35 TB/s989.4 TFLOP/s20.90 ms0.14 ms147.7×逐项计算过程3.1 RTX 4090T_mem 70 / 1008 s 69.44 ms T_compute 140e9 / 165.2e12 0.85 ms3.2 A100 80GB SXMT_mem 70 / 2039 s 34.33 ms T_compute 140e9 / 312e12 0.45 ms3.3 H100 80GB SXMT_mem 70 / 3350 s 20.90 ms T_compute 140e9 / 989.4e12 0.14 ms3.1 换个视角算术强度Arithmetic Intensity上面的「差距倍数」其实不是巧合它可以用一个更普适的指标解释——算术强度即每搬运 1 字节数据能做多少次浮点运算算术强度 计算量 / 访存量 140e9 / 70e9 2 FLOPs/Byte而每张卡也有自己的机器平衡点Machine Balance机器平衡点 计算峰值 / 显存带宽显卡机器平衡点本任务的算术强度判定RTX 4090165.2 / 1.008 163.9FLOPs/Byte2严重访存受限A100312 / 2.039 153.0FLOPs/Byte2严重访存受限H100989.4 / 3.35 295.3FLOPs/Byte2严重访存受限判定规则算术强度 机器平衡点 → 访存受限Memory Bound反之 → 计算受限Compute Bound。我们的任务算术强度只有2而 H100 的平衡点高达295相差近 150 倍——与前面算出的 147.7 倍几乎完全吻合。三张卡无一例外全部是重度的访存受限。四、结论与延伸4.1 三条可带走的结论大模型推理batch size 1 的 decode 阶段是典型的访存受限任务瓶颈在显存带宽而非算力算力优化收益几乎为零。选卡时先看带宽再看算力。H100 相对 A100 的推理加速很大一部分来自 3.35 TB/s vs 2.039 TB/s 的带宽提升约 1.64×而不是算力的 3.17×。算术强度是判断「卡算力还是卡带宽」的通用工具——先算任务的 FLOPs/Byte再算卡的峰值/带宽比大小即可定性。4.2 几点延伸思考Batch Size 会改变结论上面的2N规则对应 batch size 1。当 batch 增大到 B 时计算量变为2NB而访存量仍是N权重只读一次算术强度随之变成2B。当2B超过机器平衡点时任务就会翻转为计算受限——这正是大 batch 推理能提升吞吐的根本原因也是 Continuous Batching 这类技术有效的理论基础。Prefill 与 Decode 是两种负载本文估算的是 decode逐 token 生成而 prefill 阶段要同时处理整段 prompt计算量随序列长度平方级增长更容易变成计算受限。这也是 PD 分离架构流行的原因。FP8 的算力峰值更高本文表格中的算力峰值取的是 BF16 数值而 H100 的 FP8 Tensor Core 稠密算力约是 BF16 的 2 倍约 1979 TFLOP/s。但即便按 FP8 重算T_compute也只是从 0.14 ms 降到 0.07 ms——瓶颈结论完全不变这本身就是「访存受限」最有力的佐证。如果这篇文章对你有帮助欢迎点赞收藏。下一篇会继续聊 KV Cache 的显存开销与 PagedAttention 的优化思路。
