1. 从找卡这件事说起为什么租算力比买卡更考验判断力做AI这行的朋友大概都有过这种体验模型代码写完了数据集也清洗好了结果卡在最后一步——没有卡跑。自己攒机器吧一张高端卡的价格够养一个小团队半年用云平台吧计费方式五花八门稍不留神账单就超出预算。于是GPU算力可租这件事从2023年开始就成了每个做模型的人绕不开的课题。我所在的团队过去两年里前后对接过七八家算力供给方从单卡按小时租到整机柜包月都试过。踩过的坑包括但不限于标称H100实际给的是降频版、网络带宽写的是100G结果实测只有25G、说好的NVLink互联结果跨节点走的是普通以太网。这些经历让我意识到有哪些GPU算力可租这个问题真正难的不是找到供给方而是判断哪份供给说明是可信的、可对接的、能直接跑起训练任务的。这篇内容就是把我整理的一份供给说明拆开来讲。它面向的是正在找算力的团队——不管你是做GPU微调大模型的算法组还是跑FDTD仿真的科研团队或者是做GPU计算加速的工程团队都能从中找到判断供给质量的方法。我会把GPU型号、显存、互联、计费、调度这几个维度逐一拆解告诉你每项参数背后意味着什么以及对接时该问哪些问题。先给一个整体判断当前市面上可租的GPU算力按定位大致分三档。第一档是旗舰训练卡以H100、H200、B300为代表适合大模型预训练和微调第二档是主力计算卡以A100、L40S、昇腾系列为代表适合中等规模训练和推理第三档是消费级和入门计算卡以RTX 4090、A6000为代表适合小规模实验和推理部署。不同档位的卡租用逻辑完全不同下面逐个说。2. 旗舰训练卡H100、H200、B300到底差在哪租的时候怎么选2.1 三代旗舰卡的显存与带宽差异先看最核心的三个型号。H100是2022年发布的Hopper架构旗舰显存80GB HBM3显存带宽约3.35TB/sH200是H100的显存升级版同样Hopper架构但换成了141GB HBM3e带宽提升到约4.8TB/sB300属于Blackwell架构的新一代显存达到288GB HBM3e带宽约8TB/s。这三个数字放在一起看差距是数量级的。为什么显存带宽这么关键打个比方训练大模型就像往一个巨大的水池里注水再抽水显存带宽就是水管的粗细。模型参数和中间激活值都要在显存和计算单元之间来回搬运带宽不够计算单元再强也得等着。实测中同样跑一个70B参数的模型微调H100的吞吐大约是A100的2.5倍而H200因为显存更大能塞下更长的序列在长上下文场景下优势更明显。B300目前可租的供给还比较少价格也高适合有明确大显存需求的场景比如超长上下文训练或者大batch推理。如果你的任务用H200就能跑没必要非上B300性价比不划算。2.2 互联方式NVLink和普通以太网的区别租多卡机器时一定要问清楚卡间互联方式。H100和H200支持NVLink单机内8卡可以做到900GB/s的双向带宽如果跨节点就要看是否配了InfiniBand或者RoCE。我见过一些供给方机器是8卡H100但卡间走的是PCIe带宽只有NVLink的几分之一跑分布式训练时通信成了瓶颈GPU利用率上不去。判断方法很简单让对方提供nvidia-smi topo -m的输出。如果看到NVLink字样说明卡间是高速互联如果全是PHB或者SYS那就是走PCIe或者跨NUMA多卡训练效率会打折。这个命令在GPU查询命令里属于必会项后面还会细说。2.3 租旗舰卡的计费陷阱旗舰卡的计费方式通常有三种按小时、按天、按月。按小时适合短时实验但单价最高按月单价最低但需要预付。这里有个坑有些供给方标的是按小时计费但实际有最低消费时长比如不足1小时按1小时算或者要求单次租用不少于24小时。对接时一定要问清楚计费粒度。另一个坑是整机 vs 单卡。有些供给方只整机出租8卡起租这对只需要1-2张卡的团队就不友好。但也有供给方支持单卡租用灵活性高单价会贵一些。我的建议是如果是调试阶段单卡按小时最划算如果是稳定训练任务整机包月成本最低。3. 主力计算卡与国产选项A100、L40S、昇腾系列怎么用3.1 A100的存量价值与租用时机A100虽然是上一代产品但存量巨大价格已经降下来了是当前性价比很高的选择。40GB和80GB两个版本80GB版本支持NVLink适合中等规模训练。实测下来A100 80GB跑7B到13B参数的模型微调完全够用推理场景更是绰绰有余。租A100的时机判断如果你的模型参数量在30B以下且对训练速度没有极致要求A100是比H100更经济的选择。我算过一笔账同样跑一个13B模型的LoRA微调A100的每小时成本大约是H100的三分之一而完成时间只多出40%左右综合成本更低。3.2 L40S的定位推理和图形计算兼顾L40S是Ada Lovelace架构48GB显存定位比较特殊。它的FP16算力不如A100但支持FP8精度在推理场景下效率很高。另外它保留了图形渲染能力适合需要GPU驱动开发或者图形计算混合的场景。如果你的任务是推理部署尤其是需要跑视觉模型或者做Unity 6 GPU skins这类图形相关的工作L40S是个不错的选择。但如果是纯训练任务还是优先选A100或H100。3.3 昇腾系列的适配成本昇腾系列是国产算力里比较成熟的一支常见的有910B等型号。它的优势是供给相对稳定价格有竞争力。但要注意适配成本昇腾的软件栈和CUDA不兼容需要把代码从PyTorchCUDA迁移到昇腾的CANN框架。如果团队之前没接触过迁移工作量不小。我建议的做法是先拿一个小任务做迁移验证跑通之后再决定是否大规模使用。不要一上来就把主力训练任务迁过去万一遇到算子不支持的情况会耽误进度。昇腾官方提供了迁移工具和算子库但覆盖度还是不如CUDA生态这点要有心理预期。4. 对接供给方时必须现场验证的五个技术指标4.1 用nvidia-smi确认卡的真实型号和状态拿到机器第一件事跑nvidia-smi。这个命令会显示卡型号、显存、驱动版本、当前利用率、温度、功耗。重点看三处型号是否和合同一致、显存是否满血、是否有ECC错误计数。我遇到过标称H100但实际是H100 PCIe版本的情况性能比SXM版本低一截nvidia-smi里能看到型号后缀差异。nvidia-smi nvidia-smi -q | grep -i ecc nvidia-smi topo -m第二条命令查ECC错误如果计数不为零说明卡可能有硬件问题训练时容易出莫名其妙的错误。第三条查拓扑确认卡间互联方式。4.2 实测网络带宽和存储IO多机训练时网络带宽是瓶颈。用iperf3测节点间带宽用fio测存储读写。我见过标称100G网络实际只有25G的情况跑分布式训练时梯度同步慢得让人抓狂。存储IO同样重要如果数据集读取速度跟不上GPU会经常空转等数据。# 节点间带宽测试 iperf3 -c 对端IP -t 30 # 存储读写测试 fio --nametest --ioenginelibaio --rwread --bs1M --size4G --numjobs44.3 验证GPU调度和隔离机制如果是共享集群要确认GPU调度和隔离机制。有些平台用容器做隔离但GPU显存没有硬隔离一个任务爆显存会影响同节点的其他任务。问清楚是否支持MIGMulti-Instance GPUH100和A100都支持MIG可以把一张卡切成多个独立实例隔离性好。4.4 检查驱动和CUDA版本兼容性PyTorch安装教程GPU版本里最常见的问题就是驱动和CUDA版本不匹配。对接时问清楚预装了什么驱动版本、支持哪些CUDA版本。如果团队用的框架对CUDA版本有要求提前确认避免到了现场还要重装驱动。4.5 压力测试跑一个真实的小任务最后一步别只看参数跑一个真实任务。拿团队最小的那个训练脚本在租的机器上跑一遍看GPU利用率、显存占用、训练速度是否符合预期。这一步能暴露大部分问题比看任何参数都管用。5. 不同场景下的算力选型对照5.1 大模型微调场景GPU微调大模型是当前最主流的算力需求。7B到13B参数用A100 80GB单卡或双卡就够30B到70B建议用H100或H200多卡配合LoRA或者QLoRA降低显存需求再大的模型就得上B300或者多机集群了。关键指标是显存容量和卡间带宽计算精度反而可以放宽到BF16。5.2 科学计算与仿真场景FDTD怎么开启GPU这类问题背后是科学计算对双精度浮点性能的需求。FDTD仿真对FP64算力敏感消费级卡的双精度性能被砍得很厉害要选A100、H100这类计算卡。租的时候重点看FP64算力别只看FP16。5.3 推理部署场景推理场景对显存带宽和延迟敏感对绝对算力要求没那么高。L40S、A100、甚至4090都能胜任。如果是高并发在线服务要考虑GPU调度和批处理能力选支持动态批处理的推理框架。场景推荐卡型关键指标租用方式大模型微调A100/H100/H200显存容量、NVLink带宽整机包月科学计算A100/H100FP64算力按小时推理部署L40S/A100/4090显存带宽、延迟按小时或包月图形计算L40S/RTX系列图形渲染能力按小时6. 租用算力时那些没人明说但很重要的细节6.1 数据安全和合规边界租用外部算力数据要传到对方机器上。对接前确认数据加密传输、存储隔离、销毁机制。敏感数据建议本地脱敏后再上传或者用联邦学习的方式数据不出本地。6.2 故障响应和SLA问清楚故障响应时间。卡坏了多久能换、网络断了多久能修、有没有备用机器。我遇到过训练跑到一半卡挂了结果对方两天才换卡的情况进度直接耽误。SLA里要写明可用性指标和赔偿条款。6.3 软件环境的自主权有些供给方只给容器环境不让装自定义软件有些给root权限可以自由配置。如果你的任务需要特定版本的驱动或者自定义算子提前确认权限范围。GPU驱动开发相关的任务对权限要求高这点尤其重要。6.4 计费透明度和账单核对最后保留好每次任务的运行日志和账单核对。我见过计费系统把空闲时间也算进去的情况或者GPU利用率统计有偏差。定期核对账单发现问题及时沟通。说到底租GPU算力这件事参数只是起点真正的功夫在对接和验证。把上面这些指标逐项确认清楚能避开大部分坑。团队里最好固定一个人负责算力对接积累经验形成自己的供给方评估清单比每次临时找要靠谱得多。
1. 从找卡这件事说起为什么租算力比买卡更考验判断力做AI这行的朋友大概都有过这种体验模型代码写完了数据集也清洗好了结果卡在最后一步——没有卡跑。自己攒机器吧一张高端卡的价格够养一个小团队半年用云平台吧计费方式五花八门稍不留神账单就超出预算。于是GPU算力可租这件事从2023年开始就成了每个做模型的人绕不开的课题。我所在的团队过去两年里前后对接过七八家算力供给方从单卡按小时租到整机柜包月都试过。踩过的坑包括但不限于标称H100实际给的是降频版、网络带宽写的是100G结果实测只有25G、说好的NVLink互联结果跨节点走的是普通以太网。这些经历让我意识到有哪些GPU算力可租这个问题真正难的不是找到供给方而是判断哪份供给说明是可信的、可对接的、能直接跑起训练任务的。这篇内容就是把我整理的一份供给说明拆开来讲。它面向的是正在找算力的团队——不管你是做GPU微调大模型的算法组还是跑FDTD仿真的科研团队或者是做GPU计算加速的工程团队都能从中找到判断供给质量的方法。我会把GPU型号、显存、互联、计费、调度这几个维度逐一拆解告诉你每项参数背后意味着什么以及对接时该问哪些问题。先给一个整体判断当前市面上可租的GPU算力按定位大致分三档。第一档是旗舰训练卡以H100、H200、B300为代表适合大模型预训练和微调第二档是主力计算卡以A100、L40S、昇腾系列为代表适合中等规模训练和推理第三档是消费级和入门计算卡以RTX 4090、A6000为代表适合小规模实验和推理部署。不同档位的卡租用逻辑完全不同下面逐个说。2. 旗舰训练卡H100、H200、B300到底差在哪租的时候怎么选2.1 三代旗舰卡的显存与带宽差异先看最核心的三个型号。H100是2022年发布的Hopper架构旗舰显存80GB HBM3显存带宽约3.35TB/sH200是H100的显存升级版同样Hopper架构但换成了141GB HBM3e带宽提升到约4.8TB/sB300属于Blackwell架构的新一代显存达到288GB HBM3e带宽约8TB/s。这三个数字放在一起看差距是数量级的。为什么显存带宽这么关键打个比方训练大模型就像往一个巨大的水池里注水再抽水显存带宽就是水管的粗细。模型参数和中间激活值都要在显存和计算单元之间来回搬运带宽不够计算单元再强也得等着。实测中同样跑一个70B参数的模型微调H100的吞吐大约是A100的2.5倍而H200因为显存更大能塞下更长的序列在长上下文场景下优势更明显。B300目前可租的供给还比较少价格也高适合有明确大显存需求的场景比如超长上下文训练或者大batch推理。如果你的任务用H200就能跑没必要非上B300性价比不划算。2.2 互联方式NVLink和普通以太网的区别租多卡机器时一定要问清楚卡间互联方式。H100和H200支持NVLink单机内8卡可以做到900GB/s的双向带宽如果跨节点就要看是否配了InfiniBand或者RoCE。我见过一些供给方机器是8卡H100但卡间走的是PCIe带宽只有NVLink的几分之一跑分布式训练时通信成了瓶颈GPU利用率上不去。判断方法很简单让对方提供nvidia-smi topo -m的输出。如果看到NVLink字样说明卡间是高速互联如果全是PHB或者SYS那就是走PCIe或者跨NUMA多卡训练效率会打折。这个命令在GPU查询命令里属于必会项后面还会细说。2.3 租旗舰卡的计费陷阱旗舰卡的计费方式通常有三种按小时、按天、按月。按小时适合短时实验但单价最高按月单价最低但需要预付。这里有个坑有些供给方标的是按小时计费但实际有最低消费时长比如不足1小时按1小时算或者要求单次租用不少于24小时。对接时一定要问清楚计费粒度。另一个坑是整机 vs 单卡。有些供给方只整机出租8卡起租这对只需要1-2张卡的团队就不友好。但也有供给方支持单卡租用灵活性高单价会贵一些。我的建议是如果是调试阶段单卡按小时最划算如果是稳定训练任务整机包月成本最低。3. 主力计算卡与国产选项A100、L40S、昇腾系列怎么用3.1 A100的存量价值与租用时机A100虽然是上一代产品但存量巨大价格已经降下来了是当前性价比很高的选择。40GB和80GB两个版本80GB版本支持NVLink适合中等规模训练。实测下来A100 80GB跑7B到13B参数的模型微调完全够用推理场景更是绰绰有余。租A100的时机判断如果你的模型参数量在30B以下且对训练速度没有极致要求A100是比H100更经济的选择。我算过一笔账同样跑一个13B模型的LoRA微调A100的每小时成本大约是H100的三分之一而完成时间只多出40%左右综合成本更低。3.2 L40S的定位推理和图形计算兼顾L40S是Ada Lovelace架构48GB显存定位比较特殊。它的FP16算力不如A100但支持FP8精度在推理场景下效率很高。另外它保留了图形渲染能力适合需要GPU驱动开发或者图形计算混合的场景。如果你的任务是推理部署尤其是需要跑视觉模型或者做Unity 6 GPU skins这类图形相关的工作L40S是个不错的选择。但如果是纯训练任务还是优先选A100或H100。3.3 昇腾系列的适配成本昇腾系列是国产算力里比较成熟的一支常见的有910B等型号。它的优势是供给相对稳定价格有竞争力。但要注意适配成本昇腾的软件栈和CUDA不兼容需要把代码从PyTorchCUDA迁移到昇腾的CANN框架。如果团队之前没接触过迁移工作量不小。我建议的做法是先拿一个小任务做迁移验证跑通之后再决定是否大规模使用。不要一上来就把主力训练任务迁过去万一遇到算子不支持的情况会耽误进度。昇腾官方提供了迁移工具和算子库但覆盖度还是不如CUDA生态这点要有心理预期。4. 对接供给方时必须现场验证的五个技术指标4.1 用nvidia-smi确认卡的真实型号和状态拿到机器第一件事跑nvidia-smi。这个命令会显示卡型号、显存、驱动版本、当前利用率、温度、功耗。重点看三处型号是否和合同一致、显存是否满血、是否有ECC错误计数。我遇到过标称H100但实际是H100 PCIe版本的情况性能比SXM版本低一截nvidia-smi里能看到型号后缀差异。nvidia-smi nvidia-smi -q | grep -i ecc nvidia-smi topo -m第二条命令查ECC错误如果计数不为零说明卡可能有硬件问题训练时容易出莫名其妙的错误。第三条查拓扑确认卡间互联方式。4.2 实测网络带宽和存储IO多机训练时网络带宽是瓶颈。用iperf3测节点间带宽用fio测存储读写。我见过标称100G网络实际只有25G的情况跑分布式训练时梯度同步慢得让人抓狂。存储IO同样重要如果数据集读取速度跟不上GPU会经常空转等数据。# 节点间带宽测试 iperf3 -c 对端IP -t 30 # 存储读写测试 fio --nametest --ioenginelibaio --rwread --bs1M --size4G --numjobs44.3 验证GPU调度和隔离机制如果是共享集群要确认GPU调度和隔离机制。有些平台用容器做隔离但GPU显存没有硬隔离一个任务爆显存会影响同节点的其他任务。问清楚是否支持MIGMulti-Instance GPUH100和A100都支持MIG可以把一张卡切成多个独立实例隔离性好。4.4 检查驱动和CUDA版本兼容性PyTorch安装教程GPU版本里最常见的问题就是驱动和CUDA版本不匹配。对接时问清楚预装了什么驱动版本、支持哪些CUDA版本。如果团队用的框架对CUDA版本有要求提前确认避免到了现场还要重装驱动。4.5 压力测试跑一个真实的小任务最后一步别只看参数跑一个真实任务。拿团队最小的那个训练脚本在租的机器上跑一遍看GPU利用率、显存占用、训练速度是否符合预期。这一步能暴露大部分问题比看任何参数都管用。5. 不同场景下的算力选型对照5.1 大模型微调场景GPU微调大模型是当前最主流的算力需求。7B到13B参数用A100 80GB单卡或双卡就够30B到70B建议用H100或H200多卡配合LoRA或者QLoRA降低显存需求再大的模型就得上B300或者多机集群了。关键指标是显存容量和卡间带宽计算精度反而可以放宽到BF16。5.2 科学计算与仿真场景FDTD怎么开启GPU这类问题背后是科学计算对双精度浮点性能的需求。FDTD仿真对FP64算力敏感消费级卡的双精度性能被砍得很厉害要选A100、H100这类计算卡。租的时候重点看FP64算力别只看FP16。5.3 推理部署场景推理场景对显存带宽和延迟敏感对绝对算力要求没那么高。L40S、A100、甚至4090都能胜任。如果是高并发在线服务要考虑GPU调度和批处理能力选支持动态批处理的推理框架。场景推荐卡型关键指标租用方式大模型微调A100/H100/H200显存容量、NVLink带宽整机包月科学计算A100/H100FP64算力按小时推理部署L40S/A100/4090显存带宽、延迟按小时或包月图形计算L40S/RTX系列图形渲染能力按小时6. 租用算力时那些没人明说但很重要的细节6.1 数据安全和合规边界租用外部算力数据要传到对方机器上。对接前确认数据加密传输、存储隔离、销毁机制。敏感数据建议本地脱敏后再上传或者用联邦学习的方式数据不出本地。6.2 故障响应和SLA问清楚故障响应时间。卡坏了多久能换、网络断了多久能修、有没有备用机器。我遇到过训练跑到一半卡挂了结果对方两天才换卡的情况进度直接耽误。SLA里要写明可用性指标和赔偿条款。6.3 软件环境的自主权有些供给方只给容器环境不让装自定义软件有些给root权限可以自由配置。如果你的任务需要特定版本的驱动或者自定义算子提前确认权限范围。GPU驱动开发相关的任务对权限要求高这点尤其重要。6.4 计费透明度和账单核对最后保留好每次任务的运行日志和账单核对。我见过计费系统把空闲时间也算进去的情况或者GPU利用率统计有偏差。定期核对账单发现问题及时沟通。说到底租GPU算力这件事参数只是起点真正的功夫在对接和验证。把上面这些指标逐项确认清楚能避开大部分坑。团队里最好固定一个人负责算力对接积累经验形成自己的供给方评估清单比每次临时找要靠谱得多。
