“GPU算力租用平台推荐”这个题目我在过去两年里被问过至少十几次而且每次我给的答案都不一样——因为提问的人情况差得太远。有人是想拿一张卡跑个7B模型做LoRA微调预算三百块有人是要做多机多卡的大规模预训练一个月烧掉六位数还有人其实只是想跑个推理服务结果一上来就问哪家训练卡便宜。这三种人如果听同一个推荐去买同一类产品至少两种会亏钱。所以我一直觉得“推荐平台”这件事根本没有标准答案只有“匹配”。真正该做的事情是把自己的负载形态、显存需求、运行时长度、数据规模、容错能力这五个维度先摊开摆在桌面上然后拿这张表去筛供给方筛完之后能剩下的选项其实没几个。这篇文章我就按这个思路写先讲怎么把需求算清楚再把市面上常见的几类GPU算力供给方式摆出来讲各自的真实定位和适配场景然后给一套从注册到跑通第一个训练任务的完整操作流程最后把参数估算、成本核算、踩坑排查全部讲透。适合刚接触租卡的新手也适合已经租过几次但总觉得自己花冤枉钱的半熟手——我身边就有朋友每个月账单里有一半是忘记关机产生的看完这篇应该能省下来。1. 先把自己的需求算清楚再谈平台推荐我见过太多人上来就问“哪家便宜”问完之后买回来发现显存不够模型加载到一半就OOM退也退不掉只能硬着头皮升级成更贵的机型。这不是平台的问题是需求没算清楚就开始比价的必然结果。租GPU卡和租房其实是一个逻辑你得先知道自己要住几个人、要不要厨房、通勤多远然后才能谈租金高低。下面我按三个层次把这件事拆开。1.1 显存是硬门槛算力只是速度问题这是最容易被搞反的一条。绝大多数人的直觉是先看算力觉得TFLOPS越高越好实际上显存决定了你的任务能不能跑起来算力只决定跑多久。显存不够代码直接抛异常一分钱都别想省显存够但算力一般无非是多等几个小时多花几十块钱租金而已任务照样能出结果。所以第一步永远是估算显存占用。粗算的口径我习惯这么记任务形态显存占用粗估口径举例说明全参训练Adam混合精度参数量 × 16~20 字节70亿参数模型约需 112~140 GB未分片时单卡放不下全参训练加了分片并行上述总量 ÷ 卡数 激活值余量8 卡分片后每卡约 14~18 GB另留 30 GB 以上给激活和临时缓冲LoRA / 冻结主干微调参数量 × 2~4 字节 激活值70亿参数模型用 24 GB 卡勉强可跑32~48 GB 更从容纯推理半精度参数量 × 2 字节 KV Cache70亿参数模型权重约 14 GB长上下文时 KV Cache 可能反超权重渲染/科学计算看场景通常显存换精度大分辨率渲染和分子动力学对显存的需求往往被低估这张表里的数字不是精确值是给第一次租卡的人用的“筛选口径”能帮你快速判断该看 24 GB 档、48 GB 档还是 80 GB 档的机器。真正的精确估算我放在第 4 节细讲包括激活值、KV Cache 的公式和计算过程。这里先记住一个结论当你在两个机型之间犹豫时优先买显存大的那个因为显存不够是硬失败算力不够只是软成本。1.2 计费模式才是决定真实成本的那只隐形的手同型号的卡不同计费方式算下来的单价能差出三到五倍。我按常见形式列一下每一种我都实际用过优缺点很明确计费形式价格水平适合什么坑在哪按秒/按分钟计费单价偏高但浪费少调试、单次实验、推理压测单价换算成小时看着吓人其实短任务最划算按小时计费中等半天内能跑完的训练不足一小时按一小时算频繁启停很吃亏包日/包周/包月单价明显下降连续跑三天以上的长任务一旦任务提前结束剩下的时间基本白付竞价/抢占式最低可能低到常规价的三四成有完整断点续训能力的长任务随时可能被回收没有 checkpoint 就等于白跑包年预留最低单价长期固定推理服务灵活性极差机型换代就被套住我个人的经验是调试期一律用按秒或按小时正式训练跑之前先跑三十步验证显存和时间确认没问题再切到包日或抢占式。很多人反过来一上来就买包月图便宜结果模型跑不通一个月租金打水漂。1.3 三类用户的自检表先对号入座我把常见需求归成三类你可以对照着看自己落在哪一档后面第 2 节的平台类型推荐就是按这个分类展开的A 类偶尔跑跑单次不超过 8 小时主要做微调和小模型实验。特征是没有长期占用的必要最看重开箱即用、镜像现成、按小时结算。这类人不该碰包月也不该碰需要审批的共享算力池。B 类连续性任务一次训练跑三天到两周中途不能断。特征是必须有机型保障、有可靠的持久化存储、有断点续训。这类人最该关注的是存储可靠性和实例的可用性承诺单价反而是次要的。C 类长期推理服务需要 7×24 在线。特征是并发波动大、对网络和公网带宽敏感、对成本极其敏感。这类人适合预留型或包年但一定要算清楚流量费和存储费因为推理服务的隐性成本经常比卡时还高。对号入座这一步花不了五分钟但能帮你排掉八成的错误选项。我见过最典型的错误是 A 类用户买了 B 类的产品——包了个整月然后每个月只用两次。2. 五类GPU算力供给的真实定位与适配场景市面上能租到卡的地方按供给来源和产品形态我归成五类。我不点具体名字因为这类平台更迭太快今天推荐的明年可能就变政策了而类型特征和选型逻辑是长期有效的。你拿着这些特征去比对任意一家能立刻判断出它属于哪一类、适不适合你。2.1 综合云厂商的GPU实例贵但贵在配套第一类是大型综合云服务商提供的弹性GPU实例。这类产品的核心价值不在卡本身而在卡周围那一整套东西对象存储、私有网络、访问控制、监控告警、快照备份、带宽调度。如果你的项目已经跑在这类云上数据和权限体系都在里面那用它的GPU实例几乎是顺理成章的事跨云搬数据的成本比省下的租金高得多。它的劣势也很实在单价通常比垂直算力平台高出一截热门机型经常缺货新账号申请高配机型还要走配额审批有时要等一两天。所以我给的建议是如果你的任务需要和企业现有基础设施打通或者对数据保密、审计留痕有硬性要求那贵得值如果只是个人跑个实验为了那套配套体系多付两三倍的钱并不划算。这类产品最适合 B 类和 C 类用户A 类用户基本用不上。2.2 垂直AI算力平台个人和小团队的主力选择第二类是专门做AI算力出租的平台产品形态高度统一网页选机型、选镜像、点开机几分钟就能连上。镜像预置是这类平台最大的杀手锏常见的深度学习框架、CUDA版本、常用训练库都打包好了省掉了新手最痛苦的环境配置环节。我见过不少人第一次用这类平台从注册到跑通一个示例训练全程不到二十分钟。选这类平台我一般看四个点而且顺序不能反机型列表是否标注了单卡还是整机独占。有些低价机型是切分卡标称显存和实际可用显存对不上训练性能也打折这个必须问清楚。持久化存储怎么算钱、能不能跨实例挂载。我吃过一次亏训练数据放在系统盘实例一释放数据全没了重传花了四个小时。是否支持自定义镜像或保存环境。跑长期项目的话每次重装环境的成本比租金还高。有没有可靠的开机自检和计费明细。计费明细精确到分钟的平台通常运营也更规范。这类平台适合 A 类用户和轻量 B 类用户也是我一般推荐给新手的起点。它的短板在于机型杂、单机可靠性参差规模化多机训练的支持程度不如综合云售后响应也看运气。2.3 高校和科研机构的共享算力池便宜但有门槛第三类是学校、实验室、科研机构内部的共享算力资源。这类资源通常不对公众开放只有内部身份才能申请价格极低甚至免费。如果你有渠道这当然是首选但有几个前提必须说清楚。第一是排队机制。共享池的高端卡通常要走审批或者排队你今天提交可能三天后才轮到这对有时间压力的项目是致命的。第二是使用时长限制很多共享池限制单次占用不超过 24 小时或者不允许长期挂着你得把任务切成能断点续训的形式。第三是数据规范公共资源上不要放不该放的东西用完及时清理个人目录这是基本的职业素养。第四是环境不可控共享池通常不让你随便改驱动和 CUDA 版本遇到版本冲突只能自己想办法绕。适合预算极紧、时间相对宽松的学习和预研场景不适合赶交付的项目。2.4 容器化按秒计费和Serverless形态为短任务而生第四类是按秒计费、以容器或函数形态交付的算力。你提交一个镜像和一条启动命令平台把容器拉起来跑完就销毁按秒结算。这种形态的优势在零管理成本不用管开机、装环境、关机特别适合两类场景——批量的小规模推理、以及网格搜索这类大量短任务的实验。它的坑集中在冷启动。容器拉起、镜像拉取、模型加载这几步加起来有时候比实际计算还久按秒算下来并不便宜。所以用这类形态要特别注意把模型和数据做预加载、镜像做小、依赖做缓存。另外它的临时存储通常是不可靠的容器一销毁就没了所有产物必须实时同步到对象存储。我一般只在“任务数量多、单个任务短、彼此独立”的场景下选它训练类任务基本不用。2.5 闲置算力撮合与竞价实例最便宜也最考验工程能力第五类是竞价实例和闲置算力撮合。价格能低到常规价的三四成甚至更低代价是供给方随时可能把机器收回去你连通知都收不到实例直接消失。敢不敢用取决于你的训练脚本写得够不够健壮。我的判断标准很简单如果这个任务被中断十次以内我能不能在不损失进度的前提下恢复。能就可以用不能就别碰。所以用这类资源之前必须先做三件事把数据放在独立的持久化存储上而不是实例本地盘训练循环里加固定间隔的 checkpoint并且 checkpoint 带步数和优化器状态写一个能自动检测最新 checkpoint 并续训的启动脚本。做完这三件事竞价实例就是性价比之王不做它就是纯粹的赌博。3. 从注册到跑通第一个训练任务的完整流程这一节我把操作流程走一遍都是可以直接照着做的步骤。我用的是一个虚构的通用流程描述不同平台的按钮位置不一样但逻辑是通用的。3.1 环境准备镜像选择里的三个版本号必须对上选镜像的时候新手最容易忽略的是驱动版本、CUDA 版本、框架版本三者之间的对应关系。这三个版本不匹配轻则框架报找不到设备重则编译扩展时直接失败。我一般按这个顺序确认先确认平台的驱动版本支持到哪个 CUDA 大版本这个在机型详情里通常有写。再确认你要用的框架版本官方预编译包是对着哪个 CUDA 版本编的。最后检查你要装的那些扩展库比如各种加速库、量化库有没有对应版本的预编译轮子。如果这三个能对上直接用预编译包千万别自己从源码编译尤其是新手编译一次两三个小时是常态而且大概率卡在依赖上。另外我自己有一条经验尽量不要用平台上“最新”的镜像最新镜像往往刚更新第三方库还没跟上反而是上一个大版本更省心。装环境的时候还有个细节很多人习惯把所有东西装在系统盘结果实例一释放环境全丢。正确做法是把环境装到持久化数据盘的目录下也就是挂载点里这样换机器也能带上。3.2 数据上传三种方式的实测差异数据怎么上去直接决定你第一天的效率。我按数据量分三档给建议10 GB 以内直接在本机用命令行同步工具推到实例指定好端口和密钥走压缩传输速度取决于你本地上行带宽一般几十分钟内能搞定。传的时候记得加断点续传参数网络抖动不至于从头再来。几十 GB 到几百 GB别走本地中转了先用本地上传到对象存储再从实例内网拉取。内网拉取的速度通常是本地中转的十几倍而且不占本地上行带宽。TB 级这种情况必须考虑数据放在哪的问题。很多平台支持直接把对象存储挂载成文件系统训练时按需读不用全量下载。代价是首次读取有延迟需要配合预取或者本地缓存但比起搬几十 TB 数据这点复杂度值得付。我踩过的最典型的一个坑是上传完就跑了没做校验。有一次传了三千多个小文件中间断了几个训练跑了两小时才发现样本数对不上。现在我的习惯是传完立刻比对文件数量和总大小几秒钟的事。3.3 启动训练与中断保护checkpoint 要写得足够笨训练启动脚本我建议写得越笨越好不要试图做智能判断。一个可靠的循环大概长这样import os, glob, torch def latest_ckpt(ckpt_dir): files glob.glob(os.path.join(ckpt_dir, step_*.pt)) if not files: return None return max(files, keylambda p: int(p.split(_)[-1].split(.)[0])) start_step 0 ckpt latest_ckpt(/data/ckpt) if ckpt: state torch.load(ckpt, map_locationcpu) model.load_state_dict(state[model]) optimizer.load_state_dict(state[optimizer]) start_step state[step] print(fresume from {ckpt}, step{start_step}) for step, batch in enumerate(loader, startstart_step): loss train_step(batch) if step % 200 0: tmp f/data/ckpt/step_{step}.pt.tmp torch.save({model: model.state_dict(), optimizer: optimizer.state_dict(), step: step}, tmp) os.replace(tmp, f/data/ckpt/step_{step}.pt) # 原子替换防止写一半被中断这里有两个细节值得单独说。第一是先写临时文件再原子改名直接往目标文件写如果写到一半实例被回收留下的是一个损坏的 checkpoint续训时会报错。第二是checkpoint 间隔要按时间而不是按步数来定我的口径是间隔时间不超过“重新跑一遍的损失容忍度”一般控制在 15 到 30 分钟之间步数根据速度反推。另外把日志同时输出到文件和控制台并且写到持久化目录。训练崩了还能从日志里找到崩在哪一步。3.4 成本控制三个开关必须提前打开租卡这件事技术问题都好解决真正烧钱的是管理疏漏。我总结了三件必须做的事自动关机。很多平台支持设置无任务一段时间后自动关机或者设置实例最长存活时间。我这个设置现在已经成了肌肉记忆开机器第一件事就是设上限。预算告警。设置账户余额或者日消费阈值超过就发提醒。我有个朋友因为一个死循环的训练脚本一晚上跑了十几个小时账单出来才发现。存储和实例分离的账单检查。关机不等于停止计费存储费、镜像保存费、公网 IP 占用费这些可能还在走。用完立刻释放不需要的资源尤其是带独立数据盘的实例。3.5 一个完整的成本估算算例假设要微调一个 70 亿参数的模型用 LoRA准备 200 万条样本预计训练 3 个 epoch。我按实际流程算一遍先算显存。LoRA 只训练低秩适配器主干冻结权重用半精度加载约 14 GB加上激活值和临时缓冲24 GB 卡偏紧48 GB 卡比较从容价格差不到一倍。这里我选 48 GB 档。再算时间。LoRA 的可训练参数通常在千万到一亿量级前向反向的计算量仍按全量模型估算。单步 FLOPs 约等于 6 × 参数量 × token 数。假设每条样本平均 512 token200 万条跑 3 轮就是约 30 亿 token总计算量约 6 × 7e9 × 3e9 ≈ 1.3e20 FLOPs。按单卡有效算力 100 TFLOPS考虑实际利用率只有峰值的三四成估算需要约 1.3e6 秒也就是 360 小时左右这个数字明显不现实。这时候就要回到需求上重新审视是不是真的要 3 个 epoch是不是每条样本都要 512 token。实际做 LoRA 微调高质量样本 20 万条、1 到 2 个 epoch 通常就能出效果token 总量能砍到三十分之一时间压缩到 12 小时上下。按 48 GB 档每小时几十元的区间一次完整微调的成本在几百块量级。算成本的意义不在于精确而在于帮你发现方案里那个数量级不对的地方上面这个例子里问题就出在数据量而不是在卡的价格。4. 参数估算显存、时长、带宽三项怎么算第 1 节给的是粗略口径这一节把公式和计算过程写清楚方便你拿去套自己的场景。4.1 训练显存估算从字节数开始推全参训练用 Adam 优化器、混合精度每个参数对应的显存开销大致是这样构成的半精度权重副本2 字节单精度主权重4 字节一阶动量4 字节二阶动量4 字节梯度2 字节混合精度下加起来是 16 字节每参数再算上激活值、通信缓冲和碎片实际要按 18 到 20 字节估。所以一个 70 亿参数的模型全参训练的总显存需求是 112 到 140 GB单张 80 GB 卡装不下必须做分片。用分片并行切成 8 份权重和优化器状态那部分是 14 到 18 GB 每卡剩下的显存全留给激活值模型越长、批量越大激活值涨得越快。这里有个常被忽略的点分片降低了每卡的静态显存但没降低激活值而且增加了通信。所以不是卡越多越好8 卡能跑的任务用 16 卡跑速度未必翻倍成本却翻倍了。我的经验是先用最少卡数跑通再考虑加卡提速。LoRA 的估算简单得多主干权重按半精度算70 亿参数约 14 GB适配器和优化器状态加起来通常不到 1 GB激活值是主要变量。批量小、序列短的情况下24 GB 卡能跑序列长到 4K 以上建议直接上 48 GB。4.2 推理的 KV Cache长上下文才是显存杀手推理场景很多人只看权重忽略 KV Cache结果一上长上下文就 OOM。KV Cache 的每 token 占用可以用这个公式估每 token 字节数 2K 和 V× 层数 × 隐藏维度 × 精度字节数拿一个 32 层、隐藏维度 4096、半精度的模型举例2 × 32 × 4096 × 2 524288 字节约 0.5 MB 每 token。听起来很小但 32K 上下文乘下来就是 16 GB如果并发 8 路请求直接 130 GB远超模型权重本身。这个算例说明一件事长上下文推理的成本主要不在权重而在缓存。控制手段有三个——限制最大上下文、做并发数限制、用缓存量化和前缀复用。租卡之前先把这三个参数定下来再算需要多大的卡。4.3 多卡训练里带宽什么时候会成为瓶颈很多人租了多卡机器发现 8 卡的吞吐还不如 4 卡的两倍问题大概率出在卡间互联。判断方法很直接算一下梯度同步的数据量。70 亿参数、半精度梯度一次全量同步约 14 GB。走的如果是普通 PCIe 通道单向有效带宽按 20 GB/s 算一次同步要 0.7 秒左右。如果单卡算一步只要 0.5 秒那通信时间就超过了计算时间加卡等于白加。所以选多卡机型时卡间互联方式是必须确认的参数跟“有几张卡”同样重要。反过来如果你的模型小、单步计算快多卡收益天然就低这时候老老实实用单卡跑反而更省钱。5. 常见问题与排查技巧实录5.1 性能只有标称值的三成往哪查这是最高频的问题。我按排查顺序列出来基本能覆盖九成情况现象优先怀疑验证方法处理方式计算利用率长期低于五成数据加载跟不上看数据加载耗时占比增加加载进程数、预取、把数据放本地盘单卡性能正常多卡几乎不涨卡间互联带宽不足算梯度同步量和单步时间比值换互联更好的机型或减少卡数标称显存和可用显存对不上拿到的是切分卡实际读取显存总量换整机独占机型首轮很慢后面正常编译和缓存预热对比首轮和次轮耗时属正常现象基准测试要跳过首轮训练速度逐轮下降内存泄漏或缓存膨胀观察内存曲线检查自定义层和缓存策略还有一个容易被忽略的原因CPU 和内存配置跟不上。GPU 再强CPU 只有两核、内存只有十几 GB数据预处理就直接卡死了。选机型的时候顺手看一眼 CPU 核数和内存别只看卡。5.2 账单对不上八成是这几处账单问题我遇到过三次原因各不相同整理出来供参考一次是按小时计费的机型我反复开关机每次不足一小时都按一小时算累计多付了将近一倍一次是实例释放了但独立数据盘没释放存储费持续计了半个月一次是推理服务对外提供接口公网出流量费用超过了卡时费用。核对账单的方法把费用拆成卡时、存储、流量、镜像四块逐块对比用量。卡时看开关机记录存储看磁盘存活时长流量看进出方向。拆开之后异常项一目了然。5.3 数据和账户安全上的几条底线租用别人的算力有几个原则我从来不破不在实例上存任何身份凭证和密钥明文需要访问外部资源就用临时凭证不把服务端口直接暴露到公网要用就加访问控制用完实例先清理个人数据再释放公共共享资源上不放大体积的中间产物。这些不是技术问题是习惯问题但出事的往往就是习惯。6. 我个人在选型和租用上的几条体会第一条也是我踩坑最多的一条永远先用最小的配置把链路跑通再上大机器。我早期有过一次直接开了一台 8 卡机准备跑预训练环境折腾了一天没跑起来租金照付。后来改成先用一张最便宜的卡把数据、脚本、依赖全部验证一遍再切到多卡同样的任务省了三分之二的钱。第二条别信标称算力信自己跑出来的基准。拿到一台新机器我第一件事是跑一个固定的小基准记录下每步耗时。同样的机型不同批次、不同平台实测能差出三成。这个基准数据攒下来下次选型就有依据了比看任何宣传参数都靠谱。第三条给每个实验记成本。我在实验记录里加了一列“本次花费”跑完顺手填。攒上几十次之后你会发现一个规律真正贵的从来不是那些失败的大实验而是那些“开着一半在想事情”的机器。人均最浪费的钱都在电费单一样的闲置时间里。第四条任务设计要适配供给不是反过来。既然拿不到独占的、无限时的资源那就把任务写成能断点、能续训、能分批的形式。这个改造一次性投入之后你在任何一类平台上都能用竞价实例敢用共享池敢用议价能力立刻不一样。这件事的价值远超选对某一个平台。
“GPU算力租用平台推荐”这个题目我在过去两年里被问过至少十几次而且每次我给的答案都不一样——因为提问的人情况差得太远。有人是想拿一张卡跑个7B模型做LoRA微调预算三百块有人是要做多机多卡的大规模预训练一个月烧掉六位数还有人其实只是想跑个推理服务结果一上来就问哪家训练卡便宜。这三种人如果听同一个推荐去买同一类产品至少两种会亏钱。所以我一直觉得“推荐平台”这件事根本没有标准答案只有“匹配”。真正该做的事情是把自己的负载形态、显存需求、运行时长度、数据规模、容错能力这五个维度先摊开摆在桌面上然后拿这张表去筛供给方筛完之后能剩下的选项其实没几个。这篇文章我就按这个思路写先讲怎么把需求算清楚再把市面上常见的几类GPU算力供给方式摆出来讲各自的真实定位和适配场景然后给一套从注册到跑通第一个训练任务的完整操作流程最后把参数估算、成本核算、踩坑排查全部讲透。适合刚接触租卡的新手也适合已经租过几次但总觉得自己花冤枉钱的半熟手——我身边就有朋友每个月账单里有一半是忘记关机产生的看完这篇应该能省下来。1. 先把自己的需求算清楚再谈平台推荐我见过太多人上来就问“哪家便宜”问完之后买回来发现显存不够模型加载到一半就OOM退也退不掉只能硬着头皮升级成更贵的机型。这不是平台的问题是需求没算清楚就开始比价的必然结果。租GPU卡和租房其实是一个逻辑你得先知道自己要住几个人、要不要厨房、通勤多远然后才能谈租金高低。下面我按三个层次把这件事拆开。1.1 显存是硬门槛算力只是速度问题这是最容易被搞反的一条。绝大多数人的直觉是先看算力觉得TFLOPS越高越好实际上显存决定了你的任务能不能跑起来算力只决定跑多久。显存不够代码直接抛异常一分钱都别想省显存够但算力一般无非是多等几个小时多花几十块钱租金而已任务照样能出结果。所以第一步永远是估算显存占用。粗算的口径我习惯这么记任务形态显存占用粗估口径举例说明全参训练Adam混合精度参数量 × 16~20 字节70亿参数模型约需 112~140 GB未分片时单卡放不下全参训练加了分片并行上述总量 ÷ 卡数 激活值余量8 卡分片后每卡约 14~18 GB另留 30 GB 以上给激活和临时缓冲LoRA / 冻结主干微调参数量 × 2~4 字节 激活值70亿参数模型用 24 GB 卡勉强可跑32~48 GB 更从容纯推理半精度参数量 × 2 字节 KV Cache70亿参数模型权重约 14 GB长上下文时 KV Cache 可能反超权重渲染/科学计算看场景通常显存换精度大分辨率渲染和分子动力学对显存的需求往往被低估这张表里的数字不是精确值是给第一次租卡的人用的“筛选口径”能帮你快速判断该看 24 GB 档、48 GB 档还是 80 GB 档的机器。真正的精确估算我放在第 4 节细讲包括激活值、KV Cache 的公式和计算过程。这里先记住一个结论当你在两个机型之间犹豫时优先买显存大的那个因为显存不够是硬失败算力不够只是软成本。1.2 计费模式才是决定真实成本的那只隐形的手同型号的卡不同计费方式算下来的单价能差出三到五倍。我按常见形式列一下每一种我都实际用过优缺点很明确计费形式价格水平适合什么坑在哪按秒/按分钟计费单价偏高但浪费少调试、单次实验、推理压测单价换算成小时看着吓人其实短任务最划算按小时计费中等半天内能跑完的训练不足一小时按一小时算频繁启停很吃亏包日/包周/包月单价明显下降连续跑三天以上的长任务一旦任务提前结束剩下的时间基本白付竞价/抢占式最低可能低到常规价的三四成有完整断点续训能力的长任务随时可能被回收没有 checkpoint 就等于白跑包年预留最低单价长期固定推理服务灵活性极差机型换代就被套住我个人的经验是调试期一律用按秒或按小时正式训练跑之前先跑三十步验证显存和时间确认没问题再切到包日或抢占式。很多人反过来一上来就买包月图便宜结果模型跑不通一个月租金打水漂。1.3 三类用户的自检表先对号入座我把常见需求归成三类你可以对照着看自己落在哪一档后面第 2 节的平台类型推荐就是按这个分类展开的A 类偶尔跑跑单次不超过 8 小时主要做微调和小模型实验。特征是没有长期占用的必要最看重开箱即用、镜像现成、按小时结算。这类人不该碰包月也不该碰需要审批的共享算力池。B 类连续性任务一次训练跑三天到两周中途不能断。特征是必须有机型保障、有可靠的持久化存储、有断点续训。这类人最该关注的是存储可靠性和实例的可用性承诺单价反而是次要的。C 类长期推理服务需要 7×24 在线。特征是并发波动大、对网络和公网带宽敏感、对成本极其敏感。这类人适合预留型或包年但一定要算清楚流量费和存储费因为推理服务的隐性成本经常比卡时还高。对号入座这一步花不了五分钟但能帮你排掉八成的错误选项。我见过最典型的错误是 A 类用户买了 B 类的产品——包了个整月然后每个月只用两次。2. 五类GPU算力供给的真实定位与适配场景市面上能租到卡的地方按供给来源和产品形态我归成五类。我不点具体名字因为这类平台更迭太快今天推荐的明年可能就变政策了而类型特征和选型逻辑是长期有效的。你拿着这些特征去比对任意一家能立刻判断出它属于哪一类、适不适合你。2.1 综合云厂商的GPU实例贵但贵在配套第一类是大型综合云服务商提供的弹性GPU实例。这类产品的核心价值不在卡本身而在卡周围那一整套东西对象存储、私有网络、访问控制、监控告警、快照备份、带宽调度。如果你的项目已经跑在这类云上数据和权限体系都在里面那用它的GPU实例几乎是顺理成章的事跨云搬数据的成本比省下的租金高得多。它的劣势也很实在单价通常比垂直算力平台高出一截热门机型经常缺货新账号申请高配机型还要走配额审批有时要等一两天。所以我给的建议是如果你的任务需要和企业现有基础设施打通或者对数据保密、审计留痕有硬性要求那贵得值如果只是个人跑个实验为了那套配套体系多付两三倍的钱并不划算。这类产品最适合 B 类和 C 类用户A 类用户基本用不上。2.2 垂直AI算力平台个人和小团队的主力选择第二类是专门做AI算力出租的平台产品形态高度统一网页选机型、选镜像、点开机几分钟就能连上。镜像预置是这类平台最大的杀手锏常见的深度学习框架、CUDA版本、常用训练库都打包好了省掉了新手最痛苦的环境配置环节。我见过不少人第一次用这类平台从注册到跑通一个示例训练全程不到二十分钟。选这类平台我一般看四个点而且顺序不能反机型列表是否标注了单卡还是整机独占。有些低价机型是切分卡标称显存和实际可用显存对不上训练性能也打折这个必须问清楚。持久化存储怎么算钱、能不能跨实例挂载。我吃过一次亏训练数据放在系统盘实例一释放数据全没了重传花了四个小时。是否支持自定义镜像或保存环境。跑长期项目的话每次重装环境的成本比租金还高。有没有可靠的开机自检和计费明细。计费明细精确到分钟的平台通常运营也更规范。这类平台适合 A 类用户和轻量 B 类用户也是我一般推荐给新手的起点。它的短板在于机型杂、单机可靠性参差规模化多机训练的支持程度不如综合云售后响应也看运气。2.3 高校和科研机构的共享算力池便宜但有门槛第三类是学校、实验室、科研机构内部的共享算力资源。这类资源通常不对公众开放只有内部身份才能申请价格极低甚至免费。如果你有渠道这当然是首选但有几个前提必须说清楚。第一是排队机制。共享池的高端卡通常要走审批或者排队你今天提交可能三天后才轮到这对有时间压力的项目是致命的。第二是使用时长限制很多共享池限制单次占用不超过 24 小时或者不允许长期挂着你得把任务切成能断点续训的形式。第三是数据规范公共资源上不要放不该放的东西用完及时清理个人目录这是基本的职业素养。第四是环境不可控共享池通常不让你随便改驱动和 CUDA 版本遇到版本冲突只能自己想办法绕。适合预算极紧、时间相对宽松的学习和预研场景不适合赶交付的项目。2.4 容器化按秒计费和Serverless形态为短任务而生第四类是按秒计费、以容器或函数形态交付的算力。你提交一个镜像和一条启动命令平台把容器拉起来跑完就销毁按秒结算。这种形态的优势在零管理成本不用管开机、装环境、关机特别适合两类场景——批量的小规模推理、以及网格搜索这类大量短任务的实验。它的坑集中在冷启动。容器拉起、镜像拉取、模型加载这几步加起来有时候比实际计算还久按秒算下来并不便宜。所以用这类形态要特别注意把模型和数据做预加载、镜像做小、依赖做缓存。另外它的临时存储通常是不可靠的容器一销毁就没了所有产物必须实时同步到对象存储。我一般只在“任务数量多、单个任务短、彼此独立”的场景下选它训练类任务基本不用。2.5 闲置算力撮合与竞价实例最便宜也最考验工程能力第五类是竞价实例和闲置算力撮合。价格能低到常规价的三四成甚至更低代价是供给方随时可能把机器收回去你连通知都收不到实例直接消失。敢不敢用取决于你的训练脚本写得够不够健壮。我的判断标准很简单如果这个任务被中断十次以内我能不能在不损失进度的前提下恢复。能就可以用不能就别碰。所以用这类资源之前必须先做三件事把数据放在独立的持久化存储上而不是实例本地盘训练循环里加固定间隔的 checkpoint并且 checkpoint 带步数和优化器状态写一个能自动检测最新 checkpoint 并续训的启动脚本。做完这三件事竞价实例就是性价比之王不做它就是纯粹的赌博。3. 从注册到跑通第一个训练任务的完整流程这一节我把操作流程走一遍都是可以直接照着做的步骤。我用的是一个虚构的通用流程描述不同平台的按钮位置不一样但逻辑是通用的。3.1 环境准备镜像选择里的三个版本号必须对上选镜像的时候新手最容易忽略的是驱动版本、CUDA 版本、框架版本三者之间的对应关系。这三个版本不匹配轻则框架报找不到设备重则编译扩展时直接失败。我一般按这个顺序确认先确认平台的驱动版本支持到哪个 CUDA 大版本这个在机型详情里通常有写。再确认你要用的框架版本官方预编译包是对着哪个 CUDA 版本编的。最后检查你要装的那些扩展库比如各种加速库、量化库有没有对应版本的预编译轮子。如果这三个能对上直接用预编译包千万别自己从源码编译尤其是新手编译一次两三个小时是常态而且大概率卡在依赖上。另外我自己有一条经验尽量不要用平台上“最新”的镜像最新镜像往往刚更新第三方库还没跟上反而是上一个大版本更省心。装环境的时候还有个细节很多人习惯把所有东西装在系统盘结果实例一释放环境全丢。正确做法是把环境装到持久化数据盘的目录下也就是挂载点里这样换机器也能带上。3.2 数据上传三种方式的实测差异数据怎么上去直接决定你第一天的效率。我按数据量分三档给建议10 GB 以内直接在本机用命令行同步工具推到实例指定好端口和密钥走压缩传输速度取决于你本地上行带宽一般几十分钟内能搞定。传的时候记得加断点续传参数网络抖动不至于从头再来。几十 GB 到几百 GB别走本地中转了先用本地上传到对象存储再从实例内网拉取。内网拉取的速度通常是本地中转的十几倍而且不占本地上行带宽。TB 级这种情况必须考虑数据放在哪的问题。很多平台支持直接把对象存储挂载成文件系统训练时按需读不用全量下载。代价是首次读取有延迟需要配合预取或者本地缓存但比起搬几十 TB 数据这点复杂度值得付。我踩过的最典型的一个坑是上传完就跑了没做校验。有一次传了三千多个小文件中间断了几个训练跑了两小时才发现样本数对不上。现在我的习惯是传完立刻比对文件数量和总大小几秒钟的事。3.3 启动训练与中断保护checkpoint 要写得足够笨训练启动脚本我建议写得越笨越好不要试图做智能判断。一个可靠的循环大概长这样import os, glob, torch def latest_ckpt(ckpt_dir): files glob.glob(os.path.join(ckpt_dir, step_*.pt)) if not files: return None return max(files, keylambda p: int(p.split(_)[-1].split(.)[0])) start_step 0 ckpt latest_ckpt(/data/ckpt) if ckpt: state torch.load(ckpt, map_locationcpu) model.load_state_dict(state[model]) optimizer.load_state_dict(state[optimizer]) start_step state[step] print(fresume from {ckpt}, step{start_step}) for step, batch in enumerate(loader, startstart_step): loss train_step(batch) if step % 200 0: tmp f/data/ckpt/step_{step}.pt.tmp torch.save({model: model.state_dict(), optimizer: optimizer.state_dict(), step: step}, tmp) os.replace(tmp, f/data/ckpt/step_{step}.pt) # 原子替换防止写一半被中断这里有两个细节值得单独说。第一是先写临时文件再原子改名直接往目标文件写如果写到一半实例被回收留下的是一个损坏的 checkpoint续训时会报错。第二是checkpoint 间隔要按时间而不是按步数来定我的口径是间隔时间不超过“重新跑一遍的损失容忍度”一般控制在 15 到 30 分钟之间步数根据速度反推。另外把日志同时输出到文件和控制台并且写到持久化目录。训练崩了还能从日志里找到崩在哪一步。3.4 成本控制三个开关必须提前打开租卡这件事技术问题都好解决真正烧钱的是管理疏漏。我总结了三件必须做的事自动关机。很多平台支持设置无任务一段时间后自动关机或者设置实例最长存活时间。我这个设置现在已经成了肌肉记忆开机器第一件事就是设上限。预算告警。设置账户余额或者日消费阈值超过就发提醒。我有个朋友因为一个死循环的训练脚本一晚上跑了十几个小时账单出来才发现。存储和实例分离的账单检查。关机不等于停止计费存储费、镜像保存费、公网 IP 占用费这些可能还在走。用完立刻释放不需要的资源尤其是带独立数据盘的实例。3.5 一个完整的成本估算算例假设要微调一个 70 亿参数的模型用 LoRA准备 200 万条样本预计训练 3 个 epoch。我按实际流程算一遍先算显存。LoRA 只训练低秩适配器主干冻结权重用半精度加载约 14 GB加上激活值和临时缓冲24 GB 卡偏紧48 GB 卡比较从容价格差不到一倍。这里我选 48 GB 档。再算时间。LoRA 的可训练参数通常在千万到一亿量级前向反向的计算量仍按全量模型估算。单步 FLOPs 约等于 6 × 参数量 × token 数。假设每条样本平均 512 token200 万条跑 3 轮就是约 30 亿 token总计算量约 6 × 7e9 × 3e9 ≈ 1.3e20 FLOPs。按单卡有效算力 100 TFLOPS考虑实际利用率只有峰值的三四成估算需要约 1.3e6 秒也就是 360 小时左右这个数字明显不现实。这时候就要回到需求上重新审视是不是真的要 3 个 epoch是不是每条样本都要 512 token。实际做 LoRA 微调高质量样本 20 万条、1 到 2 个 epoch 通常就能出效果token 总量能砍到三十分之一时间压缩到 12 小时上下。按 48 GB 档每小时几十元的区间一次完整微调的成本在几百块量级。算成本的意义不在于精确而在于帮你发现方案里那个数量级不对的地方上面这个例子里问题就出在数据量而不是在卡的价格。4. 参数估算显存、时长、带宽三项怎么算第 1 节给的是粗略口径这一节把公式和计算过程写清楚方便你拿去套自己的场景。4.1 训练显存估算从字节数开始推全参训练用 Adam 优化器、混合精度每个参数对应的显存开销大致是这样构成的半精度权重副本2 字节单精度主权重4 字节一阶动量4 字节二阶动量4 字节梯度2 字节混合精度下加起来是 16 字节每参数再算上激活值、通信缓冲和碎片实际要按 18 到 20 字节估。所以一个 70 亿参数的模型全参训练的总显存需求是 112 到 140 GB单张 80 GB 卡装不下必须做分片。用分片并行切成 8 份权重和优化器状态那部分是 14 到 18 GB 每卡剩下的显存全留给激活值模型越长、批量越大激活值涨得越快。这里有个常被忽略的点分片降低了每卡的静态显存但没降低激活值而且增加了通信。所以不是卡越多越好8 卡能跑的任务用 16 卡跑速度未必翻倍成本却翻倍了。我的经验是先用最少卡数跑通再考虑加卡提速。LoRA 的估算简单得多主干权重按半精度算70 亿参数约 14 GB适配器和优化器状态加起来通常不到 1 GB激活值是主要变量。批量小、序列短的情况下24 GB 卡能跑序列长到 4K 以上建议直接上 48 GB。4.2 推理的 KV Cache长上下文才是显存杀手推理场景很多人只看权重忽略 KV Cache结果一上长上下文就 OOM。KV Cache 的每 token 占用可以用这个公式估每 token 字节数 2K 和 V× 层数 × 隐藏维度 × 精度字节数拿一个 32 层、隐藏维度 4096、半精度的模型举例2 × 32 × 4096 × 2 524288 字节约 0.5 MB 每 token。听起来很小但 32K 上下文乘下来就是 16 GB如果并发 8 路请求直接 130 GB远超模型权重本身。这个算例说明一件事长上下文推理的成本主要不在权重而在缓存。控制手段有三个——限制最大上下文、做并发数限制、用缓存量化和前缀复用。租卡之前先把这三个参数定下来再算需要多大的卡。4.3 多卡训练里带宽什么时候会成为瓶颈很多人租了多卡机器发现 8 卡的吞吐还不如 4 卡的两倍问题大概率出在卡间互联。判断方法很直接算一下梯度同步的数据量。70 亿参数、半精度梯度一次全量同步约 14 GB。走的如果是普通 PCIe 通道单向有效带宽按 20 GB/s 算一次同步要 0.7 秒左右。如果单卡算一步只要 0.5 秒那通信时间就超过了计算时间加卡等于白加。所以选多卡机型时卡间互联方式是必须确认的参数跟“有几张卡”同样重要。反过来如果你的模型小、单步计算快多卡收益天然就低这时候老老实实用单卡跑反而更省钱。5. 常见问题与排查技巧实录5.1 性能只有标称值的三成往哪查这是最高频的问题。我按排查顺序列出来基本能覆盖九成情况现象优先怀疑验证方法处理方式计算利用率长期低于五成数据加载跟不上看数据加载耗时占比增加加载进程数、预取、把数据放本地盘单卡性能正常多卡几乎不涨卡间互联带宽不足算梯度同步量和单步时间比值换互联更好的机型或减少卡数标称显存和可用显存对不上拿到的是切分卡实际读取显存总量换整机独占机型首轮很慢后面正常编译和缓存预热对比首轮和次轮耗时属正常现象基准测试要跳过首轮训练速度逐轮下降内存泄漏或缓存膨胀观察内存曲线检查自定义层和缓存策略还有一个容易被忽略的原因CPU 和内存配置跟不上。GPU 再强CPU 只有两核、内存只有十几 GB数据预处理就直接卡死了。选机型的时候顺手看一眼 CPU 核数和内存别只看卡。5.2 账单对不上八成是这几处账单问题我遇到过三次原因各不相同整理出来供参考一次是按小时计费的机型我反复开关机每次不足一小时都按一小时算累计多付了将近一倍一次是实例释放了但独立数据盘没释放存储费持续计了半个月一次是推理服务对外提供接口公网出流量费用超过了卡时费用。核对账单的方法把费用拆成卡时、存储、流量、镜像四块逐块对比用量。卡时看开关机记录存储看磁盘存活时长流量看进出方向。拆开之后异常项一目了然。5.3 数据和账户安全上的几条底线租用别人的算力有几个原则我从来不破不在实例上存任何身份凭证和密钥明文需要访问外部资源就用临时凭证不把服务端口直接暴露到公网要用就加访问控制用完实例先清理个人数据再释放公共共享资源上不放大体积的中间产物。这些不是技术问题是习惯问题但出事的往往就是习惯。6. 我个人在选型和租用上的几条体会第一条也是我踩坑最多的一条永远先用最小的配置把链路跑通再上大机器。我早期有过一次直接开了一台 8 卡机准备跑预训练环境折腾了一天没跑起来租金照付。后来改成先用一张最便宜的卡把数据、脚本、依赖全部验证一遍再切到多卡同样的任务省了三分之二的钱。第二条别信标称算力信自己跑出来的基准。拿到一台新机器我第一件事是跑一个固定的小基准记录下每步耗时。同样的机型不同批次、不同平台实测能差出三成。这个基准数据攒下来下次选型就有依据了比看任何宣传参数都靠谱。第三条给每个实验记成本。我在实验记录里加了一列“本次花费”跑完顺手填。攒上几十次之后你会发现一个规律真正贵的从来不是那些失败的大实验而是那些“开着一半在想事情”的机器。人均最浪费的钱都在电费单一样的闲置时间里。第四条任务设计要适配供给不是反过来。既然拿不到独占的、无限时的资源那就把任务写成能断点、能续训、能分批的形式。这个改造一次性投入之后你在任何一类平台上都能用竞价实例敢用共享池敢用议价能力立刻不一样。这件事的价值远超选对某一个平台。
