1. 从零上手华为云 ModelArts一个后端工程师的踩坑实录去年年底团队接了一个图像分类的需求客户指定要跑在华为云上。我在此之前一直用的是本地显卡conda那套土办法对云平台的训练流程说实话是有点抵触的——总觉得配置繁琐、文档晦涩、出了问题不好排查。但项目压着硬着头皮上前后折腾了大概两周从数据上传、Notebook调试、训练作业提交到最终用在线服务把模型部署成一个可调用的API整个链路算是跑通了。这篇笔记就是那两周的完整复盘把 ModelArts 模型训练与部署这条主线上的关键节点、参数选择、踩过的坑以及一些文档里不会写的经验尽量讲透。如果你也是后端或者算法方向手头有华为云的资源想把自己的模型从本地搬到云上跑训练、再部署成服务那这篇内容应该能帮你省掉不少试错时间。我会从整体设计思路讲起然后拆解数据准备、训练配置、部署上线这几个核心环节最后把我遇到的一堆报错和排查过程整理成速查表。全程不堆概念只讲我实际怎么操作的、为什么这么操作。需要先说明一点ModelArts 的界面和功能迭代比较快我写的是我实际操作时的版本和路径如果你看到的界面和我描述的有出入以你控制台上的实际入口为准但底层的逻辑和参数含义是相通的。2. 整体方案设计与选型思路拆解2.1 为什么选 ModelArts 而不是自己搭训练环境先说选型。当时摆在面前的有三条路一是自己买几台带显卡的云主机手动装 CUDA、cuDNN、PyTorch自己管调度二是用 ModelArts 这类托管平台三是本地跑完再上传模型文件。自己搭环境这条路我最早试过最大的问题是环境一致性。本地调试用的 PyTorch 版本、CUDA 版本和云主机上装的经常对不上一个torch.cuda.is_available()返回 False 就能卡你半天。而且训练任务排队、显存监控、断点续训这些都得自己写脚本维护对于我这种主要精力在后端、算法只是兼顾的人来说维护成本太高。ModelArts 的核心价值在于它把算力调度、环境镜像、训练日志、模型管理这几件事打包了。你选一个预置镜像里面 PyTorch、TensorFlow、MindSpore 都装好了CUDA 版本也是配好的直接开 Notebook 就能跑。训练作业提交后平台负责拉起实例、跑完自动释放按需计费。对于中小规模、迭代频繁的训练任务这个模式省心太多。提示ModelArts 的计费是按实际使用的算力时长算的Notebook 实例只要开着就在计费哪怕你没跑代码。我第一周就因为忘了关 Notebook白白烧掉了几十块钱的算力。养成用完就停的习惯或者用训练作业代替长时间挂着的 Notebook。2.2 训练与部署的整体链路设计整个链路我拆成了四段这也是我推荐给新手的推进顺序数据准备把原始数据传到对象存储 OBS做好目录划分和标注格式转换。开发调试用 Notebook 做小批量数据验证、模型结构调试、单卡跑通。正式训练把调通的代码整理成训练脚本提交训练作业用多卡或更高规格的算力跑全量数据。模型部署把训练产出的模型文件注册到模型管理创建在线服务暴露成 API。这个顺序的关键在于先小后大。很多人一上来就提交全量数据的训练作业结果跑了两个小时发现数据路径写错了或者某个依赖没装算力全浪费。我的做法是先在 Notebook 上用几百张图跑通一个 epoch确认 loss 在下降、没有报错再提交正式作业。关于部署方式ModelArts 提供了在线服务、批量服务、边缘服务几种。我这个需求是实时推理所以选的是在线服务它会给你一个 HTTPS 的调用地址后端直接发请求就行。如果你是要处理离线的一大批数据批量服务更划算。2.3 镜像与算力规格的选择逻辑镜像选择上我强烈建议新手先用预置镜像不要一上来就自己写 Dockerfile。预置镜像里常用的框架版本都齐了选一个和你本地开发环境接近的版本即可。我本地是 PyTorch 1.11就选了对应的预置镜像省去了装依赖的麻烦。算力规格这块ModelArts 提供了从单卡到多卡的多种规格。选择依据主要是显存和训练时长。我的数据集大概两万张图ResNet50 的输入尺寸 224x224batch size 设 32单张 V100 的显存占用大概在 8G 左右完全够用。如果你要跑更大的模型或者更大的 batch就得往上选。这里有个经验先按最小可用规格跑通再根据实际显存占用和训练速度决定要不要升配不要凭感觉选最贵的。3. 数据准备与 OBS 存储的实操细节3.1 数据上传到 OBS 的正确姿势ModelArts 的数据读写默认走对象存储 OBS所以第一步是把数据传上去。OBS 的桶Bucket要选和你的 ModelArts 实例同一个区域否则跨区域读取会慢很多甚至产生额外的流量费用。我一开始桶建在了华北实例开在了华东读数据的时候那个慢啊后来重新建桶才解决。上传方式有几种控制台网页上传适合小数据量数据量大就用 OBS Browser 客户端或者 obsutil 命令行工具。我用的是 obsutil因为它支持断点续传和批量上传。基本命令长这样# 配置访问密钥 obsutil config -i你的AK -k你的SK -eobs.cn-east-3.myhuaweicloud.com # 上传整个目录 obsutil cp -r -f ./dataset obs://your-bucket/dataset/-r是递归-f是强制覆盖。上传大文件的时候建议加上-p10开多线程速度能快不少。注意AK/SK 是访问密钥千万不要硬编码在代码里提交到代码仓库。我一般用环境变量或者配置文件的方式管理本地开发用~/.obsutilconfig代码里读环境变量。3.2 数据集目录结构与标注格式目录结构这块我踩过一个坑。ModelArts 的自动学习功能对目录结构有固定要求但如果你是自己写训练脚本目录结构就随意了只要你的代码能正确读到就行。我采用的是最经典的 ImageFolder 风格dataset/ ├── train/ │ ├── cat/ │ └── dog/ └── val/ ├── cat/ └── dog/每个类别一个文件夹文件夹名就是标签。这种结构 PyTorch 的ImageFolder能直接读不用自己写 Dataset 类省事。如果你的标注是 XML 或者 JSON 格式比如从 LabelImg 导出的需要先转成这种目录结构或者自己写 Dataset 类解析。我建议在本地就把数据整理干净再上传因为云上改数据比本地麻烦得多。本地用脚本批量处理处理完检查一遍类别数量是否均衡再传上去。3.3 数据读取的性能优化数据在 OBS 上训练时读取会有网络延迟。ModelArts 提供了几种优化手段使用缓存训练作业可以配置数据缓存第一次读取后缓存在本地后续 epoch 读取就快了。数据格式转换把大量小图片转成 TFRecord 或者 MindRecord 格式减少小文件读取的开销。我两万张图转成 Record 格式后每个 epoch 的数据加载时间从几分钟降到了几十秒。合理设置 num_workersDataLoader 的num_workers设成 CPU 核数的 2-4 倍比较合适设太大反而会因为进程切换开销变慢。这里有个细节num_workers在 Notebook 里调试时建议设成 0方便看报错堆栈正式训练时再调大。因为多进程下报错信息会被吞掉排查起来很痛苦。4. 训练脚本编写与 Notebook 调试要点4.1 从 Notebook 到训练脚本的转换Notebook 适合交互式调试但正式训练要提交作业得把代码整理成脚本。我的做法是在 Notebook 里把数据加载、模型定义、训练循环都调通然后把代码拆成几个文件train.py主入口解析参数、启动训练model.py模型定义dataset.py数据加载utils.py工具函数拆文件的好处是结构清晰而且训练作业提交时可以指定入口文件平台会把你指定的代码目录整体打包上传。参数解析用argparse把学习率、batch size、epoch 数、数据路径这些都做成命令行参数。这样同一个脚本可以用不同参数跑多次实验不用改代码。import argparse parser argparse.ArgumentParser() parser.add_argument(--data_url, typestr, default./dataset) parser.add_argument(--train_url, typestr, default./output) parser.add_argument(--epochs, typeint, default50) parser.add_argument(--batch_size, typeint, default32) parser.add_argument(--lr, typefloat, default0.001) args parser.parse_args()注意data_url和train_url这两个参数名ModelArts 在训练作业里会自动注入这两个参数分别指向你的数据存储路径和输出路径。你只要在脚本里接收就行不用自己拼路径。4.2 预训练模型的加载与微调我的任务数据量不算特别大从头训练容易过拟合所以用了 ResNet50 的预训练权重做微调。加载预训练模型有两种方式import torchvision.models as models import torch.nn as nn # 方式一直接加载替换最后一层 model models.resnet50(pretrainedTrue) num_features model.fc.in_features model.fc nn.Linear(num_features, num_classes) # 方式二手动加载权重文件 model models.resnet50(pretrainedFalse) state_dict torch.load(resnet50-weights.pth) model.load_state_dict(state_dict, strictFalse)方式一需要联网下载权重ModelArts 的实例一般能访问外网但有时候会慢。方式二是提前把权重文件传到 OBS训练时从本地读更稳定。我后来都改用方式二把常用的预训练权重提前传好。微调的时候我一般冻结前面的层只训练最后的全连接层和最后几个 block。这样训练快也不容易过拟合。具体冻结哪些层取决于你的数据量和任务相似度。数据量小、任务和预训练任务差异大就多训练几层反之就少训练几层。4.3 训练过程中的监控与日志训练作业提交后你可以在控制台看日志。但光看日志不够直观我习惯在代码里加 TensorBoard 或者 MindInsight 的记录把 loss、accuracy、学习率这些曲线画出来。from torch.utils.tensorboard import SummaryWriter writer SummaryWriter(args.train_url /logs) # 训练循环里 writer.add_scalar(Loss/train, loss.item(), global_step) writer.add_scalar(Accuracy/train, acc, global_step)日志目录要写到train_url下面这样训练结束后能在 OBS 里找到。ModelArts 也支持把 TensorBoard 日志直接可视化在训练作业详情页有入口。实操心得训练作业的日志有延迟不是实时的。我一般提交后先去干别的过十几分钟再回来看。如果发现 loss 一直是 nan那多半是学习率太大或者数据有问题赶紧停了改别让它白跑。5. 模型部署上线的完整流程5.1 模型产出的保存与注册训练完成后模型文件会保存在train_url指定的路径下。我一般保存两个东西模型权重文件和推理代码。权重文件就是state_dict推理代码是加载模型、做前处理的脚本。ModelArts 的模型管理需要你指定模型文件的路径和推理代码的入口。推理代码要遵循平台的规范核心是实现一个Model类里面有__init__和_inference方法class Model: def __init__(self, model_path): self.model load_model(model_path) self.model.eval() def _inference(self, data): # 前处理 input_tensor preprocess(data) # 推理 with torch.no_grad(): output self.model(input_tensor) # 后处理 return postprocess(output)这个类名和方法名是平台约定的不能随便改。前处理要和你训练时的处理保持一致否则推理结果会不对。我就在这里踩过坑训练时用了归一化推理时忘了结果预测全乱。5.2 在线服务的配置与发布模型注册好后就可以创建在线服务了。配置项主要有几个算力规格推理一般比训练要求低选个中等规格就行。我的服务用的是 CPU 规格因为推理请求量不大用 GPU 浪费。实例数量可以设多个实例做负载均衡我一开始设了 1 个后来请求量上来了加到 2 个。环境变量如果有配置项通过环境变量传进去。发布后平台会给你一个 API 地址和认证信息。调用的时候需要在请求头里带上 tokentoken 的获取方式在服务详情页有说明。import requests url https://your-service-endpoint/v1/infers/xxx headers { X-Auth-Token: your-token, Content-Type: application/json } data {data: {image: base64编码的图片}} response requests.post(url, headersheaders, jsondata) print(response.json())5.3 部署后的性能与成本优化服务跑起来后我做了几件事来优化第一批处理。如果请求量大可以把多个请求攒成一批一起推理吞吐量能提升好几倍。但这会增加单次延迟要权衡。第二模型量化。把 FP32 的模型转成 FP16 或者 INT8推理速度能提升模型体积也变小。我用 FP16 量化后推理延迟降了大概 30%精度几乎没损失。第三自动扩缩容。ModelArts 支持根据请求量自动调整实例数低峰期缩到 1 个高峰期自动扩。这个能省不少钱但要配置好触发阈值。注意在线服务的计费是按实例运行时长算的哪怕没有请求也在计费。如果服务不是 7x24 需要的可以设置定时启停或者用按需的批量服务。6. 常见报错与排查技巧实录6.1 训练阶段的典型问题问题一loss 变成 nan。这是最常见的。原因通常是学习率太大、数据里有异常值、或者梯度爆炸。我的排查顺序是先把学习率降一个数量级试试然后检查数据里有没有空文件或者损坏的图片最后加梯度裁剪。torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)问题二显存不够CUDA out of memory。解决办法有几个减小 batch size、用梯度累积模拟大 batch、用混合精度训练、清理不必要的缓存。# 混合精度训练 from torch.cuda.amp import autocast, GradScaler scaler GradScaler() with autocast(): output model(input) loss criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()问题三数据读取报错。多半是路径问题。ModelArts 里数据路径是平台注入的不要写死。用args.data_url拼接。另外注意 OBS 路径和本地路径的区别OBS 路径是obs://开头本地是/cache/开头。6.2 部署阶段的典型问题问题一推理结果和训练时不一致。九成是前处理不一致。检查归一化的均值方差、图片的 resize 方式、通道顺序RGB vs BGR是否和训练时一样。问题二服务启动失败。看日志通常是推理代码有语法错误或者依赖没装。ModelArts 的推理环境是独立的你训练时用的包推理环境里不一定有。需要在推理代码目录里放一个requirements.txt平台会自动安装。问题三调用超时。默认超时时间可能比较短如果你的模型推理慢需要在创建服务时调大超时时间。另外检查网络服务地址是内网还是公网公网调用要注意带宽。6.3 常见问题速查表问题现象可能原因排查方向解决办法loss 为 nan学习率过大/数据异常打印每步 loss 和输入降学习率、清洗数据、梯度裁剪显存不足batch 太大/模型太大看显存占用减小 batch、混合精度、梯度累积数据读取慢小文件多/跨区域看数据加载耗时转 Record 格式、同区域建桶推理结果不对前处理不一致对比训练和推理代码统一归一化和 resize 方式服务启动失败依赖缺失/代码错误看服务日志补 requirements.txt、修代码调用超时推理慢/超时设置短测单次推理耗时优化模型、调大超时6.4 几个文档里不会写的避坑经验第一Notebook 用完就关。前面提过但真的重要。我见过有人挂着 Notebook 跑了一周账单出来吓一跳。第二训练作业的日志要主动保存。作业结束后实例释放日志可能就找不到了。我习惯在代码里把关键日志写到train_url下这样作业结束后还能在 OBS 里翻。第三模型文件命名要规范。我一开始用model.pth后来模型多了根本分不清哪个是哪个。改成resnet50_bs32_lr0.001_epoch50.pth这种带参数的命名一目了然。第四先跑通再优化。不要一上来就追求多卡、混合精度、数据增强全套。先用最简单的配置跑通一个 epoch确认链路没问题再逐步加优化。这样出问题的时候你知道是哪个改动引入的。第五善用免费额度。华为云对新用户有一些免费算力额度ModelArts 也有免费体验的规格。学习阶段先用免费的跑通了再上付费规格。7. 关于 vLLM 与大模型部署的一点延伸虽然我这个项目是图像分类但最近团队也在看大模型的部署顺便研究了一下 vLLM。这里简单说几句因为热词里也提到了。vLLM 是一个专门做大模型推理加速的框架核心是 PagedAttention 技术能显著提升吞吐量。如果你要在 ModelArts 上部署类似 DeepSeek、Qwen 这类大模型vLLM 是个不错的选择。部署思路和上面类似把模型权重传到 OBS写推理代码创建在线服务。区别在于 vLLM 对显存要求高要选大显存的规格而且它的推理代码有自己的 API 规范。有个坑要注意安装 vLLM 可能会改变你已经装好的 torch 版本。因为 vLLM 对 torch 版本有依赖pip 安装时可能会升级或降级 torch导致你原来的环境坏掉。我的建议是用独立的虚拟环境或者直接用 ModelArts 的预置镜像里面可能已经集成了。至于本地部署 AI 模型那是另一条路对硬件要求高适合有显卡的开发者折腾。云上部署的优势是弹性用多少算多少不用一次性投入硬件成本。8. 写在最后的一点个人体会这套流程跑下来我最大的感受是云平台的价值不在于技术多先进而在于把繁琐的工程问题标准化了。以前我要花大量时间在环境配置、算力调度、日志收集上现在这些平台都帮你做了你可以把精力集中在模型和数据本身。当然平台也有它的脾气。文档有时候跟不上版本迭代报错信息有时候不够明确这些都需要你自己去踩、去试。但踩过一遍之后你会发现这套东西是可复用的——下次换个任务换个模型流程还是这个流程只是参数变一变。如果你刚开始用 ModelArts我的建议是别怕报错别怕花钱先用最小的成本把整个链路跑通一遍。跑通之后你对整个系统的理解会完全不一样。那些文档里看不懂的概念在实操中自然就明白了。
1. 从零上手华为云 ModelArts一个后端工程师的踩坑实录去年年底团队接了一个图像分类的需求客户指定要跑在华为云上。我在此之前一直用的是本地显卡conda那套土办法对云平台的训练流程说实话是有点抵触的——总觉得配置繁琐、文档晦涩、出了问题不好排查。但项目压着硬着头皮上前后折腾了大概两周从数据上传、Notebook调试、训练作业提交到最终用在线服务把模型部署成一个可调用的API整个链路算是跑通了。这篇笔记就是那两周的完整复盘把 ModelArts 模型训练与部署这条主线上的关键节点、参数选择、踩过的坑以及一些文档里不会写的经验尽量讲透。如果你也是后端或者算法方向手头有华为云的资源想把自己的模型从本地搬到云上跑训练、再部署成服务那这篇内容应该能帮你省掉不少试错时间。我会从整体设计思路讲起然后拆解数据准备、训练配置、部署上线这几个核心环节最后把我遇到的一堆报错和排查过程整理成速查表。全程不堆概念只讲我实际怎么操作的、为什么这么操作。需要先说明一点ModelArts 的界面和功能迭代比较快我写的是我实际操作时的版本和路径如果你看到的界面和我描述的有出入以你控制台上的实际入口为准但底层的逻辑和参数含义是相通的。2. 整体方案设计与选型思路拆解2.1 为什么选 ModelArts 而不是自己搭训练环境先说选型。当时摆在面前的有三条路一是自己买几台带显卡的云主机手动装 CUDA、cuDNN、PyTorch自己管调度二是用 ModelArts 这类托管平台三是本地跑完再上传模型文件。自己搭环境这条路我最早试过最大的问题是环境一致性。本地调试用的 PyTorch 版本、CUDA 版本和云主机上装的经常对不上一个torch.cuda.is_available()返回 False 就能卡你半天。而且训练任务排队、显存监控、断点续训这些都得自己写脚本维护对于我这种主要精力在后端、算法只是兼顾的人来说维护成本太高。ModelArts 的核心价值在于它把算力调度、环境镜像、训练日志、模型管理这几件事打包了。你选一个预置镜像里面 PyTorch、TensorFlow、MindSpore 都装好了CUDA 版本也是配好的直接开 Notebook 就能跑。训练作业提交后平台负责拉起实例、跑完自动释放按需计费。对于中小规模、迭代频繁的训练任务这个模式省心太多。提示ModelArts 的计费是按实际使用的算力时长算的Notebook 实例只要开着就在计费哪怕你没跑代码。我第一周就因为忘了关 Notebook白白烧掉了几十块钱的算力。养成用完就停的习惯或者用训练作业代替长时间挂着的 Notebook。2.2 训练与部署的整体链路设计整个链路我拆成了四段这也是我推荐给新手的推进顺序数据准备把原始数据传到对象存储 OBS做好目录划分和标注格式转换。开发调试用 Notebook 做小批量数据验证、模型结构调试、单卡跑通。正式训练把调通的代码整理成训练脚本提交训练作业用多卡或更高规格的算力跑全量数据。模型部署把训练产出的模型文件注册到模型管理创建在线服务暴露成 API。这个顺序的关键在于先小后大。很多人一上来就提交全量数据的训练作业结果跑了两个小时发现数据路径写错了或者某个依赖没装算力全浪费。我的做法是先在 Notebook 上用几百张图跑通一个 epoch确认 loss 在下降、没有报错再提交正式作业。关于部署方式ModelArts 提供了在线服务、批量服务、边缘服务几种。我这个需求是实时推理所以选的是在线服务它会给你一个 HTTPS 的调用地址后端直接发请求就行。如果你是要处理离线的一大批数据批量服务更划算。2.3 镜像与算力规格的选择逻辑镜像选择上我强烈建议新手先用预置镜像不要一上来就自己写 Dockerfile。预置镜像里常用的框架版本都齐了选一个和你本地开发环境接近的版本即可。我本地是 PyTorch 1.11就选了对应的预置镜像省去了装依赖的麻烦。算力规格这块ModelArts 提供了从单卡到多卡的多种规格。选择依据主要是显存和训练时长。我的数据集大概两万张图ResNet50 的输入尺寸 224x224batch size 设 32单张 V100 的显存占用大概在 8G 左右完全够用。如果你要跑更大的模型或者更大的 batch就得往上选。这里有个经验先按最小可用规格跑通再根据实际显存占用和训练速度决定要不要升配不要凭感觉选最贵的。3. 数据准备与 OBS 存储的实操细节3.1 数据上传到 OBS 的正确姿势ModelArts 的数据读写默认走对象存储 OBS所以第一步是把数据传上去。OBS 的桶Bucket要选和你的 ModelArts 实例同一个区域否则跨区域读取会慢很多甚至产生额外的流量费用。我一开始桶建在了华北实例开在了华东读数据的时候那个慢啊后来重新建桶才解决。上传方式有几种控制台网页上传适合小数据量数据量大就用 OBS Browser 客户端或者 obsutil 命令行工具。我用的是 obsutil因为它支持断点续传和批量上传。基本命令长这样# 配置访问密钥 obsutil config -i你的AK -k你的SK -eobs.cn-east-3.myhuaweicloud.com # 上传整个目录 obsutil cp -r -f ./dataset obs://your-bucket/dataset/-r是递归-f是强制覆盖。上传大文件的时候建议加上-p10开多线程速度能快不少。注意AK/SK 是访问密钥千万不要硬编码在代码里提交到代码仓库。我一般用环境变量或者配置文件的方式管理本地开发用~/.obsutilconfig代码里读环境变量。3.2 数据集目录结构与标注格式目录结构这块我踩过一个坑。ModelArts 的自动学习功能对目录结构有固定要求但如果你是自己写训练脚本目录结构就随意了只要你的代码能正确读到就行。我采用的是最经典的 ImageFolder 风格dataset/ ├── train/ │ ├── cat/ │ └── dog/ └── val/ ├── cat/ └── dog/每个类别一个文件夹文件夹名就是标签。这种结构 PyTorch 的ImageFolder能直接读不用自己写 Dataset 类省事。如果你的标注是 XML 或者 JSON 格式比如从 LabelImg 导出的需要先转成这种目录结构或者自己写 Dataset 类解析。我建议在本地就把数据整理干净再上传因为云上改数据比本地麻烦得多。本地用脚本批量处理处理完检查一遍类别数量是否均衡再传上去。3.3 数据读取的性能优化数据在 OBS 上训练时读取会有网络延迟。ModelArts 提供了几种优化手段使用缓存训练作业可以配置数据缓存第一次读取后缓存在本地后续 epoch 读取就快了。数据格式转换把大量小图片转成 TFRecord 或者 MindRecord 格式减少小文件读取的开销。我两万张图转成 Record 格式后每个 epoch 的数据加载时间从几分钟降到了几十秒。合理设置 num_workersDataLoader 的num_workers设成 CPU 核数的 2-4 倍比较合适设太大反而会因为进程切换开销变慢。这里有个细节num_workers在 Notebook 里调试时建议设成 0方便看报错堆栈正式训练时再调大。因为多进程下报错信息会被吞掉排查起来很痛苦。4. 训练脚本编写与 Notebook 调试要点4.1 从 Notebook 到训练脚本的转换Notebook 适合交互式调试但正式训练要提交作业得把代码整理成脚本。我的做法是在 Notebook 里把数据加载、模型定义、训练循环都调通然后把代码拆成几个文件train.py主入口解析参数、启动训练model.py模型定义dataset.py数据加载utils.py工具函数拆文件的好处是结构清晰而且训练作业提交时可以指定入口文件平台会把你指定的代码目录整体打包上传。参数解析用argparse把学习率、batch size、epoch 数、数据路径这些都做成命令行参数。这样同一个脚本可以用不同参数跑多次实验不用改代码。import argparse parser argparse.ArgumentParser() parser.add_argument(--data_url, typestr, default./dataset) parser.add_argument(--train_url, typestr, default./output) parser.add_argument(--epochs, typeint, default50) parser.add_argument(--batch_size, typeint, default32) parser.add_argument(--lr, typefloat, default0.001) args parser.parse_args()注意data_url和train_url这两个参数名ModelArts 在训练作业里会自动注入这两个参数分别指向你的数据存储路径和输出路径。你只要在脚本里接收就行不用自己拼路径。4.2 预训练模型的加载与微调我的任务数据量不算特别大从头训练容易过拟合所以用了 ResNet50 的预训练权重做微调。加载预训练模型有两种方式import torchvision.models as models import torch.nn as nn # 方式一直接加载替换最后一层 model models.resnet50(pretrainedTrue) num_features model.fc.in_features model.fc nn.Linear(num_features, num_classes) # 方式二手动加载权重文件 model models.resnet50(pretrainedFalse) state_dict torch.load(resnet50-weights.pth) model.load_state_dict(state_dict, strictFalse)方式一需要联网下载权重ModelArts 的实例一般能访问外网但有时候会慢。方式二是提前把权重文件传到 OBS训练时从本地读更稳定。我后来都改用方式二把常用的预训练权重提前传好。微调的时候我一般冻结前面的层只训练最后的全连接层和最后几个 block。这样训练快也不容易过拟合。具体冻结哪些层取决于你的数据量和任务相似度。数据量小、任务和预训练任务差异大就多训练几层反之就少训练几层。4.3 训练过程中的监控与日志训练作业提交后你可以在控制台看日志。但光看日志不够直观我习惯在代码里加 TensorBoard 或者 MindInsight 的记录把 loss、accuracy、学习率这些曲线画出来。from torch.utils.tensorboard import SummaryWriter writer SummaryWriter(args.train_url /logs) # 训练循环里 writer.add_scalar(Loss/train, loss.item(), global_step) writer.add_scalar(Accuracy/train, acc, global_step)日志目录要写到train_url下面这样训练结束后能在 OBS 里找到。ModelArts 也支持把 TensorBoard 日志直接可视化在训练作业详情页有入口。实操心得训练作业的日志有延迟不是实时的。我一般提交后先去干别的过十几分钟再回来看。如果发现 loss 一直是 nan那多半是学习率太大或者数据有问题赶紧停了改别让它白跑。5. 模型部署上线的完整流程5.1 模型产出的保存与注册训练完成后模型文件会保存在train_url指定的路径下。我一般保存两个东西模型权重文件和推理代码。权重文件就是state_dict推理代码是加载模型、做前处理的脚本。ModelArts 的模型管理需要你指定模型文件的路径和推理代码的入口。推理代码要遵循平台的规范核心是实现一个Model类里面有__init__和_inference方法class Model: def __init__(self, model_path): self.model load_model(model_path) self.model.eval() def _inference(self, data): # 前处理 input_tensor preprocess(data) # 推理 with torch.no_grad(): output self.model(input_tensor) # 后处理 return postprocess(output)这个类名和方法名是平台约定的不能随便改。前处理要和你训练时的处理保持一致否则推理结果会不对。我就在这里踩过坑训练时用了归一化推理时忘了结果预测全乱。5.2 在线服务的配置与发布模型注册好后就可以创建在线服务了。配置项主要有几个算力规格推理一般比训练要求低选个中等规格就行。我的服务用的是 CPU 规格因为推理请求量不大用 GPU 浪费。实例数量可以设多个实例做负载均衡我一开始设了 1 个后来请求量上来了加到 2 个。环境变量如果有配置项通过环境变量传进去。发布后平台会给你一个 API 地址和认证信息。调用的时候需要在请求头里带上 tokentoken 的获取方式在服务详情页有说明。import requests url https://your-service-endpoint/v1/infers/xxx headers { X-Auth-Token: your-token, Content-Type: application/json } data {data: {image: base64编码的图片}} response requests.post(url, headersheaders, jsondata) print(response.json())5.3 部署后的性能与成本优化服务跑起来后我做了几件事来优化第一批处理。如果请求量大可以把多个请求攒成一批一起推理吞吐量能提升好几倍。但这会增加单次延迟要权衡。第二模型量化。把 FP32 的模型转成 FP16 或者 INT8推理速度能提升模型体积也变小。我用 FP16 量化后推理延迟降了大概 30%精度几乎没损失。第三自动扩缩容。ModelArts 支持根据请求量自动调整实例数低峰期缩到 1 个高峰期自动扩。这个能省不少钱但要配置好触发阈值。注意在线服务的计费是按实例运行时长算的哪怕没有请求也在计费。如果服务不是 7x24 需要的可以设置定时启停或者用按需的批量服务。6. 常见报错与排查技巧实录6.1 训练阶段的典型问题问题一loss 变成 nan。这是最常见的。原因通常是学习率太大、数据里有异常值、或者梯度爆炸。我的排查顺序是先把学习率降一个数量级试试然后检查数据里有没有空文件或者损坏的图片最后加梯度裁剪。torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)问题二显存不够CUDA out of memory。解决办法有几个减小 batch size、用梯度累积模拟大 batch、用混合精度训练、清理不必要的缓存。# 混合精度训练 from torch.cuda.amp import autocast, GradScaler scaler GradScaler() with autocast(): output model(input) loss criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()问题三数据读取报错。多半是路径问题。ModelArts 里数据路径是平台注入的不要写死。用args.data_url拼接。另外注意 OBS 路径和本地路径的区别OBS 路径是obs://开头本地是/cache/开头。6.2 部署阶段的典型问题问题一推理结果和训练时不一致。九成是前处理不一致。检查归一化的均值方差、图片的 resize 方式、通道顺序RGB vs BGR是否和训练时一样。问题二服务启动失败。看日志通常是推理代码有语法错误或者依赖没装。ModelArts 的推理环境是独立的你训练时用的包推理环境里不一定有。需要在推理代码目录里放一个requirements.txt平台会自动安装。问题三调用超时。默认超时时间可能比较短如果你的模型推理慢需要在创建服务时调大超时时间。另外检查网络服务地址是内网还是公网公网调用要注意带宽。6.3 常见问题速查表问题现象可能原因排查方向解决办法loss 为 nan学习率过大/数据异常打印每步 loss 和输入降学习率、清洗数据、梯度裁剪显存不足batch 太大/模型太大看显存占用减小 batch、混合精度、梯度累积数据读取慢小文件多/跨区域看数据加载耗时转 Record 格式、同区域建桶推理结果不对前处理不一致对比训练和推理代码统一归一化和 resize 方式服务启动失败依赖缺失/代码错误看服务日志补 requirements.txt、修代码调用超时推理慢/超时设置短测单次推理耗时优化模型、调大超时6.4 几个文档里不会写的避坑经验第一Notebook 用完就关。前面提过但真的重要。我见过有人挂着 Notebook 跑了一周账单出来吓一跳。第二训练作业的日志要主动保存。作业结束后实例释放日志可能就找不到了。我习惯在代码里把关键日志写到train_url下这样作业结束后还能在 OBS 里翻。第三模型文件命名要规范。我一开始用model.pth后来模型多了根本分不清哪个是哪个。改成resnet50_bs32_lr0.001_epoch50.pth这种带参数的命名一目了然。第四先跑通再优化。不要一上来就追求多卡、混合精度、数据增强全套。先用最简单的配置跑通一个 epoch确认链路没问题再逐步加优化。这样出问题的时候你知道是哪个改动引入的。第五善用免费额度。华为云对新用户有一些免费算力额度ModelArts 也有免费体验的规格。学习阶段先用免费的跑通了再上付费规格。7. 关于 vLLM 与大模型部署的一点延伸虽然我这个项目是图像分类但最近团队也在看大模型的部署顺便研究了一下 vLLM。这里简单说几句因为热词里也提到了。vLLM 是一个专门做大模型推理加速的框架核心是 PagedAttention 技术能显著提升吞吐量。如果你要在 ModelArts 上部署类似 DeepSeek、Qwen 这类大模型vLLM 是个不错的选择。部署思路和上面类似把模型权重传到 OBS写推理代码创建在线服务。区别在于 vLLM 对显存要求高要选大显存的规格而且它的推理代码有自己的 API 规范。有个坑要注意安装 vLLM 可能会改变你已经装好的 torch 版本。因为 vLLM 对 torch 版本有依赖pip 安装时可能会升级或降级 torch导致你原来的环境坏掉。我的建议是用独立的虚拟环境或者直接用 ModelArts 的预置镜像里面可能已经集成了。至于本地部署 AI 模型那是另一条路对硬件要求高适合有显卡的开发者折腾。云上部署的优势是弹性用多少算多少不用一次性投入硬件成本。8. 写在最后的一点个人体会这套流程跑下来我最大的感受是云平台的价值不在于技术多先进而在于把繁琐的工程问题标准化了。以前我要花大量时间在环境配置、算力调度、日志收集上现在这些平台都帮你做了你可以把精力集中在模型和数据本身。当然平台也有它的脾气。文档有时候跟不上版本迭代报错信息有时候不够明确这些都需要你自己去踩、去试。但踩过一遍之后你会发现这套东西是可复用的——下次换个任务换个模型流程还是这个流程只是参数变一变。如果你刚开始用 ModelArts我的建议是别怕报错别怕花钱先用最小的成本把整个链路跑通一遍。跑通之后你对整个系统的理解会完全不一样。那些文档里看不懂的概念在实操中自然就明白了。
