前阵子有个朋友找我说他做一个小型图像分类项目数据量少得可怜问我怎么快速起一个能出结果的模型。我回他直接用预训练模型啊两行代码搞定。结果他照着网上教程敲完从下午卡到晚上一会儿下载超时一会儿报错Unknown layer最后连加载成功的日志都没见到。这事儿让我印象很深——keras加载预训练模型这个操作看起来是所有深度学习教程里最简单的一步真正做的时候坑比训练模型本身还多。这篇文章我想系统聊聊Keras预训练模型加载这件事包括内置应用模块的权重下载机制、本地文件的三种保存与加载形态、加载过程里最常见的报错链路以及模型加载完之后的冻结和微调配置。不管你是第一次跑通迁移学习还是已经踩过几个坑想弄明白为什么这篇应该都能帮你省点时间。1. 为什么加载预训练模型这件事值得单独研究1.1 从零训练的现实困境先说个基础问题训练图像分类模型为什么要碰预训练权重我见过不少入门选手直接抱着一堆数据开训辛辛苦苦调了一星期验证集准确率卡在70%上不去。原因不复杂——深度卷积网络参数量动辄几千万想让它学到真正有用的特征通常需要几十万甚至上百万张标注图片。真实项目里你手上能用的干净数据往往只有几千张。模型学不到足够的纹理、边缘、形状先验自然表现不佳。预训练模型解决的就是这个冷启动问题。别人或者以前的你在大规模数据集上花了几周时间让网络学会了一套通用的视觉特征提取能力。你现在要做的事情不是重新发明轮子而是把那个训练好的轮子拿过来换到自己车上——这就是加载预训练模型的底层意义。1.2 迁移学习在Keras里的两种打开方式在Keras里加载预训练模型大致分两条路线特征提取路线加载模型后把主干部分冻结trainableFalse只训练后面新加的分类层。适合数据量小、任务与预训练任务相近的场景。微调路线解冻部分深层用较小学习率继续训练整个网络。适合数据量相对充足、预训练任务与目标任务差异较大的场景。不管哪条路线第一步都是把预训练权重成功加载进来。而这一步恰恰被大多数教程一笔带过。等真正动手时你才会发现它涉及网络能否访问下载源、文件格式如何解析、自定义层如何序列化、输入数据如何对齐等一系列细节。下面我按实际使用频率从高到低把加载方式逐个拆开讲。2. 内置模型加载一行代码背后的权重分发机制2.1 keras.applications的标准用法Keras最省事的方式就是用内置应用模块比如VGG16、ResNet50、EfficientNet这些。标准写法如下from keras.applications import ResNet50 model ResNet50( weightsimagenet, include_topTrue, input_shape(224, 224, 3) )这里三个参数的含义很多人并没有真正理解weightsimagenet表示要加载在ImageNet数据集上预训练好的权重。官方会自动检测本地是否有缓存没有就从服务器下载到~/.keras/models/目录。include_topTrue是否包含网络末尾的全连接分类层。做特征提取时通常设为False这样输出是一个特征向量不会强制要求你预测那1000个固定类别。input_shape输入图像尺寸。注意这个参数只在include_topFalse且没有加载固定权重时才能自由修改。实战里最常见的组合是include_topFalseweightsimagenet然后把自己的分类头接上去。2.2 weights的两种取值imagenet从哪里来weights参数除了填imagenet还可以填None代表只创建网络结构、不加载任何预训练权重适合从头训练或只想要个空模型壳子的场景。那imagenet权重文件到底存在哪在Linux环境下位置是~/.keras/models/文件名形如resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5。这个文件名里有两个值得注意的信息tf_dim_ordering说明权重的张量维度顺序遵循TensorFlow的惯例也就是通道在后channels_last即(height, width, channels)。notop对应include_topFalse时的文件它不含全连接分类层尺寸也会小一截。第一次加载时如果本地没有对应文件会触发下载。这里就出现第一个坑官方服务器在部分网络环境下响应很慢甚至连接超时经常等半天然后抛个URL错误出来。2.3 下载超时与缓存路径的处理手法我遇到过很多次这种情况下载卡住后重新运行脚本还是要再下一次因为之前没下完的临时文件不会被续传。比较稳的处理方法是提前手动下载权重文件然后放到指定的缓存目录。# 先把权重文件下载到本地再放到Keras默认缓存目录 mkdir -p ~/.keras/models # 假设权重文件已下载到当前目录 mv resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5 ~/.keras/models/另外Keras也支持通过环境变量KERAS_HOME修改整个缓存根目录。如果服务器上没有写家目录的权限可以用这个变量指到项目目录下。export KERAS_HOME/data/my_project/keras_home手动放文件时有一点要注意文件名必须和Keras内部期望的名字完全一致大小写和_weights_tf_dim_ordering_这段都不能错否则系统会认为缓存不存在又走下载流程。2.4 内置模型加载后的结构自查成功加载后建议立即看一眼网络结构确认加载的是预期模型model.summary()重点核对输出层的形状。比如include_topFalse时ResNet50的输出是(None, 7, 7, 2048)如果看到(None, 1000)说明你忘记了include_topFalse加载了一个带分类头的完整模型后面接自定义层时就会出维度错误。我还习惯顺手验证一下权重是否真的载入了。方法是打印第一层卷积核的均值如果是随机初始化数值会约等于0如果是ImageNet权重数值会是一个有特点的分布。import numpy as np first_conv_weights model.layers[1].get_weights()[0] print(np.mean(first_conv_weights), np.std(first_conv_weights))这一步能帮你排除模型结构存在但权重没加载成功的隐性故障。3. 本地模型的三种加载形态load_model、load_weights与格式差异内置模型只是最顺滑的一种场景实际工程里你拿到的更多是一个别人保存好的模型文件或者你自己训练一半的产物。这时候就要用到load_model和load_weights两者区别很大用错的人不在少数。3.1 存储格式的两大流派先梳理文件格式。Keras/TensorFlow的模型存储格式经历了一个演变过程格式后缀包含内容加载方式老式H5.h5 / .hdf5模型结构权重编译信息keras.models.load_model新式SavedModel目录含saved_model.pb和variables/模型结构权重签名信息keras.models.load_model纯权重文件.h5 / .weights.h5只有权重张量model.load_weights我用表格把这个关系展开说。.h5文件有两种一种是完整模型文件里面用model.to_json()或直接model.save()保存了完整结构另一种是只有权重的model.save_weights()。两者后缀可能都是.h5但内部结构完全不同加载方式也不同。load_model会自动判断文件内部格式既能加载老式H5也能加载SavedModel目录。但注意它无法直接加载一个纯权重文件因为里面没有模型结构信息不知道权重该往哪填。load_weights则只负责往已有模型的各层里填数值前提是你已经构建好了一个结构完全一致的模型。3.2 使用load_model完整恢复模型如果你想恢复一个训练过的完整模型包括继续训练或直接推理用load_model最合适from keras.models import load_model # 加载完整模型 model load_model(my_model.h5) # 或者加载SavedModel目录 model load_model(saved_model_dir/) # 直接使用 pred model.predict(x_input)这个方法最大的坑是自定义元素如果模型里用了自定义层、自定义损失函数或者自定义指标反序列化时会报错unknown layer或unknown loss。解决办法是在加载时把自定义对象传进去from keras.models import load_model model load_model( my_model_with_custom.h5, custom_objects{MyLayer: MyLayer} # 关键把自定义类传进来 )3.3 使用load_weights只灌权重另一种场景你有一个模型结构代码权重是额外文件比如官方发布的预训练权重或者自己save_weights保存的那么你应该这样加载# 先构建模型结构 base_model ResNet50(include_topFalse, weightsNone) x base_model.output x GlobalAveragePooling2D()(x) pred Dense(10, activationsoftmax)(x) model Model(inputsbase_model.input, outputspred) # 加载预训练权重到基础网络上 base_model.load_weights(resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5)这里要特别提醒load_weights要求文件里的每层权重顺序和当前模型结构完全一致。如果你之前修改过某层的名字、加删过层加载时大概率会抛出unable to load weights之类的错误。如果只想加载部分层的权重加参数by_nameTrue它允许只匹配名字相同的层其他层保持原状。base_model.load_weights(some_weights.h5, by_nameTrue)by_nameTrue比默认的按顺序方式温和很多能容忍结构有细微出入非常适合做迁移学习时只加载backbone部分。3.4 新版本中的.weights.h5格式如果你用的是较新的Keras版本model.save_weights()默认输出可能是model.weights.h5这种新命名里面存放方式略有变化但不影响load_weights加载。只提醒一句不要把它当成完整模型文件去喂给load_model否则必报错。同理也不要拿load_weights去直接加载一个完整ModelSave文件它俩是两种序列化协议。这节最后给个选型建议如果是自己保存模型能用model.save(xxx.h5)就用这个它把结构和权重一起打包加载起来最不容易出问题。如果是为了分发预训练成果只保留权重文件体积更小配合结构代码交给接收方反而更灵活。4. 加载报错的完整排查链路从Unknown layer到Shape不匹配现在说实操中真正让人头大的部分。我梳理了加载预训练模型时最高频的几类报错按排查思路复现一遍这样你遇到问题时知道该往哪个方向想。4.1 自定义层反序列化失败Unknown layer报错信息通常是ValueError: Unknown layer: FocalLossLayer. Please ensure this object is passed to the custom_objects argument.出现这个错误说明模型文件里记录的结构有你本地代码不认识的对象。原因通常是模型训练时用了自定义层而加载脚本里没有定义这个类。排查链路我是这么走的打开模型文件对应的训练脚本找到自定义层的完整类定义。确认类名和get_config()方法是否完整。类名要严格一致get_config()里的参数也要和__init__能对上。在加载脚本里导入该类并传给custom_objects。一个容易忽略的点自定义层里的get_config()如果用了super().get_config()要保持父类的dict和子类新增的dict合并否则虽然训练时没事加载时也会因为config信息缺失而报错。class FocalLossLayer(Layer): def __init__(self, gamma2.0, **kwargs): super().__init__(**kwargs) self.gamma gamma def get_config(self): config super().get_config() config.update({gamma: self.gamma}) return config4.2 自定义损失函数加载失败的另一种表现和自定义层类似如果模型编译时用了自定义损失函数加载时也会报Unknown loss function。这算是同一类问题但很多人会忘记因为损失函数比层更加隐蔽。def focal_loss(y_true, y_pred): ... model load_model( model_with_focal.h5, custom_objects{focal_loss: focal_loss} )4.3 输入shape不匹配include_top和input_shape的双重陷阱这类报错很常见报错形式为ValueError: Input 0 of layer conv2d is incompatible with the layer: expected min_ndim4, found ndim2. Full shape received: (None, 224)意思是模型期望输入是4维张量包括批次维度你喂进来的却是二维。大部分是数据通道问题把数据处理成(batch, height, width, channels)即可。还有一种shape不匹配是加了include_topFalse但忘了处理模型末尾的池化层。比如ResNet50输出是(None, 7, 7, 2048)你想接一个Dense层必须先GlobalAveragePooling2D()把空间维度压成(None, 2048)否则Dense层的输入是4维矩阵运算炸掉。base_model ResNet50(include_topFalse, weightsimagenet) x GlobalAveragePooling2D()(base_model.output) x Dropout(0.5)(x) output Dense(10, activationsoftmax)(x) model Model(inputsbase_model.input, outputsoutput)4.4 图像预处理环节的隐形错误权重加载成功了模型也能跑但预测结果一塌糊涂这种软故障比报错更坑。最常见的原因是预处理步骤缺失或错了。用keras.applications.ResNet50加载模型官方权重训练时的输入经过了mean/std归一化预测阶段必须调用对应模型的预处理函数。我见过有人给ResNet50喂归一化到0~1的原始图像结果预测出来的概率全部偏向某一类几乎等于随机猜。from keras.applications.resnet50 import preprocess_input from keras.preprocessing import image img image.load_img(test.jpg, target_size(224, 224)) x image.img_to_array(img) x np.expand_dims(x, axis0) x preprocess_input(x) # 这一步不能省 pred model.predict(x)不同模型预处理器不一样EfficientNet、VGG16各有各的preprocess_input严格对应不能混用。这也是加载预训练模型听起来简单、实际上很强调细节的典型场景。5. 加载完成不是终点冻结、微调与替换输出层的配置细节5.1 trainableFalse的真相不只是不更新权重模型加载成功后紧接着要做的就是决定哪些层参与训练。设置layer.trainable False后层内的权重在训练时不会更新但同时有几个容易被忽略的连带效果对BatchNormalization层trainableFalse会让其内部的均值/方差统计量停止更新继续使用加载时带过来的数值。这在迁移学习初期是合理行为因为你的小数据集根本支撑不起重新估计全局统计量。对Dropout层trainable属性无意义它只在训练/预测阶段有行为差异。设置trainableFalse不会影响已经加载的权重数值它只是阻止后续优化器更新它们。所以当你写下列代码时确保是在加载权重之后再设置顺序反了会导致权重加载时被跳过base_model ResNet50(include_topFalse, weightsimagenet) # 先加载权重 # 再冻结 base_model.trainable False如果不小心先冻结再加载权重会有一个诡异现象模型能加载成功但层内的可训练变量在保存时未注册训练时权重不更新准确率原地不动。这也是加载成功但模型不学习的一个隐蔽根因。整体模型的搭建如下base_model ResNet50(include_topFalse, weightsimagenet) base_model.trainable False x GlobalAveragePooling2D()(base_model.output) x Dropout(0.5)(x) outputs Dense(10, activationsoftmax)(x) model Model(inputsbase_model.input, outputsoutputs) model.compile(optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy])5.2 微调阶段的切层原则冻结主干训练几轮等新分类头收敛后如果要进一步微调不会直接全部解冻而是解冻靠后的一部分。原因是预训练网络的前面层学到的是通用特征边缘、纹理、色彩后面层学到的是任务相关的高级语义。你新任务里没有足够数据时动前面层的代价很高容易灾难性遗忘。实操里我用得比较多的策略是先全部冻结固定训练新分类头5~10轮准确率稳定后解冻最后三分之一的卷积块改用很小的学习率继续训练整个模型。# 解冻最后一段 base_model.trainable True for layer in base_model.layers[:100]: layer.trainable False这里没有一劳永逸的固定层数取决于模型深度和你的数据量。ResNet50一共175层左右从第120层之后解冻算是个常见起点。EfficientNet系列深度差异更大我习惯用层名或者块名做切分点而不是靠数字硬数。5.3 微调时学习率的经验区间微调阶段最忌讳用和从头训练一样的学习率。加载来的预训练权重相当于一个已经很接近局部最优的解学习率过大一步跨出去直接毁掉原有特征。我的经验值参考这个表训练阶段优化器学习率区间说明新分类头训练Adam1e-3 ~ 5e-3只训练新层可以稍大冻结主干新头Adam1e-3常见配置解冻微调SGD或Adam1e-5 ~ 3e-5必须比前面小1~2个数量级理由很直接解冻的预训练卷积层本身已经收敛得不错我们希望它在原有特征基础上做小幅微调而不是推倒重来。损失面在预训练权重附近非常陡峭大学习率会直接冲到没见过的低洼处去。5.4 冻结与非冻结层混合时的训练技巧大部分类别的BatchNorm层在混合训练时会出问题表现是验证集波动剧烈。这是因为当某些层trainableFalse、某些层trainableTrue时BN层的统计量更新和权重更新速度不匹配。尤其新解冻的BN层其running_mean和running_var还停留在预训练状态而前面层输出分布已经变了就会产生震荡。一个实用的规避方案微调阶段尽量不单独解冻某个BN层。要解冻就解冻它所在的整个卷积块。另一个方案是解冻前先用训练集跑几个batch的前向让BN统计量先更新到接近当前数据分布再开始正式训练。这个技巧普通文档里很少写但实测能明显减少初期验证集跳变。6. 实际工程里值得养成的三个加载习惯6.1 为加载操作写一个独立函数预训练模型的加载不是一次性的不同的实验脚本、不同的训练模式都可能复用同一个backbone。我习惯写一个固定的工厂函数def build_pretrained_model( model_nameresnet50, input_shape(224, 224, 3), num_classes10, freeze_ratio0.7 ): import keras.applications as apps factory { resnet50: apps.ResNet50, vgg16: apps.VGG16, efficientnetb0: apps.EfficientNetB0, } base_model factory[model_name]( include_topFalse, weightsimagenet, input_shapeinput_shape ) # 按比例冻结前层 layers_to_freeze int(len(base_model.layers) * freeze_ratio) for layer in base_model.layers[:layers_to_freeze]: layer.trainable False x GlobalAveragePooling2D()(base_model.output) x Dropout(0.5)(x) outputs Dense(num_classes, activationsoftmax)(x) model Model(inputsbase_model.input, outputsoutputs) return model这样每次换模型、换冻结比例只需改一行参数不用复制粘贴一堆重复代码。6.2 用哈希值校验权重完整性下载的权重文件如果被截断或者损坏加载时经常出现奇怪异常有时候一直卡在构建阶段有时候直接崩溃错误信息并不总是指向文件损坏。我后来养成的习惯是下载完先用md5sum验一下文件哈希和官方文档公布的哈希值对一下再投入使用。这个习惯帮我排查过好几次玄学报错确认是文件传输问题而不是代码问题。6.3 把预处理函数一起封装进推理管线预训练模型的预处理和模型权重是强绑定的。换了个预处理器再好的权重也会废掉一半。为了防止半年后自己忘记当时的预处理逻辑我通常在保存模型时把对应的预处理函数名写进模型的metadata里或者干脆封装成一个推理类class PretrainedInference: def __init__(self, model_path, preprocess_fn): self.model load_model(model_path) self.preprocess_fn preprocess_fn def predict(self, img_path, target_size(224, 224)): img image.load_img(img_path, target_sizetarget_size) x image.img_to_array(img) x np.expand_dims(x, axis0) x self.preprocess_fn(x) return self.model.predict(x)把预处理函数作为参数传进封装类意味着你换模型时不会忘记同步换预处理这里省下的时间远超写封装时花的那几分钟。最后再分享一个细节每次加载权重时我都习惯紧接着跑一次单样本预测哪怕输入一张全零图像也行。这个冒烟测试能在训练启动前就把八成加载问题暴露出来比等训练跑到一半再崩溃好受得多。预训练模型加载这件事本质上就是用别人的经验替自己省试错成本把加载这条入口链路搞扎实后面训练和推理才谈得上稳定。
前阵子有个朋友找我说他做一个小型图像分类项目数据量少得可怜问我怎么快速起一个能出结果的模型。我回他直接用预训练模型啊两行代码搞定。结果他照着网上教程敲完从下午卡到晚上一会儿下载超时一会儿报错Unknown layer最后连加载成功的日志都没见到。这事儿让我印象很深——keras加载预训练模型这个操作看起来是所有深度学习教程里最简单的一步真正做的时候坑比训练模型本身还多。这篇文章我想系统聊聊Keras预训练模型加载这件事包括内置应用模块的权重下载机制、本地文件的三种保存与加载形态、加载过程里最常见的报错链路以及模型加载完之后的冻结和微调配置。不管你是第一次跑通迁移学习还是已经踩过几个坑想弄明白为什么这篇应该都能帮你省点时间。1. 为什么加载预训练模型这件事值得单独研究1.1 从零训练的现实困境先说个基础问题训练图像分类模型为什么要碰预训练权重我见过不少入门选手直接抱着一堆数据开训辛辛苦苦调了一星期验证集准确率卡在70%上不去。原因不复杂——深度卷积网络参数量动辄几千万想让它学到真正有用的特征通常需要几十万甚至上百万张标注图片。真实项目里你手上能用的干净数据往往只有几千张。模型学不到足够的纹理、边缘、形状先验自然表现不佳。预训练模型解决的就是这个冷启动问题。别人或者以前的你在大规模数据集上花了几周时间让网络学会了一套通用的视觉特征提取能力。你现在要做的事情不是重新发明轮子而是把那个训练好的轮子拿过来换到自己车上——这就是加载预训练模型的底层意义。1.2 迁移学习在Keras里的两种打开方式在Keras里加载预训练模型大致分两条路线特征提取路线加载模型后把主干部分冻结trainableFalse只训练后面新加的分类层。适合数据量小、任务与预训练任务相近的场景。微调路线解冻部分深层用较小学习率继续训练整个网络。适合数据量相对充足、预训练任务与目标任务差异较大的场景。不管哪条路线第一步都是把预训练权重成功加载进来。而这一步恰恰被大多数教程一笔带过。等真正动手时你才会发现它涉及网络能否访问下载源、文件格式如何解析、自定义层如何序列化、输入数据如何对齐等一系列细节。下面我按实际使用频率从高到低把加载方式逐个拆开讲。2. 内置模型加载一行代码背后的权重分发机制2.1 keras.applications的标准用法Keras最省事的方式就是用内置应用模块比如VGG16、ResNet50、EfficientNet这些。标准写法如下from keras.applications import ResNet50 model ResNet50( weightsimagenet, include_topTrue, input_shape(224, 224, 3) )这里三个参数的含义很多人并没有真正理解weightsimagenet表示要加载在ImageNet数据集上预训练好的权重。官方会自动检测本地是否有缓存没有就从服务器下载到~/.keras/models/目录。include_topTrue是否包含网络末尾的全连接分类层。做特征提取时通常设为False这样输出是一个特征向量不会强制要求你预测那1000个固定类别。input_shape输入图像尺寸。注意这个参数只在include_topFalse且没有加载固定权重时才能自由修改。实战里最常见的组合是include_topFalseweightsimagenet然后把自己的分类头接上去。2.2 weights的两种取值imagenet从哪里来weights参数除了填imagenet还可以填None代表只创建网络结构、不加载任何预训练权重适合从头训练或只想要个空模型壳子的场景。那imagenet权重文件到底存在哪在Linux环境下位置是~/.keras/models/文件名形如resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5。这个文件名里有两个值得注意的信息tf_dim_ordering说明权重的张量维度顺序遵循TensorFlow的惯例也就是通道在后channels_last即(height, width, channels)。notop对应include_topFalse时的文件它不含全连接分类层尺寸也会小一截。第一次加载时如果本地没有对应文件会触发下载。这里就出现第一个坑官方服务器在部分网络环境下响应很慢甚至连接超时经常等半天然后抛个URL错误出来。2.3 下载超时与缓存路径的处理手法我遇到过很多次这种情况下载卡住后重新运行脚本还是要再下一次因为之前没下完的临时文件不会被续传。比较稳的处理方法是提前手动下载权重文件然后放到指定的缓存目录。# 先把权重文件下载到本地再放到Keras默认缓存目录 mkdir -p ~/.keras/models # 假设权重文件已下载到当前目录 mv resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5 ~/.keras/models/另外Keras也支持通过环境变量KERAS_HOME修改整个缓存根目录。如果服务器上没有写家目录的权限可以用这个变量指到项目目录下。export KERAS_HOME/data/my_project/keras_home手动放文件时有一点要注意文件名必须和Keras内部期望的名字完全一致大小写和_weights_tf_dim_ordering_这段都不能错否则系统会认为缓存不存在又走下载流程。2.4 内置模型加载后的结构自查成功加载后建议立即看一眼网络结构确认加载的是预期模型model.summary()重点核对输出层的形状。比如include_topFalse时ResNet50的输出是(None, 7, 7, 2048)如果看到(None, 1000)说明你忘记了include_topFalse加载了一个带分类头的完整模型后面接自定义层时就会出维度错误。我还习惯顺手验证一下权重是否真的载入了。方法是打印第一层卷积核的均值如果是随机初始化数值会约等于0如果是ImageNet权重数值会是一个有特点的分布。import numpy as np first_conv_weights model.layers[1].get_weights()[0] print(np.mean(first_conv_weights), np.std(first_conv_weights))这一步能帮你排除模型结构存在但权重没加载成功的隐性故障。3. 本地模型的三种加载形态load_model、load_weights与格式差异内置模型只是最顺滑的一种场景实际工程里你拿到的更多是一个别人保存好的模型文件或者你自己训练一半的产物。这时候就要用到load_model和load_weights两者区别很大用错的人不在少数。3.1 存储格式的两大流派先梳理文件格式。Keras/TensorFlow的模型存储格式经历了一个演变过程格式后缀包含内容加载方式老式H5.h5 / .hdf5模型结构权重编译信息keras.models.load_model新式SavedModel目录含saved_model.pb和variables/模型结构权重签名信息keras.models.load_model纯权重文件.h5 / .weights.h5只有权重张量model.load_weights我用表格把这个关系展开说。.h5文件有两种一种是完整模型文件里面用model.to_json()或直接model.save()保存了完整结构另一种是只有权重的model.save_weights()。两者后缀可能都是.h5但内部结构完全不同加载方式也不同。load_model会自动判断文件内部格式既能加载老式H5也能加载SavedModel目录。但注意它无法直接加载一个纯权重文件因为里面没有模型结构信息不知道权重该往哪填。load_weights则只负责往已有模型的各层里填数值前提是你已经构建好了一个结构完全一致的模型。3.2 使用load_model完整恢复模型如果你想恢复一个训练过的完整模型包括继续训练或直接推理用load_model最合适from keras.models import load_model # 加载完整模型 model load_model(my_model.h5) # 或者加载SavedModel目录 model load_model(saved_model_dir/) # 直接使用 pred model.predict(x_input)这个方法最大的坑是自定义元素如果模型里用了自定义层、自定义损失函数或者自定义指标反序列化时会报错unknown layer或unknown loss。解决办法是在加载时把自定义对象传进去from keras.models import load_model model load_model( my_model_with_custom.h5, custom_objects{MyLayer: MyLayer} # 关键把自定义类传进来 )3.3 使用load_weights只灌权重另一种场景你有一个模型结构代码权重是额外文件比如官方发布的预训练权重或者自己save_weights保存的那么你应该这样加载# 先构建模型结构 base_model ResNet50(include_topFalse, weightsNone) x base_model.output x GlobalAveragePooling2D()(x) pred Dense(10, activationsoftmax)(x) model Model(inputsbase_model.input, outputspred) # 加载预训练权重到基础网络上 base_model.load_weights(resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5)这里要特别提醒load_weights要求文件里的每层权重顺序和当前模型结构完全一致。如果你之前修改过某层的名字、加删过层加载时大概率会抛出unable to load weights之类的错误。如果只想加载部分层的权重加参数by_nameTrue它允许只匹配名字相同的层其他层保持原状。base_model.load_weights(some_weights.h5, by_nameTrue)by_nameTrue比默认的按顺序方式温和很多能容忍结构有细微出入非常适合做迁移学习时只加载backbone部分。3.4 新版本中的.weights.h5格式如果你用的是较新的Keras版本model.save_weights()默认输出可能是model.weights.h5这种新命名里面存放方式略有变化但不影响load_weights加载。只提醒一句不要把它当成完整模型文件去喂给load_model否则必报错。同理也不要拿load_weights去直接加载一个完整ModelSave文件它俩是两种序列化协议。这节最后给个选型建议如果是自己保存模型能用model.save(xxx.h5)就用这个它把结构和权重一起打包加载起来最不容易出问题。如果是为了分发预训练成果只保留权重文件体积更小配合结构代码交给接收方反而更灵活。4. 加载报错的完整排查链路从Unknown layer到Shape不匹配现在说实操中真正让人头大的部分。我梳理了加载预训练模型时最高频的几类报错按排查思路复现一遍这样你遇到问题时知道该往哪个方向想。4.1 自定义层反序列化失败Unknown layer报错信息通常是ValueError: Unknown layer: FocalLossLayer. Please ensure this object is passed to the custom_objects argument.出现这个错误说明模型文件里记录的结构有你本地代码不认识的对象。原因通常是模型训练时用了自定义层而加载脚本里没有定义这个类。排查链路我是这么走的打开模型文件对应的训练脚本找到自定义层的完整类定义。确认类名和get_config()方法是否完整。类名要严格一致get_config()里的参数也要和__init__能对上。在加载脚本里导入该类并传给custom_objects。一个容易忽略的点自定义层里的get_config()如果用了super().get_config()要保持父类的dict和子类新增的dict合并否则虽然训练时没事加载时也会因为config信息缺失而报错。class FocalLossLayer(Layer): def __init__(self, gamma2.0, **kwargs): super().__init__(**kwargs) self.gamma gamma def get_config(self): config super().get_config() config.update({gamma: self.gamma}) return config4.2 自定义损失函数加载失败的另一种表现和自定义层类似如果模型编译时用了自定义损失函数加载时也会报Unknown loss function。这算是同一类问题但很多人会忘记因为损失函数比层更加隐蔽。def focal_loss(y_true, y_pred): ... model load_model( model_with_focal.h5, custom_objects{focal_loss: focal_loss} )4.3 输入shape不匹配include_top和input_shape的双重陷阱这类报错很常见报错形式为ValueError: Input 0 of layer conv2d is incompatible with the layer: expected min_ndim4, found ndim2. Full shape received: (None, 224)意思是模型期望输入是4维张量包括批次维度你喂进来的却是二维。大部分是数据通道问题把数据处理成(batch, height, width, channels)即可。还有一种shape不匹配是加了include_topFalse但忘了处理模型末尾的池化层。比如ResNet50输出是(None, 7, 7, 2048)你想接一个Dense层必须先GlobalAveragePooling2D()把空间维度压成(None, 2048)否则Dense层的输入是4维矩阵运算炸掉。base_model ResNet50(include_topFalse, weightsimagenet) x GlobalAveragePooling2D()(base_model.output) x Dropout(0.5)(x) output Dense(10, activationsoftmax)(x) model Model(inputsbase_model.input, outputsoutput)4.4 图像预处理环节的隐形错误权重加载成功了模型也能跑但预测结果一塌糊涂这种软故障比报错更坑。最常见的原因是预处理步骤缺失或错了。用keras.applications.ResNet50加载模型官方权重训练时的输入经过了mean/std归一化预测阶段必须调用对应模型的预处理函数。我见过有人给ResNet50喂归一化到0~1的原始图像结果预测出来的概率全部偏向某一类几乎等于随机猜。from keras.applications.resnet50 import preprocess_input from keras.preprocessing import image img image.load_img(test.jpg, target_size(224, 224)) x image.img_to_array(img) x np.expand_dims(x, axis0) x preprocess_input(x) # 这一步不能省 pred model.predict(x)不同模型预处理器不一样EfficientNet、VGG16各有各的preprocess_input严格对应不能混用。这也是加载预训练模型听起来简单、实际上很强调细节的典型场景。5. 加载完成不是终点冻结、微调与替换输出层的配置细节5.1 trainableFalse的真相不只是不更新权重模型加载成功后紧接着要做的就是决定哪些层参与训练。设置layer.trainable False后层内的权重在训练时不会更新但同时有几个容易被忽略的连带效果对BatchNormalization层trainableFalse会让其内部的均值/方差统计量停止更新继续使用加载时带过来的数值。这在迁移学习初期是合理行为因为你的小数据集根本支撑不起重新估计全局统计量。对Dropout层trainable属性无意义它只在训练/预测阶段有行为差异。设置trainableFalse不会影响已经加载的权重数值它只是阻止后续优化器更新它们。所以当你写下列代码时确保是在加载权重之后再设置顺序反了会导致权重加载时被跳过base_model ResNet50(include_topFalse, weightsimagenet) # 先加载权重 # 再冻结 base_model.trainable False如果不小心先冻结再加载权重会有一个诡异现象模型能加载成功但层内的可训练变量在保存时未注册训练时权重不更新准确率原地不动。这也是加载成功但模型不学习的一个隐蔽根因。整体模型的搭建如下base_model ResNet50(include_topFalse, weightsimagenet) base_model.trainable False x GlobalAveragePooling2D()(base_model.output) x Dropout(0.5)(x) outputs Dense(10, activationsoftmax)(x) model Model(inputsbase_model.input, outputsoutputs) model.compile(optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy])5.2 微调阶段的切层原则冻结主干训练几轮等新分类头收敛后如果要进一步微调不会直接全部解冻而是解冻靠后的一部分。原因是预训练网络的前面层学到的是通用特征边缘、纹理、色彩后面层学到的是任务相关的高级语义。你新任务里没有足够数据时动前面层的代价很高容易灾难性遗忘。实操里我用得比较多的策略是先全部冻结固定训练新分类头5~10轮准确率稳定后解冻最后三分之一的卷积块改用很小的学习率继续训练整个模型。# 解冻最后一段 base_model.trainable True for layer in base_model.layers[:100]: layer.trainable False这里没有一劳永逸的固定层数取决于模型深度和你的数据量。ResNet50一共175层左右从第120层之后解冻算是个常见起点。EfficientNet系列深度差异更大我习惯用层名或者块名做切分点而不是靠数字硬数。5.3 微调时学习率的经验区间微调阶段最忌讳用和从头训练一样的学习率。加载来的预训练权重相当于一个已经很接近局部最优的解学习率过大一步跨出去直接毁掉原有特征。我的经验值参考这个表训练阶段优化器学习率区间说明新分类头训练Adam1e-3 ~ 5e-3只训练新层可以稍大冻结主干新头Adam1e-3常见配置解冻微调SGD或Adam1e-5 ~ 3e-5必须比前面小1~2个数量级理由很直接解冻的预训练卷积层本身已经收敛得不错我们希望它在原有特征基础上做小幅微调而不是推倒重来。损失面在预训练权重附近非常陡峭大学习率会直接冲到没见过的低洼处去。5.4 冻结与非冻结层混合时的训练技巧大部分类别的BatchNorm层在混合训练时会出问题表现是验证集波动剧烈。这是因为当某些层trainableFalse、某些层trainableTrue时BN层的统计量更新和权重更新速度不匹配。尤其新解冻的BN层其running_mean和running_var还停留在预训练状态而前面层输出分布已经变了就会产生震荡。一个实用的规避方案微调阶段尽量不单独解冻某个BN层。要解冻就解冻它所在的整个卷积块。另一个方案是解冻前先用训练集跑几个batch的前向让BN统计量先更新到接近当前数据分布再开始正式训练。这个技巧普通文档里很少写但实测能明显减少初期验证集跳变。6. 实际工程里值得养成的三个加载习惯6.1 为加载操作写一个独立函数预训练模型的加载不是一次性的不同的实验脚本、不同的训练模式都可能复用同一个backbone。我习惯写一个固定的工厂函数def build_pretrained_model( model_nameresnet50, input_shape(224, 224, 3), num_classes10, freeze_ratio0.7 ): import keras.applications as apps factory { resnet50: apps.ResNet50, vgg16: apps.VGG16, efficientnetb0: apps.EfficientNetB0, } base_model factory[model_name]( include_topFalse, weightsimagenet, input_shapeinput_shape ) # 按比例冻结前层 layers_to_freeze int(len(base_model.layers) * freeze_ratio) for layer in base_model.layers[:layers_to_freeze]: layer.trainable False x GlobalAveragePooling2D()(base_model.output) x Dropout(0.5)(x) outputs Dense(num_classes, activationsoftmax)(x) model Model(inputsbase_model.input, outputsoutputs) return model这样每次换模型、换冻结比例只需改一行参数不用复制粘贴一堆重复代码。6.2 用哈希值校验权重完整性下载的权重文件如果被截断或者损坏加载时经常出现奇怪异常有时候一直卡在构建阶段有时候直接崩溃错误信息并不总是指向文件损坏。我后来养成的习惯是下载完先用md5sum验一下文件哈希和官方文档公布的哈希值对一下再投入使用。这个习惯帮我排查过好几次玄学报错确认是文件传输问题而不是代码问题。6.3 把预处理函数一起封装进推理管线预训练模型的预处理和模型权重是强绑定的。换了个预处理器再好的权重也会废掉一半。为了防止半年后自己忘记当时的预处理逻辑我通常在保存模型时把对应的预处理函数名写进模型的metadata里或者干脆封装成一个推理类class PretrainedInference: def __init__(self, model_path, preprocess_fn): self.model load_model(model_path) self.preprocess_fn preprocess_fn def predict(self, img_path, target_size(224, 224)): img image.load_img(img_path, target_sizetarget_size) x image.img_to_array(img) x np.expand_dims(x, axis0) x self.preprocess_fn(x) return self.model.predict(x)把预处理函数作为参数传进封装类意味着你换模型时不会忘记同步换预处理这里省下的时间远超写封装时花的那几分钟。最后再分享一个细节每次加载权重时我都习惯紧接着跑一次单样本预测哪怕输入一张全零图像也行。这个冒烟测试能在训练启动前就把八成加载问题暴露出来比等训练跑到一半再崩溃好受得多。预训练模型加载这件事本质上就是用别人的经验替自己省试错成本把加载这条入口链路搞扎实后面训练和推理才谈得上稳定。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
