保存与加载文本分类模型：让预测可以复用

模型训练出来以后如果每次预测都要重新训练一遍就还没有进入真实项目状态。真实项目更常见的流程是训练一次保存下来下次启动程序时加载模型直接对新文本做预测。要保存什么文本分类项目里最容易犯的错误是只保存分类器joblib.dump(model,model.joblib)这通常不够。因为模型依赖前面的 TF-IDF 词表和 IDF 权重。更稳的做法是保存完整 PipelineTfidfVectorizer LogisticRegression text_classifier_pipeline.joblib这样加载后模型知道应该用哪套词表、哪套参数、哪种特征空间。保存完整 Pipeline假设上一课已经训练好了pipeimportjoblib joblib.dump(pipe,text_classifier_pipeline.joblib)保存成功后会得到一个模型文件。它里面包含TF-IDF 的词表IDF 权重模型参数Pipeline 步骤顺序。这比把向量化器和模型分开保存更不容易出错。加载模型并预测加载时很简单loaded_pipejoblib.load(text_classifier_pipeline.joblib)然后对新文本预测new_texts[cut_text(这篇文章讲得很清楚),cut_text(软件一直闪退完全没法用),]predloaded_pipe.predict(new_texts)print(pred)这里仍然要注意如果训练阶段输入的是分词后的文本预测阶段也要先分词。训练和预测的预处理必须一致否则模型看到的特征空间会变。封装成可复用函数可以把加载和预测写成函数importjoblib MODEL_PATHtext_classifier_pipeline.joblibdefload_model():returnjoblib.load(MODEL_PATH)defpredict_texts(model,texts):cut_texts[cut_text(text)fortextintexts]returnmodel.predict(cut_texts)modelload_model()labelspredict_texts(model,[这个功能很好用])print(labels)这样以后无论是命令行、网页接口还是 Streamlit 页面都可以复用这套逻辑。如果想输出置信度很多分类器支持predict_proba()probaloaded_pipe.predict_proba(new_texts)print(proba)它会输出每个类别的概率估计。不过要记住概率不一定等于真实可信度。尤其是数据少、类别不平衡、模型没校准时概率只能作为参考。保存标签和元数据除了模型文件建议额外保存一份元数据importjson meta{model_name:tfidf_logistic_regression,version:v1.0,labels:list(loaded_pipe.classes_),created_at:2026-07-01,text_format:jieba_cut_with_space,}withopen(model_meta.json,w,encodingutf-8)asf:json.dump(meta,f,ensure_asciiFalse,indent2)元数据能帮你在几个月后快速知道这个模型是谁训练的、用的什么输入格式、支持哪些标签。深度学习模型的保存PyTorch上面的 joblib 思路适用于 scikit-learn Pipeline。换到 PyTorch保存方式有两种区别在于保存的是“整个对象”还是“只是参数”。importtorch modelMyClassifier()# 方式 1保存整个模型简单但耦合类定义torch.save(model,full_model.pt)loadedtorch.load(full_model.pt)# 方式 2只保存参数推荐torch.save(model.state_dict(),model_weights.pt)# 加载时先重建模型结构再灌入参数loaded_modelMyClassifier()loaded_model.load_state_dict(torch.load(model_weights.pt))loaded_model.eval()# 切换到评估模式关掉 dropout 等方式优点缺点torch.save(model)一行搞定耦合模型类定义类名或结构一变就加载不了torch.save(state_dict)灵活只有参数需要重建模型结构再load_state_dict推荐用state_dict因为它只存参数不绑定具体类定义迁移和重构时更省事。训练中断也能续上检查点训练耗时久的模型每隔几个 epoch 存一次检查点服务器挂了也能从最近的状态恢复而不是从头再来。checkpoint{epoch:epoch,model_state_dict:model.state_dict(),optimizer_state_dict:optimizer.state_dict(),loss:loss.item(),}torch.save(checkpoint,fcheckpoint_epoch_{epoch}.pt)恢复时把这几项分别加载回模型和优化器即可。优化器状态也要存因为 Adam 等优化器内部还维护着动量一类的中间量。常见踩坑只保存模型没保存向量化器预测时会丢失词表导致新文本无法转成和训练时一致的特征。训练和预测分词规则不同训练时用 jieba预测时直接传原句模型效果会明显不稳定。路径写死本地能跑部署到服务器后找不到文件。建议统一使用配置项或相对项目根目录的路径。依赖版本变化joblib保存的是 Python 对象。跨环境加载时最好记录 scikit-learn、jieba、Python 的版本。importsklearnimportjiebaimportsysprint(sys.version)print(sklearn.__version__)一个最小目录结构实际项目可以这样组织text-classifier/ train.py predict.py models/ text_classifier_pipeline.joblib model_meta.jsontrain.py负责训练并保存模型predict.py负责加载模型并预测。这样代码职责会更清楚。小结文本分类模型要能复用保存的重点不是“分类器对象”而是“完整预测链路”。更稳的顺序是训练 Pipeline - 评估效果 - 保存完整 Pipeline - 保存标签和元数据 - 加载模型 - 对新文本预测scikit-learn 用joblib存整个 PipelinePyTorch 推荐存state_dict长时间训练再加检查点机制。到这里中文文本分类项目已经形成闭环。下一阶段我们回到 PyTorch理解模型训练背后的自动微分机制。在线阅读点击这里阅读博客原文原文地址https://bestsdz.xyz/posts/save-load-text-classification-model/