MLflow LightGBM 集成完全指南模型日志、加载与自动记录mlflow.lightgbm API 深度解析【免费下载链接】mlflowThe open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.项目地址: https://gitcode.com/GitHub_Trending/ml/mlflow导读本文基于 MLflow 官方 API 文档 mlflow.lightgbm.rst 及其底层模块 mlflow/lightgbm/init.py 的完整源码系统讲解 MLflow 对 LightGBM 模型的原生支持。你将掌握如何通过save_model/log_model保存与记录 LightGBM Booster 及 scikit-learn 风格模型如何用load_model从本地或 Run 中加载模型以及如何通过autolog一键自动记录训练参数、迭代指标、特征重要性与模型工件。文中所有参数说明、代码示例与输出均来自当前仓库源码与测试用例可直接复制运行。模块概览两种模型格式与两种 Flavormlflow.lightgbm模块为 LightGBM 模型提供了一套完整的日志logging与加载loadingAPI。模块 docstring见 mlflow/lightgbm/init.py明确了它导出的模型包含两种 flavorLightGBM (native) 格式主 flavor可将模型重新加载回 LightGBMlightgbm.Booster实例mlflow.pyfunc格式为通用的 pyfunc 部署工具与批量推理而生成。在模型类型上该模块同时支持两类 LightGBM 模型模型类型说明序列化方式lightgbm.Booster原生lightgbm.train的直接产物使用 LightGBM 内建的Booster.save_model()产物文件为model.lgbscikit-learn API 模型LGBMClassifier、LGBMRegressor等使用serialization_format参数指定的格式产物文件为model.skops或model.pkl这一判定逻辑体现在源码 save_model 中isinstance(lgb_model, lgb.Booster)时为model.lgbserialization_format skops时为model.skops否则为model.pkl。对应的加载逻辑见 _load_modelBooster 通过lgb.Booster(model_file...)加载sklearn 模型则委托mlflow.sklearn._load_model_from_local_file按 flavor 配置中记录的序列化格式还原。序列化格式skops / cloudpickle / pickle 的选择对非 Booster 的 scikit-learn 风格模型serialization_format是save_model与log_model的核心参数默认值为skops。源码 docstringmlflow/lightgbm/init.py给出了三种格式的定位skops默认保证反序列化安全safe deserialization。模块内置了一组受信任类型集合_LIGHTGBM_SKLEARN_SKOPS_TRUSTED_TYPES见 mlflow/lightgbm/init.py覆盖collections.OrderedDict、lightgbm.basic.Booster、lightgbm.sklearn.LGBMClassifier、lightgbm.sklearn.LGBMRegressor并在保存时自动与用户传入的skops_trusted_types合并mlflow/lightgbm/init.pycloudpickle通过识别并打包代码依赖获得更好的跨系统兼容性但依赖 Python 对象序列化机制反序列化时可能执行任意代码pickle原生 pickle同样存在任意代码执行风险。源码 _save_model 中对非skops格式且不在 Databricks 运行时的情况下会打印警告日志提醒用户 pickle/cloudpickle 的安全风险并推荐skops。因此生产环境建议默认使用skops仅在需要兼容旧系统或确知模型来源可信时才切换到cloudpickle/pickle。保存模型save_modelsave_model将 LightGBM 模型保存到本地文件系统路径并自动生成完整的 MLflow 模型目录含MLmodel、conda.yaml、python_env.yaml、requirements.txt、模型数据文件等。核心参数参数类型 / 默认值说明lgb_modelBooster 或 sklearn 模型要保存的 LightGBM 模型pathstr本地保存路径conda_envdict / str / NoneConda 环境定义为 None 时基于 pip requirements 自动推断code_pathslist[str]与模型一起打包的代码文件/目录路径mlflow_modelModel要附加此 flavor 的 MLflow Model 对象缺省时新建signatureModelSignature模型输入输出的签名为 False 时禁用input_exampleModelInputExample输入示例用于保存与推断签名pip_requirementslist[str]显式 pip requirements会与推断结果合并extra_pip_requirementslist[str]追加的 pip requirementsmetadatadict附加到 MLmodel 文件的元数据serialization_formatskops默认非 Booster 模型的序列化格式skops/cloudpickle/pickleskops_trusted_typeslist[str]skops 加载时受信任的类型集合extra_fileslist[str]额外复制到模型目录的文件kwargsdict透传给lightgbm.Booster.save_model的额外参数官方示例含输出以下示例来自源码 docstringmlflow/lightgbm/init.py完整可运行from pathlib import Path from lightgbm import LGBMClassifier from sklearn import datasets import mlflow # Load iris dataset X, y datasets.load_iris(return_X_yTrue, as_frameTrue) # Initialize our model model LGBMClassifier(objectivemulticlass, random_state42) # Train the model model.fit(X, y) # Save the model path model mlflow.lightgbm.save_model( model, path, serialization_formatskops, skops_trusted_types[ collections.OrderedDict, lightgbm.basic.Booster, lightgbm.sklearn.LGBMClassifier, ], ) # Load model for inference loaded_model mlflow.lightgbm.load_model(Path.cwd() / path) print(loaded_model.predict(X[:5]))输出[0 0 0 0 0]底层行为要点环境文件生成当conda_env为 None 时若pip_requirements也为 None则会调用mlflow.models.infer_pip_requirements推断依赖并与默认依赖lightgbm视序列化格式追加cloudpickle或skops见 get_default_pip_requirements取并集最终写出conda.yaml、requirements.txt、constraints.txt如有与python_env.yamlmlflow/lightgbm/init.py签名与输入示例未显式传signature且提供了input_example时会通过_infer_signature_from_input_example基于包装模型自动推断签名mlflow/lightgbm/init.pypyfunc 注册保存时同时调用pyfunc.add_to_model注册loader_modulemlflow.lightgbm使模型可被 pyfunc 通用推理链路加载mlflow/lightgbm/init.py。记录模型到 Runlog_modellog_model将模型作为当前 run 的 artifact 记录到 MLflow Tracking返回包含模型元数据的ModelInfo实例。它在参数上与save_model基本一致并额外支持模型注册与 Run 管理相关参数artifact_path已废弃改用nameregistered_model_name指定后自动创建如不存在并注册新版本模型await_registration_for等待模型版本变为READY的秒数默认等待五分钟传 0 或 None 跳过等待name、params、tags、model_type、step、model_id模型记录与版本管理相关参数。官方示例含输出以下示例来自源码 docstringmlflow/lightgbm/init.pyfrom lightgbm import LGBMClassifier from sklearn import datasets import mlflow from mlflow.models import infer_signature # Load iris dataset X, y datasets.load_iris(return_X_yTrue, as_frameTrue) # Initialize our model model LGBMClassifier(objectivemulticlass, random_state42) # Train the model model.fit(X, y) # Create model signature predictions model.predict(X) signature infer_signature(X, predictions) # Log the model artifact_path model with mlflow.start_run(): model_info mlflow.lightgbm.log_model(model, nameartifact_path, signaturesignature) # Fetch the logged model artifacts print(frun_id: {run.info.run_id}) client mlflow.MlflowClient() artifacts [f.path for f in client.list_artifacts(run.info.run_id, artifact_path)] print(fartifacts: {artifacts})输出skops 序列化下的典型 artifact 结构artifacts: [model/MLmodel, model/conda.yaml, model/model.skops, model/python_env.yaml, model/requirements.txt]可以看到一个被记录的 LightGBM 模型目录包含模型元数据MLmodel、Conda 环境conda.yaml、Python 环境python_env.yaml、依赖清单requirements.txt以及序列化后的模型数据文件model.skopsBooster 场景则为model.lgb。该输出与 tests/lightgbm/test_lightgbm_model_export.py 中_assert_pip_requirements等断言逻辑相互印证。加载模型load_modelload_model从本地路径或远程 artifact URI 加载 LightGBM 模型返回lightgbm.Booster实例或 scikit-learn 风格模型取决于保存时的模型类型。支持的 URI 形式源码 docstringmlflow/lightgbm/init.py列出的示例/Users/me/path/to/local/model本地绝对路径relative/path/to/local/model本地相对路径s3://my_bucket/path/to/model对象存储runs:/mlflow_run_id/run-relative/path/to/model从指定 run 加载参数dst_path可指定本地下载目录须已存在缺省时自动创建本地输出路径。加载示例以下示例来自源码 docstringmlflow/lightgbm/init.pyfrom lightgbm import LGBMClassifier from sklearn import datasets import mlflow # Auto log all MLflow entities mlflow.lightgbm.autolog() # Load iris dataset X, y datasets.load_iris(return_X_yTrue, as_frameTrue) # Initialize our model model LGBMClassifier(objectivemulticlass, random_state42) # Train the model model.fit(X, y) # Load model for inference model_uri fruns:/{mlflow.last_active_run().info.run_id}/model loaded_model mlflow.lightgbm.load_model(model_uri) print(loaded_model.predict(X[:5]))输出[0 0 0 0 0]底层行为要点加载链路load_model为先将model_uri下载到本地_download_artifact_from_uri读取 flavor 配置_get_flavor_configuration必要时把code_paths加入sys.path_add_code_from_conf_to_system_path最后调用_load_model还原模型。_load_model根据 flavor 配置中的model_class字段决定走 Booster 路径还是 sklearn 路径mlflow/lightgbm/init.py。PyFunc 推理_load_pyfunc 与模型包装为了让模型能接入通用 pyfunc 部署与批量推理模块实现了_load_pyfuncmlflow/lightgbm/init.py返回_LGBModelWrapper包装器。包装器提供get_raw_model()返回底层原始 LightGBM 模型mlflow/lightgbm/init.pypredict(dataframe, paramsNone)接收 DataFrame 输入并返回模型预测结果mlflow/lightgbm/init.py。测试 test_model_save_load 与test_sklearn_model_save_loadtests/lightgbm/test_lightgbm_model_export.py验证了mlflow.lightgbm.load_model与pyfunc.load_model加载的模型其预测结果与原模型在np.testing.assert_array_almost_equal精度下完全一致确保两条加载路径行为等价。自动记录autologautolog是模块中最常用的入口调用一次后后续的lightgbm.train与 scikit-learn API 训练会自动把各类实体记录到 MLflow。其启用方式是全局的——在训练代码前调用mlflow.lightgbm.autolog()即可。自动记录的内容源码 docstringmlflow/lightgbm/init.py明确列出参数lightgbm.train中指定的全部参数通过mlflow.log_params逐项记录便于跨 run 比较见 mlflow/lightgbm/init.py指标每轮迭代的评估指标需指定valid_sets若设置了early_stopping_rounds或early_stopping回调还会记录最佳迭代处的指标特征重要性以 JSON 文件与 PNG 图片两种形式记录split与gain两类重要性训练模型包括有效输入示例与推断出的输入输出签名。此外docs/docs/classic-ml/tracking/autolog/index.mdx 中的官方文档表格确认LightGBM autolog 捕获用户指定指标、lightgbm.train参数、LightGBM 模型含模型签名、输入示例与特征重要性工件若启用了早停最佳迭代处的指标会作为额外的 step/iteration 记录。autolog 参数详解参数默认值说明log_input_examplesFalse为 True 时收集训练数据输入示例并随模型工件记录仅当log_models为 True 时生效log_model_signaturesTrue是否记录描述模型输入输出的 ModelSignature仅当log_models为 True 时生效log_modelsTrue是否将训练好的模型记录为 MLflow 模型工件为 False 时输入示例与签名也一并省略log_datasetsTrue是否记录训练/验证数据集信息到 MLflow TrackingdisableFalseTrue 时禁用本集成exclusiveFalseTrue 时自动记录的内容不写入用户创建的 fluent rundisable_for_unsupported_versionsFalseTrue 时对未经测试或兼容的 LightGBM 版本禁用 autologsilentFalseTrue 时抑制 MLflow 在 autolog 期间的日志与警告registered_model_nameNone指定后每次训练完成将模型注册为该注册模型的新版本extra_tagsNone附加到 autolog 创建的每个托管 run 上的额外标签字典autolog 官方示例含输出以下示例来自源码 docstringmlflow/lightgbm/init.pyimport mlflow from lightgbm import LGBMClassifier from sklearn import datasets def print_auto_logged_info(run): tags {k: v for k, v in run.data.tags.items() if not k.startswith(mlflow.)} artifacts [ f.path for f in mlflow.MlflowClient().list_artifacts(run.info.run_id, model) ] feature_importances [ f.path for f in mlflow.MlflowClient().list_artifacts(run.info.run_id) if f.path ! model ] print(frun_id: {run.info.run_id}) print(fartifacts: {artifacts}) print(ffeature_importances: {feature_importances}) print(fparams: {run.data.params}) print(fmetrics: {run.data.metrics}) print(ftags: {tags}) # Load iris dataset X, y datasets.load_iris(return_X_yTrue, as_frameTrue) # Initialize our model model LGBMClassifier(objectivemulticlass, random_state42) # Auto log all MLflow entities mlflow.lightgbm.autolog() # Train the model with mlflow.start_run() as run: model.fit(X, y) # fetch the auto logged parameters and metrics print_auto_logged_info(mlflow.get_run(run_idrun.info.run_id))输出run_id 为随机值run_id: e08dd59d57a74971b68cf78a724dfaf6 artifacts: [model/MLmodel, model/conda.yaml, model/model.pkl, model/python_env.yaml, model/requirements.txt] feature_importances: [feature_importance_gain.json, feature_importance_gain.png, feature_importance_split.json, feature_importance_split.png] params: {boosting_type: gbdt, categorical_feature: auto, colsample_bytree: 1.0, ... verbose_eval: warn} metrics: {} tags: {}注意sklearn 模型默认按model.pkl记录此示例输出为早期版本默认而当前版本默认serialization_formatskops产物为model.skops特征重要性工件固定为 4 个feature_importance_gain.json/.png与feature_importance_split.json/.png。autolog 底层机制从源码mlflow/lightgbm/init.py可见其实现方式Patchlightgbm.Dataset.__init__在构造数据集时截取前INPUT_EXAMPLE_SAMPLE_ROWS行数据副本作为后续输入示例与签名推断的数据源mlflow/lightgbm/init.pyPatchlightgbm.train注入记录每轮评估结果的回调_autolog_callback训练结束后批量记录指标、参数记录best_iteration/stopped_iteration等早停相关指标mlflow/lightgbm/init.py绘制并记录 split/gain 特征重要性图与 JSONmlflow/lightgbm/init.py最后调用log_model记录模型Patchlightgbm.sklearn.train关闭其自身模型记录避免重复sklearn 估计器的模型记录改由mlflow.sklearn._autolog统一处理从而以LGBMClassifier/LGBMRegressor等原生类保存模型mlflow/lightgbm/init.py。此外_patch_metric_names会把 LightGBM 中形如ndcg3的指标名中的替换为_at_如ndcg_at_3以符合 MLflow 指标命名规范并在替换发生时输出一条 info 日志说明mlflow/lightgbm/init.py。数据集自动记录当autolog(log_datasetsTrue)时训练集与验证集信息会被记录到 MLflow Tracking。_log_lightgbm_datasetmlflow/lightgbm/init.py支持以下数据源类型pandas.DataFrame→mlflow.data.from_pandas稀疏矩阵scipy.sparse→ 转为稠密数组后使用mlflow.data.from_numpynumpy.ndarray→mlflow.data.from_numpy同时携带标签Polars DataFrame →mlflow.data.from_polars其他未识别类型会记录警告并跳过。每个数据集以InputTag(keymlflow.dataset.context)标记上下文train或eval验证集存在valid_names时使用对应名称标记。端到端实战示例仓库中的 examples/lightgbm/lightgbm_native/train.py 提供了完整的原生 Booster 训练 autolog 示例import argparse import lightgbm as lgb from sklearn import datasets from sklearn.metrics import accuracy_score, log_loss from sklearn.model_selection import train_test_split import mlflow import mlflow.lightgbm # parse command-line arguments--learning-rate / --colsample-bytree / --subsample args parse_args() # prepare train and test data iris datasets.load_iris() X, y iris.data, iris.target X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # enable auto logging mlflow.lightgbm.autolog() train_set lgb.Dataset(X_train, labely_train) with mlflow.start_run(): params { objective: multiclass, num_class: 3, learning_rate: args.learning_rate, metric: multi_logloss, colsample_bytree: args.colsample_bytree, subsample: args.subsample, seed: 42, } model lgb.train( params, train_set, num_boost_round10, valid_sets[train_set], valid_names[train] ) # evaluate model and log custom metrics y_proba model.predict(X_test) y_pred y_proba.argmax(axis1) loss log_loss(y_test, y_proba) acc accuracy_score(y_test, y_pred) mlflow.log_metrics({log_loss: loss, accuracy: acc})运行方式examples/lightgbm/lightgbm_native/README.mdpython train.py --colsample-bytree 0.8 --subsample 0.9也可以尝试不同超参数组合python train.py --learning-rate 0.4 --colsample-bytree 0.7 --subsample 0.8训练完成后通过以下命令启动 MLflow UI 查看实验与 run 对比mlflow server或以 MLflow 项目方式运行mlflow run . -P learning_rate0.2 -P colsample_bytree0.8 -P subsample0.9该示例展示了完整工作流启用 autolog 自动记录训练参数与每轮multi_logloss指标再通过mlflow.log_metrics补充自定义评估指标log_loss、accuracy实现自动记录 手动补充的混合记录模式。总结mlflow.lightgbm模块将 LightGBM 的模型生命周期管理完整纳入 MLflow 生态保存与记录save_model/log_model同时支持原生 Boostermodel.lgb与 scikit-learn 风格模型model.skops/model.pkl默认安全序列化格式skops加载与推理load_model支持本地路径、runs:/URI 与对象存储 URI_load_pyfunc让模型无缝接入 pyfunc 部署与批量推理自动记录autolog一行开启后自动记录训练参数、每轮与最佳迭代指标、split/gain 特征重要性JSON PNG、模型签名与输入示例并可选记录数据集信息与自动注册模型版本。配套的完整测试见 tests/lightgbm/test_lightgbm_model_export.py 与 tests/lightgbm/test_lightgbm_autolog.py可直接作为行为契约参考API 文档源头为 mlflow.lightgbm.rst自动记录的框架级说明见 docs/docs/classic-ml/tracking/autolog/index.mdx。【免费下载链接】mlflowThe open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.项目地址: https://gitcode.com/GitHub_Trending/ml/mlflow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
MLflow LightGBM 集成完全指南模型日志、加载与自动记录mlflow.lightgbm API 深度解析【免费下载链接】mlflowThe open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.项目地址: https://gitcode.com/GitHub_Trending/ml/mlflow导读本文基于 MLflow 官方 API 文档 mlflow.lightgbm.rst 及其底层模块 mlflow/lightgbm/init.py 的完整源码系统讲解 MLflow 对 LightGBM 模型的原生支持。你将掌握如何通过save_model/log_model保存与记录 LightGBM Booster 及 scikit-learn 风格模型如何用load_model从本地或 Run 中加载模型以及如何通过autolog一键自动记录训练参数、迭代指标、特征重要性与模型工件。文中所有参数说明、代码示例与输出均来自当前仓库源码与测试用例可直接复制运行。模块概览两种模型格式与两种 Flavormlflow.lightgbm模块为 LightGBM 模型提供了一套完整的日志logging与加载loadingAPI。模块 docstring见 mlflow/lightgbm/init.py明确了它导出的模型包含两种 flavorLightGBM (native) 格式主 flavor可将模型重新加载回 LightGBMlightgbm.Booster实例mlflow.pyfunc格式为通用的 pyfunc 部署工具与批量推理而生成。在模型类型上该模块同时支持两类 LightGBM 模型模型类型说明序列化方式lightgbm.Booster原生lightgbm.train的直接产物使用 LightGBM 内建的Booster.save_model()产物文件为model.lgbscikit-learn API 模型LGBMClassifier、LGBMRegressor等使用serialization_format参数指定的格式产物文件为model.skops或model.pkl这一判定逻辑体现在源码 save_model 中isinstance(lgb_model, lgb.Booster)时为model.lgbserialization_format skops时为model.skops否则为model.pkl。对应的加载逻辑见 _load_modelBooster 通过lgb.Booster(model_file...)加载sklearn 模型则委托mlflow.sklearn._load_model_from_local_file按 flavor 配置中记录的序列化格式还原。序列化格式skops / cloudpickle / pickle 的选择对非 Booster 的 scikit-learn 风格模型serialization_format是save_model与log_model的核心参数默认值为skops。源码 docstringmlflow/lightgbm/init.py给出了三种格式的定位skops默认保证反序列化安全safe deserialization。模块内置了一组受信任类型集合_LIGHTGBM_SKLEARN_SKOPS_TRUSTED_TYPES见 mlflow/lightgbm/init.py覆盖collections.OrderedDict、lightgbm.basic.Booster、lightgbm.sklearn.LGBMClassifier、lightgbm.sklearn.LGBMRegressor并在保存时自动与用户传入的skops_trusted_types合并mlflow/lightgbm/init.pycloudpickle通过识别并打包代码依赖获得更好的跨系统兼容性但依赖 Python 对象序列化机制反序列化时可能执行任意代码pickle原生 pickle同样存在任意代码执行风险。源码 _save_model 中对非skops格式且不在 Databricks 运行时的情况下会打印警告日志提醒用户 pickle/cloudpickle 的安全风险并推荐skops。因此生产环境建议默认使用skops仅在需要兼容旧系统或确知模型来源可信时才切换到cloudpickle/pickle。保存模型save_modelsave_model将 LightGBM 模型保存到本地文件系统路径并自动生成完整的 MLflow 模型目录含MLmodel、conda.yaml、python_env.yaml、requirements.txt、模型数据文件等。核心参数参数类型 / 默认值说明lgb_modelBooster 或 sklearn 模型要保存的 LightGBM 模型pathstr本地保存路径conda_envdict / str / NoneConda 环境定义为 None 时基于 pip requirements 自动推断code_pathslist[str]与模型一起打包的代码文件/目录路径mlflow_modelModel要附加此 flavor 的 MLflow Model 对象缺省时新建signatureModelSignature模型输入输出的签名为 False 时禁用input_exampleModelInputExample输入示例用于保存与推断签名pip_requirementslist[str]显式 pip requirements会与推断结果合并extra_pip_requirementslist[str]追加的 pip requirementsmetadatadict附加到 MLmodel 文件的元数据serialization_formatskops默认非 Booster 模型的序列化格式skops/cloudpickle/pickleskops_trusted_typeslist[str]skops 加载时受信任的类型集合extra_fileslist[str]额外复制到模型目录的文件kwargsdict透传给lightgbm.Booster.save_model的额外参数官方示例含输出以下示例来自源码 docstringmlflow/lightgbm/init.py完整可运行from pathlib import Path from lightgbm import LGBMClassifier from sklearn import datasets import mlflow # Load iris dataset X, y datasets.load_iris(return_X_yTrue, as_frameTrue) # Initialize our model model LGBMClassifier(objectivemulticlass, random_state42) # Train the model model.fit(X, y) # Save the model path model mlflow.lightgbm.save_model( model, path, serialization_formatskops, skops_trusted_types[ collections.OrderedDict, lightgbm.basic.Booster, lightgbm.sklearn.LGBMClassifier, ], ) # Load model for inference loaded_model mlflow.lightgbm.load_model(Path.cwd() / path) print(loaded_model.predict(X[:5]))输出[0 0 0 0 0]底层行为要点环境文件生成当conda_env为 None 时若pip_requirements也为 None则会调用mlflow.models.infer_pip_requirements推断依赖并与默认依赖lightgbm视序列化格式追加cloudpickle或skops见 get_default_pip_requirements取并集最终写出conda.yaml、requirements.txt、constraints.txt如有与python_env.yamlmlflow/lightgbm/init.py签名与输入示例未显式传signature且提供了input_example时会通过_infer_signature_from_input_example基于包装模型自动推断签名mlflow/lightgbm/init.pypyfunc 注册保存时同时调用pyfunc.add_to_model注册loader_modulemlflow.lightgbm使模型可被 pyfunc 通用推理链路加载mlflow/lightgbm/init.py。记录模型到 Runlog_modellog_model将模型作为当前 run 的 artifact 记录到 MLflow Tracking返回包含模型元数据的ModelInfo实例。它在参数上与save_model基本一致并额外支持模型注册与 Run 管理相关参数artifact_path已废弃改用nameregistered_model_name指定后自动创建如不存在并注册新版本模型await_registration_for等待模型版本变为READY的秒数默认等待五分钟传 0 或 None 跳过等待name、params、tags、model_type、step、model_id模型记录与版本管理相关参数。官方示例含输出以下示例来自源码 docstringmlflow/lightgbm/init.pyfrom lightgbm import LGBMClassifier from sklearn import datasets import mlflow from mlflow.models import infer_signature # Load iris dataset X, y datasets.load_iris(return_X_yTrue, as_frameTrue) # Initialize our model model LGBMClassifier(objectivemulticlass, random_state42) # Train the model model.fit(X, y) # Create model signature predictions model.predict(X) signature infer_signature(X, predictions) # Log the model artifact_path model with mlflow.start_run(): model_info mlflow.lightgbm.log_model(model, nameartifact_path, signaturesignature) # Fetch the logged model artifacts print(frun_id: {run.info.run_id}) client mlflow.MlflowClient() artifacts [f.path for f in client.list_artifacts(run.info.run_id, artifact_path)] print(fartifacts: {artifacts})输出skops 序列化下的典型 artifact 结构artifacts: [model/MLmodel, model/conda.yaml, model/model.skops, model/python_env.yaml, model/requirements.txt]可以看到一个被记录的 LightGBM 模型目录包含模型元数据MLmodel、Conda 环境conda.yaml、Python 环境python_env.yaml、依赖清单requirements.txt以及序列化后的模型数据文件model.skopsBooster 场景则为model.lgb。该输出与 tests/lightgbm/test_lightgbm_model_export.py 中_assert_pip_requirements等断言逻辑相互印证。加载模型load_modelload_model从本地路径或远程 artifact URI 加载 LightGBM 模型返回lightgbm.Booster实例或 scikit-learn 风格模型取决于保存时的模型类型。支持的 URI 形式源码 docstringmlflow/lightgbm/init.py列出的示例/Users/me/path/to/local/model本地绝对路径relative/path/to/local/model本地相对路径s3://my_bucket/path/to/model对象存储runs:/mlflow_run_id/run-relative/path/to/model从指定 run 加载参数dst_path可指定本地下载目录须已存在缺省时自动创建本地输出路径。加载示例以下示例来自源码 docstringmlflow/lightgbm/init.pyfrom lightgbm import LGBMClassifier from sklearn import datasets import mlflow # Auto log all MLflow entities mlflow.lightgbm.autolog() # Load iris dataset X, y datasets.load_iris(return_X_yTrue, as_frameTrue) # Initialize our model model LGBMClassifier(objectivemulticlass, random_state42) # Train the model model.fit(X, y) # Load model for inference model_uri fruns:/{mlflow.last_active_run().info.run_id}/model loaded_model mlflow.lightgbm.load_model(model_uri) print(loaded_model.predict(X[:5]))输出[0 0 0 0 0]底层行为要点加载链路load_model为先将model_uri下载到本地_download_artifact_from_uri读取 flavor 配置_get_flavor_configuration必要时把code_paths加入sys.path_add_code_from_conf_to_system_path最后调用_load_model还原模型。_load_model根据 flavor 配置中的model_class字段决定走 Booster 路径还是 sklearn 路径mlflow/lightgbm/init.py。PyFunc 推理_load_pyfunc 与模型包装为了让模型能接入通用 pyfunc 部署与批量推理模块实现了_load_pyfuncmlflow/lightgbm/init.py返回_LGBModelWrapper包装器。包装器提供get_raw_model()返回底层原始 LightGBM 模型mlflow/lightgbm/init.pypredict(dataframe, paramsNone)接收 DataFrame 输入并返回模型预测结果mlflow/lightgbm/init.py。测试 test_model_save_load 与test_sklearn_model_save_loadtests/lightgbm/test_lightgbm_model_export.py验证了mlflow.lightgbm.load_model与pyfunc.load_model加载的模型其预测结果与原模型在np.testing.assert_array_almost_equal精度下完全一致确保两条加载路径行为等价。自动记录autologautolog是模块中最常用的入口调用一次后后续的lightgbm.train与 scikit-learn API 训练会自动把各类实体记录到 MLflow。其启用方式是全局的——在训练代码前调用mlflow.lightgbm.autolog()即可。自动记录的内容源码 docstringmlflow/lightgbm/init.py明确列出参数lightgbm.train中指定的全部参数通过mlflow.log_params逐项记录便于跨 run 比较见 mlflow/lightgbm/init.py指标每轮迭代的评估指标需指定valid_sets若设置了early_stopping_rounds或early_stopping回调还会记录最佳迭代处的指标特征重要性以 JSON 文件与 PNG 图片两种形式记录split与gain两类重要性训练模型包括有效输入示例与推断出的输入输出签名。此外docs/docs/classic-ml/tracking/autolog/index.mdx 中的官方文档表格确认LightGBM autolog 捕获用户指定指标、lightgbm.train参数、LightGBM 模型含模型签名、输入示例与特征重要性工件若启用了早停最佳迭代处的指标会作为额外的 step/iteration 记录。autolog 参数详解参数默认值说明log_input_examplesFalse为 True 时收集训练数据输入示例并随模型工件记录仅当log_models为 True 时生效log_model_signaturesTrue是否记录描述模型输入输出的 ModelSignature仅当log_models为 True 时生效log_modelsTrue是否将训练好的模型记录为 MLflow 模型工件为 False 时输入示例与签名也一并省略log_datasetsTrue是否记录训练/验证数据集信息到 MLflow TrackingdisableFalseTrue 时禁用本集成exclusiveFalseTrue 时自动记录的内容不写入用户创建的 fluent rundisable_for_unsupported_versionsFalseTrue 时对未经测试或兼容的 LightGBM 版本禁用 autologsilentFalseTrue 时抑制 MLflow 在 autolog 期间的日志与警告registered_model_nameNone指定后每次训练完成将模型注册为该注册模型的新版本extra_tagsNone附加到 autolog 创建的每个托管 run 上的额外标签字典autolog 官方示例含输出以下示例来自源码 docstringmlflow/lightgbm/init.pyimport mlflow from lightgbm import LGBMClassifier from sklearn import datasets def print_auto_logged_info(run): tags {k: v for k, v in run.data.tags.items() if not k.startswith(mlflow.)} artifacts [ f.path for f in mlflow.MlflowClient().list_artifacts(run.info.run_id, model) ] feature_importances [ f.path for f in mlflow.MlflowClient().list_artifacts(run.info.run_id) if f.path ! model ] print(frun_id: {run.info.run_id}) print(fartifacts: {artifacts}) print(ffeature_importances: {feature_importances}) print(fparams: {run.data.params}) print(fmetrics: {run.data.metrics}) print(ftags: {tags}) # Load iris dataset X, y datasets.load_iris(return_X_yTrue, as_frameTrue) # Initialize our model model LGBMClassifier(objectivemulticlass, random_state42) # Auto log all MLflow entities mlflow.lightgbm.autolog() # Train the model with mlflow.start_run() as run: model.fit(X, y) # fetch the auto logged parameters and metrics print_auto_logged_info(mlflow.get_run(run_idrun.info.run_id))输出run_id 为随机值run_id: e08dd59d57a74971b68cf78a724dfaf6 artifacts: [model/MLmodel, model/conda.yaml, model/model.pkl, model/python_env.yaml, model/requirements.txt] feature_importances: [feature_importance_gain.json, feature_importance_gain.png, feature_importance_split.json, feature_importance_split.png] params: {boosting_type: gbdt, categorical_feature: auto, colsample_bytree: 1.0, ... verbose_eval: warn} metrics: {} tags: {}注意sklearn 模型默认按model.pkl记录此示例输出为早期版本默认而当前版本默认serialization_formatskops产物为model.skops特征重要性工件固定为 4 个feature_importance_gain.json/.png与feature_importance_split.json/.png。autolog 底层机制从源码mlflow/lightgbm/init.py可见其实现方式Patchlightgbm.Dataset.__init__在构造数据集时截取前INPUT_EXAMPLE_SAMPLE_ROWS行数据副本作为后续输入示例与签名推断的数据源mlflow/lightgbm/init.pyPatchlightgbm.train注入记录每轮评估结果的回调_autolog_callback训练结束后批量记录指标、参数记录best_iteration/stopped_iteration等早停相关指标mlflow/lightgbm/init.py绘制并记录 split/gain 特征重要性图与 JSONmlflow/lightgbm/init.py最后调用log_model记录模型Patchlightgbm.sklearn.train关闭其自身模型记录避免重复sklearn 估计器的模型记录改由mlflow.sklearn._autolog统一处理从而以LGBMClassifier/LGBMRegressor等原生类保存模型mlflow/lightgbm/init.py。此外_patch_metric_names会把 LightGBM 中形如ndcg3的指标名中的替换为_at_如ndcg_at_3以符合 MLflow 指标命名规范并在替换发生时输出一条 info 日志说明mlflow/lightgbm/init.py。数据集自动记录当autolog(log_datasetsTrue)时训练集与验证集信息会被记录到 MLflow Tracking。_log_lightgbm_datasetmlflow/lightgbm/init.py支持以下数据源类型pandas.DataFrame→mlflow.data.from_pandas稀疏矩阵scipy.sparse→ 转为稠密数组后使用mlflow.data.from_numpynumpy.ndarray→mlflow.data.from_numpy同时携带标签Polars DataFrame →mlflow.data.from_polars其他未识别类型会记录警告并跳过。每个数据集以InputTag(keymlflow.dataset.context)标记上下文train或eval验证集存在valid_names时使用对应名称标记。端到端实战示例仓库中的 examples/lightgbm/lightgbm_native/train.py 提供了完整的原生 Booster 训练 autolog 示例import argparse import lightgbm as lgb from sklearn import datasets from sklearn.metrics import accuracy_score, log_loss from sklearn.model_selection import train_test_split import mlflow import mlflow.lightgbm # parse command-line arguments--learning-rate / --colsample-bytree / --subsample args parse_args() # prepare train and test data iris datasets.load_iris() X, y iris.data, iris.target X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # enable auto logging mlflow.lightgbm.autolog() train_set lgb.Dataset(X_train, labely_train) with mlflow.start_run(): params { objective: multiclass, num_class: 3, learning_rate: args.learning_rate, metric: multi_logloss, colsample_bytree: args.colsample_bytree, subsample: args.subsample, seed: 42, } model lgb.train( params, train_set, num_boost_round10, valid_sets[train_set], valid_names[train] ) # evaluate model and log custom metrics y_proba model.predict(X_test) y_pred y_proba.argmax(axis1) loss log_loss(y_test, y_proba) acc accuracy_score(y_test, y_pred) mlflow.log_metrics({log_loss: loss, accuracy: acc})运行方式examples/lightgbm/lightgbm_native/README.mdpython train.py --colsample-bytree 0.8 --subsample 0.9也可以尝试不同超参数组合python train.py --learning-rate 0.4 --colsample-bytree 0.7 --subsample 0.8训练完成后通过以下命令启动 MLflow UI 查看实验与 run 对比mlflow server或以 MLflow 项目方式运行mlflow run . -P learning_rate0.2 -P colsample_bytree0.8 -P subsample0.9该示例展示了完整工作流启用 autolog 自动记录训练参数与每轮multi_logloss指标再通过mlflow.log_metrics补充自定义评估指标log_loss、accuracy实现自动记录 手动补充的混合记录模式。总结mlflow.lightgbm模块将 LightGBM 的模型生命周期管理完整纳入 MLflow 生态保存与记录save_model/log_model同时支持原生 Boostermodel.lgb与 scikit-learn 风格模型model.skops/model.pkl默认安全序列化格式skops加载与推理load_model支持本地路径、runs:/URI 与对象存储 URI_load_pyfunc让模型无缝接入 pyfunc 部署与批量推理自动记录autolog一行开启后自动记录训练参数、每轮与最佳迭代指标、split/gain 特征重要性JSON PNG、模型签名与输入示例并可选记录数据集信息与自动注册模型版本。配套的完整测试见 tests/lightgbm/test_lightgbm_model_export.py 与 tests/lightgbm/test_lightgbm_autolog.py可直接作为行为契约参考API 文档源头为 mlflow.lightgbm.rst自动记录的框架级说明见 docs/docs/classic-ml/tracking/autolog/index.mdx。【免费下载链接】mlflowThe open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.项目地址: https://gitcode.com/GitHub_Trending/ml/mlflow创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
