1. 从赛题到模型一次完整的数据建模实战复盘去年带队参加亚太杯数学建模竞赛我们组选的正是C题——全球气温预测。这道题乍一看是经典的时间序列预测问题但深入下去你会发现它远不止套个ARIMA或LSTM那么简单。它考察的是从数据理解、特征工程、模型选型到结果解释的全链条建模能力。网上能找到的“示例代码”或“优秀论文”往往只展示了最终的结果片段缺少了最关键的思考过程和工程细节。今天我就以这道题为例结合我们当时实际采用的LightGBM方案把从拿到数据到提交论文的完整思路、代码实现中的关键决策点以及那些在论文里不会写的“坑”和技巧系统地梳理一遍。无论你是正在备战数学建模的新手还是对数据预测感兴趣的朋友这篇复盘都能给你提供一个可复现、可深挖的实战框架。2. 赛题核心与数据理解预测的本质是什么拿到题目第一步不是急着找代码而是彻底读懂题目在问什么。2022年亚太杯C题提供了全球多个站点的历史气温数据通常是月均或日均要求我们预测未来一段时间比如未来5年或10年的气温变化。这里有几个关键点需要立刻明确2.1 预测目标的界定题目要求的“全球气温预测”通常不是预测一个单一的全球平均值而是对各个站点或区域进行未来时间点的气温值预测。这意味着我们的模型输出是连续值属于回归问题。同时由于数据是按时间顺序采集的它具有强烈的时间依赖性即今天的温度与昨天、上周、去年同期的温度密切相关。这是时间序列预测最根本的特性。2.2 数据特征的冰山之下组委会提供的数据集通常包含以下字段站点编号、日期年、月、日、平均气温有时还会有最高/最低气温、纬度、经度、海拔等。很多队伍只盯着日期和平均气温这两个最明显的特征这远远不够。真正的信息隐藏在关系和衍生之中。例如时间特征从日期中可以提取出年份、月份、季度、一年中的第几天、是否闰年等。月份和季度能捕捉季节性规律夏季热、冬季冷。滞后特征这是时间序列的核心。我们需要创建过去时间点的气温值作为特征例如前1天温度、前7天温度、前30天温度、去年同期前365天温度。这相当于让模型“看到”历史的窗口。滚动统计特征计算过去一个窗口期内的统计量如过去7天的平均温度、过去30天的温度标准差、过去90天的最高温度。这些特征能平滑噪声并揭示短期趋势。站点空间特征纬度和经度直接输入模型效果可能不好但可以计算站点间的相对位置或将其转换为气候带类别如热带、温带、寒带这是非常重要的先验知识。交互特征例如月份和纬度的组合可以表征“北半球高纬度地区的冬季”其温度变化模式与“赤道地区的冬季”截然不同。2.3 评估指标的理解竞赛通常会指定评估指标如均方根误差RMSE或平均绝对误差MAE。RMSE对大的预测误差惩罚更重这意味着如果你的模型偶尔出现离谱的预测RMSE会飙升。在建模时我们需要根据指标特性调整目标。例如如果使用LightGBM它的损失函数objective默认是回归任务常用的regression对应L2损失最小化RMSE如果赛题用MAE评估那么使用regression_l1损失函数可能更直接。注意数据中经常存在缺失值或明显异常值如温度记录为999。处理缺失值时对于时间序列采用前向填充用前一个时间点的值填充或线性插值比直接用全局均值更合理。对于异常值需要结合领域知识判断是传感器错误还是真实极端天气通常可以采用滚动窗口的均值±3倍标准差的方法进行识别和修正。3. 为什么选择LightGBM模型选型的深度思考面对时间序列预测很多人第一反应是使用传统的统计模型如ARIMA、Prophet或深度学习模型如LSTM、GRU。我们最终选择LightGBMLight Gradient Boosting Machine是经过多方面权衡的这背后是一套完整的建模逻辑。3.1 传统统计模型与深度学习的局限性ARIMA家族优势在于理论完备对线性关系和时间依赖建模能力强。但缺点也很明显它假设序列是平稳的需差分处理对复杂的非线性关系如温度与月份、纬度的交互捕捉能力弱并且手动确定参数p,d,q过程繁琐对于多站点数据需要为每个站点单独建模扩展性差。LSTM/GRU作为循环神经网络天生为序列数据设计能自动学习长期依赖。但其“黑盒”特性强训练需要大量数据且计算成本高超参数调优层数、神经元数、dropout率复杂容易过拟合。在有限赛程通常3-4天和可能有限的训练数据下训练一个稳定、高效的LSTM模型挑战很大。3.2 LightGBM的竞争优势分析LightGBM是一种基于决策树集成学习的梯度提升框架它在结构化数据表格数据上的表现极其出色。我们将时间序列问题通过特征工程转化为标准的表格数据问题后LightGBM的优势便凸显出来效率极高采用基于直方图的决策树算法和带深度限制的Leaf-wise生长策略训练速度比XGBoost快数倍到数十倍内存消耗也更低。这在分秒必争的竞赛中是天大的优势。精度优秀梯度提升本身是一种强大的集成学习算法能有效组合多个弱学习器树通常能取得非常高的预测精度在许多Kaggle表格数据竞赛中都是冠军方案的核心。无需特征缩放树模型对特征的量纲不敏感我们提取的年份、月份、滞后温度等特征无需进行标准化或归一化省去预处理步骤。自动处理缺失值LightGBM可以学习缺失值的最优分配方向无需我们预先填充。强大的特征重要性输出训练后可以轻松得到特征重要性排序这不仅能帮助我们理解模型哪些特征最关键还能用于特征筛选优化模型。易于调参虽然也有超参数但LightGBM的默认参数已经表现不错且核心参数如num_leaves,learning_rate,feature_fraction有比较明确的物理意义调优路径清晰。3.3 我们的决策逻辑竞赛的核心是在有限时间内构建一个稳定、可靠、可解释且表现优异的模型。LightGBM完美契合了这些要求它让我们能将主要精力集中在特征工程这一最能提升模型性能的环节上而不是陷入深度学习模型的调参和调试漩涡。它的快速训练允许我们进行多轮特征构建和模型验证迭代。最终我们构建的LightGBM模型在验证集上的RMSE显著低于我们尝试的ARIMA和简单LSTM基线模型。4. 从零构建LightGBM预测模型代码与思路详解下面我将结合核心代码片段分步拆解整个建模流程。假设我们有一个Pandas DataFramedf包含station_id,date,temperature等初始列。4.1 数据预处理与核心特征工程这是整个项目最耗时的部分也是决定模型上限的关键。import pandas as pd import numpy as np from datetime import datetime # 1. 解析日期创建基础时间特征 df[date] pd.to_datetime(df[date]) df[year] df[date].dt.year df[month] df[date].dt.month df[day_of_year] df[date].dt.dayofyear df[quarter] df[date].dt.quarter df[is_leap_year] df[date].dt.is_leap_year # 2. 创建滞后特征 (Lag Features) # 假设数据是日度数据我们创建过去1天、7天、30天、365天的温度作为特征 for lag in [1, 7, 30, 365]: df[ftemp_lag_{lag}] df.groupby(station_id)[temperature].shift(lag) # 3. 创建滚动统计特征 (Rolling Statistics) # 计算过去7天和30天的移动平均和标准差 df[temp_rolling_mean_7] df.groupby(station_id)[temperature].transform(lambda x: x.rolling(window7, min_periods1).mean()) df[temp_rolling_std_30] df.groupby(station_id)[temperature].transform(lambda x: x.rolling(window30, min_periods1).std()) # 4. 创建周期性编码 # 月份是周期性特征1月和12月是相邻的。使用正弦余弦编码能更好地表达这种周期性。 df[month_sin] np.sin(2 * np.pi * df[month]/12) df[month_cos] np.cos(2 * np.pi * df[month]/12) # 5. 站点相关特征如果有经纬度 # 将纬度分箱为气候带简化示例 def lat_to_zone(lat): if abs(lat) 23.5: return tropical elif abs(lat) 66.5: return temperate else: return frigid df[climate_zone] df[latitude].apply(lat_to_zone) # 对分类特征进行编码 df pd.get_dummies(df, columns[climate_zone], prefixzone)4.2 数据划分的陷阱与正确方法时间序列数据绝对不能随机划分训练集和测试集必须按时间顺序划分防止未来信息“泄漏”到过去。# 假设数据截止到2020年底我们用2018年之前的数据训练2019-2020年数据验证 train_df df[df[date] 2018-01-01].copy() val_df df[(df[date] 2018-01-01) (df[date] 2021-01-01)].copy() # 定义特征列和目标列 # 注意要剔除日期列和原始目标列以及那些在预测时无法获取的未来特征如滞后特征在预测第一步就缺失 feature_columns [col for col in df.columns if col not in [date, temperature, station_id]] # 确保特征列在训练集和验证集中都存在 feature_columns [col for col in feature_columns if col in train_df.columns and col in val_df.columns] X_train train_df[feature_columns] y_train train_df[temperature] X_val val_df[feature_columns] y_val val_df[temperature]这里有个大坑我们为验证集创建的特征如temp_lag_1在现实中是无法直接获取的因为它依赖于上一时刻的真实温度。在实际预测未来时我们需要采用迭代预测或使用预测值来填充滞后特征。在模型验证阶段为了公平评估我们通常使用时间序列交叉验证TimeSeriesSplit或者像上面这样严格按时间切出一块“未来”数据作为验证集并在特征计算时确保没有用到验证集未来的信息。4.3 LightGBM模型训练与关键参数解析import lightgbm as lgb from sklearn.metrics import mean_squared_error # 创建LightGBM数据集 train_data lgb.Dataset(X_train, labely_train) val_data lgb.Dataset(X_val, labely_val, referencetrain_data) # 设置模型参数 params { objective: regression, # 回归任务使用L2损失 metric: rmse, # 评估指标为RMSE boosting_type: gbdt, # 传统的梯度提升决策树 num_leaves: 31, # 控制单棵树复杂度的主要参数小于 2^max_depth learning_rate: 0.05, # 学习率控制每棵树的贡献小值配合大迭代次数 feature_fraction: 0.8, # 每次迭代随机选择80%的特征建树防止过拟合 bagging_fraction: 0.8, # 每次迭代随机选择80%的数据建树 bagging_freq: 5, # 每5次迭代执行一次bagging verbose: -1, # 不输出训练信息 seed: 42 # 随机种子保证结果可复现 } # 训练模型并利用验证集进行早停 gbm lgb.train(params, train_data, num_boost_round1000, # 设置一个较大的迭代轮数 valid_sets[val_data], callbacks[lgb.early_stopping(stopping_rounds50), # 验证集指标50轮不提升则停止 lgb.log_evaluation(period100)]) # 每100轮输出一次日志 # 在验证集上预测并评估 y_val_pred gbm.predict(X_val, num_iterationgbm.best_iteration) val_rmse np.sqrt(mean_squared_error(y_val, y_val_pred)) print(fValidation RMSE: {val_rmse:.4f})参数调优心得num_leaves这是控制模型复杂度的首要参数。可以从一个较小的值如31开始如果模型欠拟合训练集和验证集误差都高再逐步增大。learning_rate和num_boost_round这是一对组合。降低学习率如从0.1到0.05并增加迭代轮数通常能获得更优的性能但训练时间更长。一定要配合早停early_stopping防止过拟合。feature_fraction和bagging_fraction这两个是有效的正则化手段能提升模型泛化能力。一般在0.7-0.9之间调整。4.4 特征重要性分析与模型诊断训练完成后理解模型至关重要。import matplotlib.pyplot as plt # 获取特征重要性按分裂次数 importance gbm.feature_importance(importance_typesplit) feature_names gbm.feature_name() # 排序并可视化 indices np.argsort(importance)[::-1] plt.figure(figsize(10, 8)) plt.title(Feature Importances (LightGBM)) plt.barh(range(20), importance[indices][:20][::-1], colorb, aligncenter) plt.yticks(range(20), [feature_names[i] for i in indices[:20][::-1]]) plt.xlabel(Relative Importance (Split)) plt.tight_layout() plt.show()通过特征重要性图我们可以验证特征工程的有效性。通常滞后特征如temp_lag_1,temp_lag_365和周期性特征month_sin,month_cos会排名靠前。如果某个精心构造的特征重要性极低可能需要反思其有效性。这为我们后续的特征优化提供了明确方向。5. 预测未来与方案迭代从验证到实战模型在验证集上表现良好不代表就能直接预测未来。我们需要构建一个预测管道。5.1 多步预测策略对于需要预测未来多个时间点如未来365天的情况有两种策略直接多输出修改模型一次性输出未来多个时间点的预测。这对模型要求较高且特征工程更复杂。迭代式预测滚动预测这是我们采用的方法。步骤如下使用最新的已知数据预测下一个时间点t1。将预测出的t1温度值作为已知数据更新特征如计算新的滞后特征。用更新后的数据预测t2。如此循环直至预测完所有未来时间点。def iterative_forecast(model, last_known_data, feature_columns, steps365): 迭代预测未来多步 model: 训练好的LightGBM模型 last_known_data: 一个包含足够历史数据的DataFrame用于计算初始特征 feature_columns: 模型使用的特征列名列表 steps: 需要预测的未来步数 forecast [] current_data last_known_data.copy() for i in range(steps): # 为当前数据计算特征确保函数能处理最新的“预测值” # 这里需要有一个自定义的 calculate_features 函数基于current_data更新所有特征 current_features calculate_features(current_data) # 确保特征顺序与训练时一致 X_current current_features[feature_columns] # 预测下一步 next_pred model.predict(X_current.tail(1))[0] forecast.append(next_pred) # 创建新的一行“未来”数据 new_date current_data[date].iloc[-1] pd.Timedelta(days1) new_row {date: new_date, temperature: next_pred, station_id: current_data[station_id].iloc[-1]} # 这里简化处理实际需要补充所有必要的原始列以便下一轮计算特征 current_data current_data.append(new_row, ignore_indexTrue) # 可能需要重新计算整个序列的滚动特征这里效率较低。优化方法是维护一个固定长度的窗口。 return forecast迭代预测的缺点是误差会累积。第一步预测的误差会带入第二步的特征中导致后续预测可能偏离。为了缓解这个问题我们可以训练多个模型如一个预测1天后的一个预测7天后的...或者使用序列到序列Seq2Seq的框架但在竞赛有限时间内精心设计的特征和稳健的迭代预测通常已足够。5.2 方案迭代与融合我们不会只训练一个模型就提交。通常的流程是基准模型使用基础特征年、月、日、简单滞后训练一个LightGBM。进阶模型加入滚动统计、周期性编码、空间特征等训练第二个LightGBM。模型融合将两个或多个模型的预测结果进行加权平均或堆叠Stacking。简单平均法常常能有效提升鲁棒性和精度。后处理根据领域知识对预测结果进行合理性修正。例如预测的温度不应超过该站点历史极端值相邻日期的预测温度不应出现剧烈跳变等。6. 论文写作与可视化如何讲好你的故事数学建模竞赛模型和代码只占一半分数另一半在于论文如何清晰地呈现你的工作。6.1 论文结构要点问题重述与分析用你自己的话精炼概括问题并分析其核心难点非线性、时空相关性、长期预测等。模型假设与符号说明列出合理的假设如“假设未来气候系统不发生突变”并清晰定义所有公式中使用的符号。数据预处理与特征工程这是展示你细致工作的重点。用流程图展示处理步骤用表格列出所有构造的特征及其含义。一定要解释为什么构造这些特征例如“构造月份的正余弦编码是为了让模型理解12月与1月的相邻性”。模型原理与选择依据简要介绍LightGBM的原理梯度提升、决策树、直方图算法并重点阐述为什么选择它而不是ARIMA或LSTM将3.2节中的分析写进去。模型实现与参数给出核心代码片段如特征工程和模型训练的关键部分并说明关键超参数如num_leaves31,learning_rate0.05的设置理由如“通过网格搜索结合早停法确定”。结果分析与可视化预测曲线图将历史真实值、验证集预测值、未来预测值画在同一张图上清晰展示拟合和预测效果。误差分析图绘制验证集预测误差的分布直方图计算并列出RMSE、MAE等指标。特征重要性图将4.4节中的图放入论文并分析排名靠前的特征这体现了模型的可解释性。敏感性分析改变某个重要参数如learning_rate观察模型性能变化说明模型的稳定性。模型评价与推广客观评价模型的优点高效、准确、可解释和局限性迭代预测误差累积、对突变事件捕捉能力可能不足并提出可能的改进方向如引入外部气候指数、使用更复杂的集成模型。6.2 可视化技巧使用清晰、专业的图表。折线图用于展示时间序列散点图用于展示真实值与预测值的关系柱状图用于特征重要性。确保所有图表都有清晰的标题、坐标轴标签和图例。在图中突出关键信息例如用不同颜色区分历史数据、验证预测和未来预测。将最重要的结果图放在显眼位置。通过这样一套从问题理解、数据加工、模型构建、预测实施到成果展示的完整流程你构建的不仅仅是一个预测模型更是一个逻辑严密、经得起推敲的解决方案。数学建模竞赛考察的正是这种系统性的问题解决能力。LightGBM在这里是一个强大而高效的工具但记住工具背后的思维过程——如何将现实问题转化为数据问题如何从数据中挖掘信息如何评估和迭代方案——才是真正值得你花时间磨练的核心技能。
1. 从赛题到模型一次完整的数据建模实战复盘去年带队参加亚太杯数学建模竞赛我们组选的正是C题——全球气温预测。这道题乍一看是经典的时间序列预测问题但深入下去你会发现它远不止套个ARIMA或LSTM那么简单。它考察的是从数据理解、特征工程、模型选型到结果解释的全链条建模能力。网上能找到的“示例代码”或“优秀论文”往往只展示了最终的结果片段缺少了最关键的思考过程和工程细节。今天我就以这道题为例结合我们当时实际采用的LightGBM方案把从拿到数据到提交论文的完整思路、代码实现中的关键决策点以及那些在论文里不会写的“坑”和技巧系统地梳理一遍。无论你是正在备战数学建模的新手还是对数据预测感兴趣的朋友这篇复盘都能给你提供一个可复现、可深挖的实战框架。2. 赛题核心与数据理解预测的本质是什么拿到题目第一步不是急着找代码而是彻底读懂题目在问什么。2022年亚太杯C题提供了全球多个站点的历史气温数据通常是月均或日均要求我们预测未来一段时间比如未来5年或10年的气温变化。这里有几个关键点需要立刻明确2.1 预测目标的界定题目要求的“全球气温预测”通常不是预测一个单一的全球平均值而是对各个站点或区域进行未来时间点的气温值预测。这意味着我们的模型输出是连续值属于回归问题。同时由于数据是按时间顺序采集的它具有强烈的时间依赖性即今天的温度与昨天、上周、去年同期的温度密切相关。这是时间序列预测最根本的特性。2.2 数据特征的冰山之下组委会提供的数据集通常包含以下字段站点编号、日期年、月、日、平均气温有时还会有最高/最低气温、纬度、经度、海拔等。很多队伍只盯着日期和平均气温这两个最明显的特征这远远不够。真正的信息隐藏在关系和衍生之中。例如时间特征从日期中可以提取出年份、月份、季度、一年中的第几天、是否闰年等。月份和季度能捕捉季节性规律夏季热、冬季冷。滞后特征这是时间序列的核心。我们需要创建过去时间点的气温值作为特征例如前1天温度、前7天温度、前30天温度、去年同期前365天温度。这相当于让模型“看到”历史的窗口。滚动统计特征计算过去一个窗口期内的统计量如过去7天的平均温度、过去30天的温度标准差、过去90天的最高温度。这些特征能平滑噪声并揭示短期趋势。站点空间特征纬度和经度直接输入模型效果可能不好但可以计算站点间的相对位置或将其转换为气候带类别如热带、温带、寒带这是非常重要的先验知识。交互特征例如月份和纬度的组合可以表征“北半球高纬度地区的冬季”其温度变化模式与“赤道地区的冬季”截然不同。2.3 评估指标的理解竞赛通常会指定评估指标如均方根误差RMSE或平均绝对误差MAE。RMSE对大的预测误差惩罚更重这意味着如果你的模型偶尔出现离谱的预测RMSE会飙升。在建模时我们需要根据指标特性调整目标。例如如果使用LightGBM它的损失函数objective默认是回归任务常用的regression对应L2损失最小化RMSE如果赛题用MAE评估那么使用regression_l1损失函数可能更直接。注意数据中经常存在缺失值或明显异常值如温度记录为999。处理缺失值时对于时间序列采用前向填充用前一个时间点的值填充或线性插值比直接用全局均值更合理。对于异常值需要结合领域知识判断是传感器错误还是真实极端天气通常可以采用滚动窗口的均值±3倍标准差的方法进行识别和修正。3. 为什么选择LightGBM模型选型的深度思考面对时间序列预测很多人第一反应是使用传统的统计模型如ARIMA、Prophet或深度学习模型如LSTM、GRU。我们最终选择LightGBMLight Gradient Boosting Machine是经过多方面权衡的这背后是一套完整的建模逻辑。3.1 传统统计模型与深度学习的局限性ARIMA家族优势在于理论完备对线性关系和时间依赖建模能力强。但缺点也很明显它假设序列是平稳的需差分处理对复杂的非线性关系如温度与月份、纬度的交互捕捉能力弱并且手动确定参数p,d,q过程繁琐对于多站点数据需要为每个站点单独建模扩展性差。LSTM/GRU作为循环神经网络天生为序列数据设计能自动学习长期依赖。但其“黑盒”特性强训练需要大量数据且计算成本高超参数调优层数、神经元数、dropout率复杂容易过拟合。在有限赛程通常3-4天和可能有限的训练数据下训练一个稳定、高效的LSTM模型挑战很大。3.2 LightGBM的竞争优势分析LightGBM是一种基于决策树集成学习的梯度提升框架它在结构化数据表格数据上的表现极其出色。我们将时间序列问题通过特征工程转化为标准的表格数据问题后LightGBM的优势便凸显出来效率极高采用基于直方图的决策树算法和带深度限制的Leaf-wise生长策略训练速度比XGBoost快数倍到数十倍内存消耗也更低。这在分秒必争的竞赛中是天大的优势。精度优秀梯度提升本身是一种强大的集成学习算法能有效组合多个弱学习器树通常能取得非常高的预测精度在许多Kaggle表格数据竞赛中都是冠军方案的核心。无需特征缩放树模型对特征的量纲不敏感我们提取的年份、月份、滞后温度等特征无需进行标准化或归一化省去预处理步骤。自动处理缺失值LightGBM可以学习缺失值的最优分配方向无需我们预先填充。强大的特征重要性输出训练后可以轻松得到特征重要性排序这不仅能帮助我们理解模型哪些特征最关键还能用于特征筛选优化模型。易于调参虽然也有超参数但LightGBM的默认参数已经表现不错且核心参数如num_leaves,learning_rate,feature_fraction有比较明确的物理意义调优路径清晰。3.3 我们的决策逻辑竞赛的核心是在有限时间内构建一个稳定、可靠、可解释且表现优异的模型。LightGBM完美契合了这些要求它让我们能将主要精力集中在特征工程这一最能提升模型性能的环节上而不是陷入深度学习模型的调参和调试漩涡。它的快速训练允许我们进行多轮特征构建和模型验证迭代。最终我们构建的LightGBM模型在验证集上的RMSE显著低于我们尝试的ARIMA和简单LSTM基线模型。4. 从零构建LightGBM预测模型代码与思路详解下面我将结合核心代码片段分步拆解整个建模流程。假设我们有一个Pandas DataFramedf包含station_id,date,temperature等初始列。4.1 数据预处理与核心特征工程这是整个项目最耗时的部分也是决定模型上限的关键。import pandas as pd import numpy as np from datetime import datetime # 1. 解析日期创建基础时间特征 df[date] pd.to_datetime(df[date]) df[year] df[date].dt.year df[month] df[date].dt.month df[day_of_year] df[date].dt.dayofyear df[quarter] df[date].dt.quarter df[is_leap_year] df[date].dt.is_leap_year # 2. 创建滞后特征 (Lag Features) # 假设数据是日度数据我们创建过去1天、7天、30天、365天的温度作为特征 for lag in [1, 7, 30, 365]: df[ftemp_lag_{lag}] df.groupby(station_id)[temperature].shift(lag) # 3. 创建滚动统计特征 (Rolling Statistics) # 计算过去7天和30天的移动平均和标准差 df[temp_rolling_mean_7] df.groupby(station_id)[temperature].transform(lambda x: x.rolling(window7, min_periods1).mean()) df[temp_rolling_std_30] df.groupby(station_id)[temperature].transform(lambda x: x.rolling(window30, min_periods1).std()) # 4. 创建周期性编码 # 月份是周期性特征1月和12月是相邻的。使用正弦余弦编码能更好地表达这种周期性。 df[month_sin] np.sin(2 * np.pi * df[month]/12) df[month_cos] np.cos(2 * np.pi * df[month]/12) # 5. 站点相关特征如果有经纬度 # 将纬度分箱为气候带简化示例 def lat_to_zone(lat): if abs(lat) 23.5: return tropical elif abs(lat) 66.5: return temperate else: return frigid df[climate_zone] df[latitude].apply(lat_to_zone) # 对分类特征进行编码 df pd.get_dummies(df, columns[climate_zone], prefixzone)4.2 数据划分的陷阱与正确方法时间序列数据绝对不能随机划分训练集和测试集必须按时间顺序划分防止未来信息“泄漏”到过去。# 假设数据截止到2020年底我们用2018年之前的数据训练2019-2020年数据验证 train_df df[df[date] 2018-01-01].copy() val_df df[(df[date] 2018-01-01) (df[date] 2021-01-01)].copy() # 定义特征列和目标列 # 注意要剔除日期列和原始目标列以及那些在预测时无法获取的未来特征如滞后特征在预测第一步就缺失 feature_columns [col for col in df.columns if col not in [date, temperature, station_id]] # 确保特征列在训练集和验证集中都存在 feature_columns [col for col in feature_columns if col in train_df.columns and col in val_df.columns] X_train train_df[feature_columns] y_train train_df[temperature] X_val val_df[feature_columns] y_val val_df[temperature]这里有个大坑我们为验证集创建的特征如temp_lag_1在现实中是无法直接获取的因为它依赖于上一时刻的真实温度。在实际预测未来时我们需要采用迭代预测或使用预测值来填充滞后特征。在模型验证阶段为了公平评估我们通常使用时间序列交叉验证TimeSeriesSplit或者像上面这样严格按时间切出一块“未来”数据作为验证集并在特征计算时确保没有用到验证集未来的信息。4.3 LightGBM模型训练与关键参数解析import lightgbm as lgb from sklearn.metrics import mean_squared_error # 创建LightGBM数据集 train_data lgb.Dataset(X_train, labely_train) val_data lgb.Dataset(X_val, labely_val, referencetrain_data) # 设置模型参数 params { objective: regression, # 回归任务使用L2损失 metric: rmse, # 评估指标为RMSE boosting_type: gbdt, # 传统的梯度提升决策树 num_leaves: 31, # 控制单棵树复杂度的主要参数小于 2^max_depth learning_rate: 0.05, # 学习率控制每棵树的贡献小值配合大迭代次数 feature_fraction: 0.8, # 每次迭代随机选择80%的特征建树防止过拟合 bagging_fraction: 0.8, # 每次迭代随机选择80%的数据建树 bagging_freq: 5, # 每5次迭代执行一次bagging verbose: -1, # 不输出训练信息 seed: 42 # 随机种子保证结果可复现 } # 训练模型并利用验证集进行早停 gbm lgb.train(params, train_data, num_boost_round1000, # 设置一个较大的迭代轮数 valid_sets[val_data], callbacks[lgb.early_stopping(stopping_rounds50), # 验证集指标50轮不提升则停止 lgb.log_evaluation(period100)]) # 每100轮输出一次日志 # 在验证集上预测并评估 y_val_pred gbm.predict(X_val, num_iterationgbm.best_iteration) val_rmse np.sqrt(mean_squared_error(y_val, y_val_pred)) print(fValidation RMSE: {val_rmse:.4f})参数调优心得num_leaves这是控制模型复杂度的首要参数。可以从一个较小的值如31开始如果模型欠拟合训练集和验证集误差都高再逐步增大。learning_rate和num_boost_round这是一对组合。降低学习率如从0.1到0.05并增加迭代轮数通常能获得更优的性能但训练时间更长。一定要配合早停early_stopping防止过拟合。feature_fraction和bagging_fraction这两个是有效的正则化手段能提升模型泛化能力。一般在0.7-0.9之间调整。4.4 特征重要性分析与模型诊断训练完成后理解模型至关重要。import matplotlib.pyplot as plt # 获取特征重要性按分裂次数 importance gbm.feature_importance(importance_typesplit) feature_names gbm.feature_name() # 排序并可视化 indices np.argsort(importance)[::-1] plt.figure(figsize(10, 8)) plt.title(Feature Importances (LightGBM)) plt.barh(range(20), importance[indices][:20][::-1], colorb, aligncenter) plt.yticks(range(20), [feature_names[i] for i in indices[:20][::-1]]) plt.xlabel(Relative Importance (Split)) plt.tight_layout() plt.show()通过特征重要性图我们可以验证特征工程的有效性。通常滞后特征如temp_lag_1,temp_lag_365和周期性特征month_sin,month_cos会排名靠前。如果某个精心构造的特征重要性极低可能需要反思其有效性。这为我们后续的特征优化提供了明确方向。5. 预测未来与方案迭代从验证到实战模型在验证集上表现良好不代表就能直接预测未来。我们需要构建一个预测管道。5.1 多步预测策略对于需要预测未来多个时间点如未来365天的情况有两种策略直接多输出修改模型一次性输出未来多个时间点的预测。这对模型要求较高且特征工程更复杂。迭代式预测滚动预测这是我们采用的方法。步骤如下使用最新的已知数据预测下一个时间点t1。将预测出的t1温度值作为已知数据更新特征如计算新的滞后特征。用更新后的数据预测t2。如此循环直至预测完所有未来时间点。def iterative_forecast(model, last_known_data, feature_columns, steps365): 迭代预测未来多步 model: 训练好的LightGBM模型 last_known_data: 一个包含足够历史数据的DataFrame用于计算初始特征 feature_columns: 模型使用的特征列名列表 steps: 需要预测的未来步数 forecast [] current_data last_known_data.copy() for i in range(steps): # 为当前数据计算特征确保函数能处理最新的“预测值” # 这里需要有一个自定义的 calculate_features 函数基于current_data更新所有特征 current_features calculate_features(current_data) # 确保特征顺序与训练时一致 X_current current_features[feature_columns] # 预测下一步 next_pred model.predict(X_current.tail(1))[0] forecast.append(next_pred) # 创建新的一行“未来”数据 new_date current_data[date].iloc[-1] pd.Timedelta(days1) new_row {date: new_date, temperature: next_pred, station_id: current_data[station_id].iloc[-1]} # 这里简化处理实际需要补充所有必要的原始列以便下一轮计算特征 current_data current_data.append(new_row, ignore_indexTrue) # 可能需要重新计算整个序列的滚动特征这里效率较低。优化方法是维护一个固定长度的窗口。 return forecast迭代预测的缺点是误差会累积。第一步预测的误差会带入第二步的特征中导致后续预测可能偏离。为了缓解这个问题我们可以训练多个模型如一个预测1天后的一个预测7天后的...或者使用序列到序列Seq2Seq的框架但在竞赛有限时间内精心设计的特征和稳健的迭代预测通常已足够。5.2 方案迭代与融合我们不会只训练一个模型就提交。通常的流程是基准模型使用基础特征年、月、日、简单滞后训练一个LightGBM。进阶模型加入滚动统计、周期性编码、空间特征等训练第二个LightGBM。模型融合将两个或多个模型的预测结果进行加权平均或堆叠Stacking。简单平均法常常能有效提升鲁棒性和精度。后处理根据领域知识对预测结果进行合理性修正。例如预测的温度不应超过该站点历史极端值相邻日期的预测温度不应出现剧烈跳变等。6. 论文写作与可视化如何讲好你的故事数学建模竞赛模型和代码只占一半分数另一半在于论文如何清晰地呈现你的工作。6.1 论文结构要点问题重述与分析用你自己的话精炼概括问题并分析其核心难点非线性、时空相关性、长期预测等。模型假设与符号说明列出合理的假设如“假设未来气候系统不发生突变”并清晰定义所有公式中使用的符号。数据预处理与特征工程这是展示你细致工作的重点。用流程图展示处理步骤用表格列出所有构造的特征及其含义。一定要解释为什么构造这些特征例如“构造月份的正余弦编码是为了让模型理解12月与1月的相邻性”。模型原理与选择依据简要介绍LightGBM的原理梯度提升、决策树、直方图算法并重点阐述为什么选择它而不是ARIMA或LSTM将3.2节中的分析写进去。模型实现与参数给出核心代码片段如特征工程和模型训练的关键部分并说明关键超参数如num_leaves31,learning_rate0.05的设置理由如“通过网格搜索结合早停法确定”。结果分析与可视化预测曲线图将历史真实值、验证集预测值、未来预测值画在同一张图上清晰展示拟合和预测效果。误差分析图绘制验证集预测误差的分布直方图计算并列出RMSE、MAE等指标。特征重要性图将4.4节中的图放入论文并分析排名靠前的特征这体现了模型的可解释性。敏感性分析改变某个重要参数如learning_rate观察模型性能变化说明模型的稳定性。模型评价与推广客观评价模型的优点高效、准确、可解释和局限性迭代预测误差累积、对突变事件捕捉能力可能不足并提出可能的改进方向如引入外部气候指数、使用更复杂的集成模型。6.2 可视化技巧使用清晰、专业的图表。折线图用于展示时间序列散点图用于展示真实值与预测值的关系柱状图用于特征重要性。确保所有图表都有清晰的标题、坐标轴标签和图例。在图中突出关键信息例如用不同颜色区分历史数据、验证预测和未来预测。将最重要的结果图放在显眼位置。通过这样一套从问题理解、数据加工、模型构建、预测实施到成果展示的完整流程你构建的不仅仅是一个预测模型更是一个逻辑严密、经得起推敲的解决方案。数学建模竞赛考察的正是这种系统性的问题解决能力。LightGBM在这里是一个强大而高效的工具但记住工具背后的思维过程——如何将现实问题转化为数据问题如何从数据中挖掘信息如何评估和迭代方案——才是真正值得你花时间磨练的核心技能。
