简介基于Python机器学习实现的天气预测与可视化课程设计项目适用于计算机专业期末大作业、毕业设计及需要项目实战的Python学习者项目经导师审定与本地编译调试曾获评审98分难度适中可直接运行复现。资源共24个文件、压缩包1.43MB其中4个py脚本覆盖数据采集、数据处理、模型训练与主程序调用4个csv提供训练与验证数据集pkl为预训练模型文件12张jpg展示预测结果与可视化图表另有readme说明文档与天气网html爬虫页面结构完整清晰。已有124人学习下载。读者可获得从数据获取、特征处理、模型构建到结果可视化的完整闭环快速理解机器学习项目开发流程并参考代码注释规范、模块划分与调参思路用于自己的课程设计或答辩演示。1. 标称完整源码的天气预测项目能跑起来只是及格线很多做课题设计或想给简历加项目的同学都下载过那种“百分之百能跑”的天气预测源码包。解压、装依赖、一运行第一关就卡住一半人要么数据接口返回空值要么中文图表全变成方块要么训练集里混进了未来数据导致准确率高得离谱。这个标题真正的意思是用 Python 机器学习和数据可视化做天气预测完整链路包括数据获取、清洗、特征设计、模型训练、评估和可视化模型本身反而是最简单的一环。下面的内容按我落地类似任务时的实际顺序把这套链路拆开讲清楚每一步给你能直接改着跑的代码、参数怎么调以及最容易翻车的地方。适合想拿这个方向做课程设计、课题结题或简历项目的人照着复现。2. 先想清楚再动手模型选型与特征设计决定项目上限2.1 天气预测是回归问题先定目标再选算法天气预测听起来范围很大但落到代码上第一步要回答的问题不是“用哪个模型”而是“预测什么”。一个可落地的天气预测项目最常见的任务是基于过去 N 天的气象观测数据预测明天的最高气温和最低气温。之所以选这两个目标是因为它们是连续数值能量化评估而且公开气象数据基本都包含这两个字段。把目标定为“明天最高温/最低温”问题就从一个宏大的“预测天气”收敛到一个标准的回归任务。有了这个定位模型选择才不会跑偏。选模型之前先明确自己的数据量。如果拿到的是一个城市近几年的日度气象数据大约两三千到五六千条这个量级下最适合的模型是随机森林和梯度提升。它们对特征缩放不敏感能处理非线性关系并且能给出特征重要性方便在报告里解释。线性回归适合做第一版基线和流程验证但不是最终的主力模型。LSTM 在这个数据量下几乎没有优势训练时间长、调参复杂而且很容易因为数据不足而欠拟合或过拟合。模型适合场景所需数据量可解释性主要踩坑点线性回归基线、特征线性相关强数百条以上即可高对异常值敏感无法处理强非线性随机森林中小型表格数据特征有交互数千条较优中默认参数下容易过拟合梯度提升中小型表格数据精度要求高数千条以上中学习率和树数量要配合调LSTM长序列、明显时序依赖建议数万条以上低训练慢、可解释性差、调参成本高选择模型时还有一条重要的隐性标准答辩或评审时能不能自圆其说。随机森林的“多棵树投票”和特征重要性解释起来清晰LSTM 一展开就涉及序列建模、梯度消失等话题如果不是特别在行容易把简单项目讲复杂。基于这个判断我的建议是主体模型用随机森林再用梯度提升做对照给出一张模型对比表这比单独跑一个复杂模型更能体现工程意识。2.2 特征设计比算法更值钱滞后项、气象要素与时间特征特征设计是这个项目里真正拉开差距的地方。第一次做的人容易把所有气象列直接丢给模型最后发现效果很差真正有用的是三批特征的组合。第一批是滞后特征。气温变化有惯性昨天的温度是预测明天温度的最强信号。用 pandas 生成滞后特征非常直接但要注意必须先排序再 shiftimport pandas as pd df[date] pd.to_datetime(df[date]) df df.sort_values(date) # 时间序列必须先按时间排序 df[temp_lag1] df[temp_max].shift(1) # 前一天最高温 df[temp_lag2] df[temp_max].shift(2) # 前两天最高温 df[humidity_lag1] df[humidity].shift(1) # 前一天湿度 df df.dropna().reset_index(dropTrue) # 删除因滞后产生的空行这段代码是整个特征工程里最容易出错的地方。shift(1) 把整列向下移动一行第 t 行的 temp_lag1 就是第 t-1 天的最高温这样模型在第 t 天做预测时手头的信息只有“昨天及以前”不会看到当天数据。如果忘了 sort_values数据顺序是乱的滞后特征就完全错位模型学到的全是噪声。dropna 这一步也很关键因为前两行没有完整的历史数据留着 NaN 会让部分模型直接报错或忽略整行。第二批是气象要素特征包括气压、湿度、风速、云量、能见度和当日降水量。这些字段在序列预测中不是平等重要的湿度与气温变化的交互作用比较强气压对天气系统转换有指示作用。第三批是时间特征包括月份、季节、一年中的第几天、是否节假日。时间特征帮助模型理解季节周期比如同样温度下5 月和 10 月的后续变化趋势不同。特征选择有个容易被忽视的原则预测 t 时刻的目标特征里只能用 t 时刻之前能确定的数据尤其不能用“当天的实际观测值”去预测当天的温度这在做课题项目时非常常见属于特征泄漏。判断方法很简单把特征列表给一个不了解项目的人看如果某一个特征只有“当天结束后”才能拿到它就不能出现在模型里。特征之间如果存在强共线性比如湿度和降水量高度相关会导致线性回归系数不稳定但对树模型影响不大。所以我在实践中会先画一个相关性热力图观察特征与目标的关系再用随机森林的 feature_importances_ 确认哪些特征真正起作用。这两步放在第 4 章的模型评估里讲先记住结论滞后项往往占据重要性前两名这是正常现象但如果前五名全是滞后项说明模型在依赖“惯性”而不是理解天气系统后面避坑章会专门讲这个问题。3. 数据获取与预处理先拿到干净的时间序列3.1 数据源取舍公开接口、历史数据与爬虫的边界拿数据是这个项目里最现实的问题。有两条常见路线一是用公开天气接口实时拉取历史数据二是从气象数据网站上直接下载历史数据集。前者适合做数据更新方便的 Demo后者适合先把数据落盘、反复实验。我的建议是优先选择能批量下载的数据集把数据保存成 CSV后续所有实验都从 CSV 读取而不是每次跑模型都请求一次接口。注意数据落盘不是可选项而是数据类项目的保命习惯。接口失效时你会感谢当初存了 CSV。网络请求是有失败率、限流和格式变化风险的。如果代码里每次运行都重新拉数据一旦接口字段调整整个项目就崩了把数据固化到本地数据分析部分不受网络影响接口问题只影响数据更新这一个环节排查范围小很多。以下是拉取数据的示意脚本import requests import pandas as pd # 以某公开天气平台为例url 和字段名按实际接口调整 url https://api.example.com/v1/historical params { city: CityName, start: 2020-01-01, end: 2023-12-31, unit: metric, key: your_api_key } resp requests.get(url, paramsparams, timeout30) resp.raise_for_status() # 状态码非 200 时直接抛异常,方便快速定位 data resp.json() df pd.DataFrame(data[daily]) df[date] pd.to_datetime(df[date]) df.to_csv(weather_data.csv, indexFalse)逻辑说明requests 用 params 传参避免手动拼接 URLtimeout30 防止接口卡死导致程序长时间无响应raise_for_status() 会在接口返回 4xx/5xx 时直接报错否则你拿到的可能是一段错误提示文本解析时会一脸懵。响应结构 data[daily] 是示意实际以平台文档为准。拿到原始数据后的第一件事不是建模而是确认时间范围和缺失情况。用 Python 探查时我会先打印 head()、tail()、info() 和 describe()对数据的日期连续性有个整体感觉。如果时间跨度只有两三个月做日度预测的数据量偏少模型效果不会太好。常见的数据字段建议整理成下面这样的格式字段名含义类型示例date日期字符串/日期2024-05-01temp_max当日最高温浮点26.5temp_min当日最低温浮点14.2humidity日均相对湿度浮点68.0pressure日均气压浮点1008.3wind_speed日均风速浮点12.6weather_condition天气现象描述字符串多云转晴3.2 数据清洗与时间索引缺失值、异常值、时区对齐清洗目标是把数据整理成“按日期排序、无缺失、无异常”的规范 DataFrame。常见的脏数据有三类日期没有解析成 datetime 类型某些字段存在 NaN个别记录异常偏离正常范围。下面是一个能直接用的清洗脚本import pandas as pd df pd.read_csv(weather_data.csv) df[date] pd.to_datetime(df[date]) # 日期标准化 df df.sort_values(date).reset_index(dropTrue) # 数值列缺失值用线性插值极端情况用前向填充兜底 num_cols [temp_max, temp_min, humidity, pressure, wind_speed] df[num_cols] df[num_cols].interpolate(methodlinear, limit_directionboth) # 异常值检测以三倍标准差为界超过则用中位数替换 for col in num_cols: mean df[col].mean() std df[col].std() df.loc[df[col] mean 3 * std, col] mean df.loc[df[col] mean - 3 * std, col] mean # 按日去重防止同一个日期出现多条记录 df df.drop_duplicates(subsetdate, keeplast) print(df.isna().sum()) print(df.shape)逻辑说明interpolate 是线性插值对气温这种连续变化的值比较自然limit_directionboth 保证序列开头和结尾的缺失也能被填充。异常值用“均值±3倍标准差”识别这是处理气象数据时比较常用的启发式规则比用 IQR 更简单直接代价是对极端天气比如罕见寒潮也会误伤所以用均值替换。去重用 keeplast如果数据源存在同日多次更新保留最后一条通常是最完整的那条。参数说明interpolate 的 method 参数可以换成 time要求索引是 datetime 类型按时间间隔插值更准确但对索引的规范性要求更高标准差阈值 3 不是固定的数据波动大的地区可以放宽到 4。注意这些清洗操作要保留一份原始数据备份后面如果发现处理逻辑有误还能回退。清洗后还需要做一件容易被忽略的事检查日期是否连续。用pd.date_range(startdf[date].min(), enddf[date].max(), freqD)生成完整日期序列与原数据做差集找出缺了哪几天。缺得少可以插值缺得多说明数据源本身不完整要在报告里如实说明否则评审时会暴露。3.3 训练测试划分时间序列不能随机打散普通机器学习项目用 train_test_split 随机划分没问题但时间序列预测不行。如果训练集里混有测试集时期的样本模型会“偷看”到未来信息评估结果虚高。时间序列的标准做法是按时间点切分前 80% 做训练后 20% 做测试中间留出一个 gap避免紧挨着的数据因为滞后特征产生信息关联。from sklearn.model_selection import TimeSeriesSplit split_point int(len(df) * 0.8) train df.iloc[:split_point].copy() test df.iloc[split_point:].copy() # 如果要交叉验证用TimeSeriesSplit而不是KFold tscv TimeSeriesSplit(n_splits5, gap7) for train_index, val_index in tscv.split(train): train_fold train.iloc[train_index] val_fold train.iloc[val_index] # 每个fold都用这个逻辑做训练和验证逻辑说明手动按 8:2 切分适合最终评估TimeSeriesSplit 适合训练过程中的参数调优。gap7 表示训练折与验证折之间留 7 天的间隔。如果没有 gap训练折最后一天的滞后特征可能会引用到验证折的数据造成信息泄漏因为滞后特征是用全量数据生成的。参数说明n_splits 表示切几折样本量少时设 3 即可数据量大可以设 5gap 的单位是样本间距日度数据就是 7 天通常设为最大滞后阶数或更大。最重要的一条滞后特征必须在每个折内部单独生成不能在全量数据上先生成好再切分否则模型在验证折上会用到训练折未来时刻的信息。我的做法是写一个函数输入原始 DataFrame输出“已按时间切分且滞后特征是折内生成的”训练和验证集。这个函数复用性高后面换数据、换模型都走同一个入口。4. 模型训练与评估从线性回归到随机森林的落地代码4.1 基线模型线性回归先把全流程跑通数据准备好之后第一件事不是直接上随机森林而是先用线性回归把整个训练、预测、评估的闭环跑通。这样做有三个好处验证特征管道没有 bug得到一个最基础的分数给后续更复杂的模型设置对比基准。线性回归在特征和温度的关系基本线性时效果其实不差尤其在气温变化平稳的季节。from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score import numpy as np feature_cols [temp_lag1, temp_lag2, humidity, pressure, wind_speed, month] X_train train[feature_cols].values y_train train[temp_max].values X_test test[feature_cols].values y_test test[temp_max].values lr LinearRegression() lr.fit(X_train, y_train) y_pred_lr lr.predict(X_test) mae mean_absolute_error(y_test, y_pred_lr) rmse np.sqrt(mean_squared_error(y_test, y_pred_lr)) r2 r2_score(y_test, y_pred_lr) print(fLinearRegression MAE{mae:.2f} RMSE{rmse:.2f} R2{r2:.2f})逻辑说明这里特征选了滞后温度、湿度、气压、风速和月份。注意没有把“当天的天气类型”放进去因为预测日当天还没到来。y_train 是 temp_max即最高气温。用这个最小的闭环先确认数据管道和评估代码都正常再考虑更复杂的模型。参数说明LinearRegression 的 fit_intercept 默认 True一般不用改normalize 参数在新版本里已经废弃不要设置了。如果发现 MAE 在 2℃以上先别急着调模型优先检查特征和清洗逻辑很多时候是滞后特征没生成对。4.2 升级模型随机森林的默认参数与调参方向随机森林是天气预测项目的实用主力。它对异常值和特征量纲不敏感不需要做标准化而且能输出特征重要性对报告很友好。先用默认参数跑一次再调三个参数n_estimators、max_depth、min_samples_leaf。from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import GridSearchCV rf RandomForestRegressor(n_estimators300, random_state42, n_jobs-1) rf.fit(X_train, y_train) y_pred_rf rf.predict(X_test) print(fRF MAE{mean_absolute_error(y_test, y_pred_rf):.2f}) # 看特征重要性判断模型主要依赖哪些特征 for name, imp in zip(feature_cols, rf.feature_importances_): print(f{name}: {imp:.3f})参数说明n_estimators 是树的数量300 到 500 在这个数据量下够用再多收益很小且训练变慢random_state 固定随机种子保证结果可复现n_jobs-1 用满所有 CPU 核心。max_depth 默认 None 意味着树可以无限深在小数据上容易过拟合建议调参时限制在 10 到 30 之间。min_samples_leaf 控制在 5 到 20 之间让每片叶子至少有若干样本能明显提升泛化能力。调参不用手工一个个试。我用 GridSearchCV 跑一遍常见组合同时用 TimeSeriesSplit 做内部验证避免在同一个测试集上调参导致信息泄漏param_grid { max_depth: [10, 20, None], min_samples_leaf: [2, 5, 10], max_features: [sqrt, 0.5] } gs GridSearchCV( RandomForestRegressor(n_estimators300, random_state42, n_jobs-1), param_grid, scoringneg_mean_absolute_error, cvTimeSeriesSplit(n_splits3, gap7), n_jobs-1 ) gs.fit(X_train, y_train) print(gs.best_params_)逻辑说明scoring 用 neg_mean_absolute_error 表示用 MAE 作为选择标准负号是 sklearn 的约定越大越好。cv 用 TimeSeriesSplit 而不是 KFold这个细节决定了调参结果是否可靠如果用普通交叉验证时间序列信息会从训练折泄漏到验证折。best_params_ 里看到的参数组合可以直接应用到最终模型上。参数说明max_features 默认是 sqrt在特征数不多时可以让每次分裂随机选取特征子集降低树之间的相关性0.5 表示每次用一半特征需要特征数较多时才值得尝试。GridSearchCV 在天气数据上通常几分钟内跑完。调参这事说玄学也玄学但只要方向对大部分提升都来自 max_depth 和 min_samples_leaf 这两个约束而不是树的数量。4.3 结果评估MAE、RMSE、R²与模型对比评估指标的选择直接影响你对自己的判断。MAE 是平均绝对误差单位是℃最直观RMSE 对大误差更敏感能反映是否存在预测特别离谱的日子R² 表示模型解释了多少方差但时间序列场景下 R² 容易被滞后项抬高要结合 MAE 看。我的经验是日度最高温预测MAE 在 1.5℃以内算不错2℃左右是常规水平如果 MAE 超过 3℃先考虑数据问题而不是模型问题。results [] for name, y_pred in [(LinearRegression, y_pred_lr), (RandomForest, y_pred_rf)]: mae mean_absolute_error(y_test, y_pred) rmse np.sqrt(mean_squared_error(y_test, y_pred)) r2 r2_score(y_test, y_pred) results.append({model: name, MAE: round(mae, 2), RMSE: round(rmse, 2), R2: round(r2, 3)}) result_df pd.DataFrame(results) print(result_df)逻辑说明把多个模型的评估结果放在一个表格里对比这是报告里最能体现工程感的部分。单个模型的绝对分数意义有限模型之间的差距才是有效信息。如果随机森林与线性回归相比 MAE 提升小于 0.1℃那说明特征设计可能有问题线性关系已经接近上限换更复杂的模型收益也不会太大。补充一个常用检查残差分析。把预测值和真实值的差画出来如果残差有明显的趋势或自相关说明模型漏掉了某些时间特征。这个图放到第 6 章的可视化部分一起实现。5. 避坑指南天气预测项目最容易翻车的5个问题5.1 时间泄漏验证集里混进了未来数据现象训练时 R² 高达 0.95 以上测试集却完全不是那么回事或者两个模型对比时结果异常接近。原因最常见的是对全量数据做了标准化训练集和测试集共用了同一组均值和标准差测试集的信息从统计量里泄漏进了训练过程。另一种做法是先生成滞后特征再切分让验证集样本的滞后特征来自训练集时间段等于模型偷偷看到了“未来”。解决标准化之前先在原始数据上按时间切分再用训练集的统计量去 transform 测试集。滞后特征的生成逻辑也放进切分之后。代码层面的做法是from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 只对训练集fit X_test_scaled scaler.transform(X_test) # 测试集用同一组参数不重新fit需要注意的另一个点是如果你用了插值填充缺失值也必须在切分之后对测试集单独处理不能拿全量数据算出的插值结果去填测试集。5.2 延迟预测陷阱模型在“抄作业”而不是在预测现象预测曲线和真实曲线高度重合但整体向右偏移了差不多一天遇到气温骤变的日子预测明显滞后。原因temp_lag1 的特征重要性经常排到第一模型学到的最强规律就是“明天的温度约等于今天的温度”。这在平稳天气下分数好看但本质上是在抄昨天的值没有预测能力一旦遇到冷空气或热带气旋带来的剧烈降温模型就失效。解决不能直接删掉 lag1否则效果会大幅下降而是做两件事。第一把滞后项从 lag1 扩展到 lag2、lag3让模型能看到多一点的历史趋势第二加入气压、湿度、风速和天气状态等外部特征特别是气压的快速下降通常意味着天气系统改变。评估时不要只看整体 MAE单独挑出“温差超过 5℃的日子”计算这一子集的误差才能反映模型的真实水平。5.3 中文字体与地图组件可视化最常见翻车现场现象折线图的标题和坐标轴全是方框或者用了交互式地图组件之后图表区域空白。原因画图用的默认字体不支持中文需要切换到系统中文字体交互式地图组件默认从网络加载地图资源离线环境或者网络受限时只显示空白。解决在画图脚本开头统一设置字体这一步放在 import matplotlib 之后立即执行import matplotlib.pyplot as plt import matplotlib matplotlib.rcParams[font.sans-serif] [SimHei] # Windows自带黑体 matplotlib.rcParams[axes.unicode_minus] False # 解决负号显示成方块这两个 rcParams 几乎能解决所有中文乱码问题。字体名按操作系统选择Windows 用 SimHeiLinux 系统用 Noto Sans CJK SC需要确认是否安装了中文字体包。如果系统里没有中文字体我会从项目目录下加载一个本地字体文件用 font_manager.addfont 注册这个方法在离线服务器上最可靠。5.4 数据源失效与格式漂移源码跑不起来的第一大原因现象下载的源码按说明操作第一步拉数据就报 404或者返回的 JSON 字段名和代码里不一致。原因公开数据接口会改版、限流、甚至关闭爬虫目标网站改版会导致页面结构失效。这类问题在课程项目源码里极其常见原作者跑通之后几个月后链接就失效了。解决把数据获取和数据分析两段逻辑拆开。数据获取脚本单独运行把结果保存为 CSV分析脚本只读 CSV不直接访问网络。这样即使接口完全失效已经落盘的数据还能支撑后续所有实验接口修复后只需要重新运行获取脚本。项目结构上就是两个独立文件一个叫 fetch_weather_data.py 只负责获取和保存另一个叫 analysis.py 只负责读取 weather_data.csv 并建模。5.5 环境依赖冲突requirements.txt里的版本打架现象按说明安装依赖后import 直接报错或者代码运行到某个方法时报“module has no attribute”。原因requirements.txt 里写的是宽松版本范围比如 pandas1.0或者干脆没锁版本。不同机器上解析到了不同版本pandas、sklearn、matplotlib 之间的 API 变化导致旧代码失效。解决创建独立的虚拟环境安装完依赖后记录当前环境的精确版本pip freeze requirements.txt这样生成的 requirements.txt 每一行都带完整版本号。注意在 Linux 和 Windows 上部分依赖的版本号可能不同不要强行跨平台共用同一个锁文件。如果你的项目要给别人跑还应单独加一个“数据获取说明”不然对方拿到源码却拿不到数据还是会卡在第一步。6. 从“能跑”做到“高分”四个进阶技巧与最终交付习惯评阅人最不想看到的是“我用了随机森林MAE 是 1.6℃”这种单点结论。做成线性回归、随机森林、梯度提升的对比表再单独计算温变剧烈日的子集误差信息量完全不同。这个小改动把项目从“调包跑通”变成“完成了实验对比”是成本最低的提分手段。随机森林还能顺带给出不确定性用每棵树的预测结果算标准差在图上画置信带。这比单条预测曲线更能体现你对预测问题的理解也是答辩时容易被追问、而多数人答不上来的点。import numpy as np, matplotlib.pyplot as plt preds np.stack([tree.predict(X_test) for tree in rf.estimators_]) pred_mean preds.mean(axis0) pred_std preds.std(axis0) plt.fill_between(test[date], pred_mean-2*pred_std, pred_mean2*pred_std, alpha0.2) plt.plot(test[date], y_test, label实际温度) plt.plot(test[date], pred_mean, label预测温度)这里是 2 倍标准差近似 95% 区间如果某些树过拟合区间会过宽需要先回看 4.2 节的调参结果。把这套逻辑做成 2x2 看板真实值对比、残差分布、特征重要性、未来 7 天预测用 plt.subplots(2, 2) 组织导出 300dpi 的图评阅人一眼能看懂项目在做什么。最后是项目结构的事。目录清晰、脚本职责单一、README 只写三件事数据从哪来、怎么复现实验、核心结论是什么。依赖文件用第 5 章的方式锁定版本。交出去之前我会在一台干净的机器上把整个流程重跑一遍确认不是只有自己电脑能运行。我自己就吃过亏以前交付项目时只给代码数据获取方式没写清楚评审想看效果得先自己找数据体验很差。从那以后做任何数据项目第一件事都是把“怎么拿到原始数据”写进 README这个习惯让项目在交付阶段的返工率低了很多。希望帮到你。本文还有配套的精品资源点击获取
简介基于Python机器学习实现的天气预测与可视化课程设计项目适用于计算机专业期末大作业、毕业设计及需要项目实战的Python学习者项目经导师审定与本地编译调试曾获评审98分难度适中可直接运行复现。资源共24个文件、压缩包1.43MB其中4个py脚本覆盖数据采集、数据处理、模型训练与主程序调用4个csv提供训练与验证数据集pkl为预训练模型文件12张jpg展示预测结果与可视化图表另有readme说明文档与天气网html爬虫页面结构完整清晰。已有124人学习下载。读者可获得从数据获取、特征处理、模型构建到结果可视化的完整闭环快速理解机器学习项目开发流程并参考代码注释规范、模块划分与调参思路用于自己的课程设计或答辩演示。1. 标称完整源码的天气预测项目能跑起来只是及格线很多做课题设计或想给简历加项目的同学都下载过那种“百分之百能跑”的天气预测源码包。解压、装依赖、一运行第一关就卡住一半人要么数据接口返回空值要么中文图表全变成方块要么训练集里混进了未来数据导致准确率高得离谱。这个标题真正的意思是用 Python 机器学习和数据可视化做天气预测完整链路包括数据获取、清洗、特征设计、模型训练、评估和可视化模型本身反而是最简单的一环。下面的内容按我落地类似任务时的实际顺序把这套链路拆开讲清楚每一步给你能直接改着跑的代码、参数怎么调以及最容易翻车的地方。适合想拿这个方向做课程设计、课题结题或简历项目的人照着复现。2. 先想清楚再动手模型选型与特征设计决定项目上限2.1 天气预测是回归问题先定目标再选算法天气预测听起来范围很大但落到代码上第一步要回答的问题不是“用哪个模型”而是“预测什么”。一个可落地的天气预测项目最常见的任务是基于过去 N 天的气象观测数据预测明天的最高气温和最低气温。之所以选这两个目标是因为它们是连续数值能量化评估而且公开气象数据基本都包含这两个字段。把目标定为“明天最高温/最低温”问题就从一个宏大的“预测天气”收敛到一个标准的回归任务。有了这个定位模型选择才不会跑偏。选模型之前先明确自己的数据量。如果拿到的是一个城市近几年的日度气象数据大约两三千到五六千条这个量级下最适合的模型是随机森林和梯度提升。它们对特征缩放不敏感能处理非线性关系并且能给出特征重要性方便在报告里解释。线性回归适合做第一版基线和流程验证但不是最终的主力模型。LSTM 在这个数据量下几乎没有优势训练时间长、调参复杂而且很容易因为数据不足而欠拟合或过拟合。模型适合场景所需数据量可解释性主要踩坑点线性回归基线、特征线性相关强数百条以上即可高对异常值敏感无法处理强非线性随机森林中小型表格数据特征有交互数千条较优中默认参数下容易过拟合梯度提升中小型表格数据精度要求高数千条以上中学习率和树数量要配合调LSTM长序列、明显时序依赖建议数万条以上低训练慢、可解释性差、调参成本高选择模型时还有一条重要的隐性标准答辩或评审时能不能自圆其说。随机森林的“多棵树投票”和特征重要性解释起来清晰LSTM 一展开就涉及序列建模、梯度消失等话题如果不是特别在行容易把简单项目讲复杂。基于这个判断我的建议是主体模型用随机森林再用梯度提升做对照给出一张模型对比表这比单独跑一个复杂模型更能体现工程意识。2.2 特征设计比算法更值钱滞后项、气象要素与时间特征特征设计是这个项目里真正拉开差距的地方。第一次做的人容易把所有气象列直接丢给模型最后发现效果很差真正有用的是三批特征的组合。第一批是滞后特征。气温变化有惯性昨天的温度是预测明天温度的最强信号。用 pandas 生成滞后特征非常直接但要注意必须先排序再 shiftimport pandas as pd df[date] pd.to_datetime(df[date]) df df.sort_values(date) # 时间序列必须先按时间排序 df[temp_lag1] df[temp_max].shift(1) # 前一天最高温 df[temp_lag2] df[temp_max].shift(2) # 前两天最高温 df[humidity_lag1] df[humidity].shift(1) # 前一天湿度 df df.dropna().reset_index(dropTrue) # 删除因滞后产生的空行这段代码是整个特征工程里最容易出错的地方。shift(1) 把整列向下移动一行第 t 行的 temp_lag1 就是第 t-1 天的最高温这样模型在第 t 天做预测时手头的信息只有“昨天及以前”不会看到当天数据。如果忘了 sort_values数据顺序是乱的滞后特征就完全错位模型学到的全是噪声。dropna 这一步也很关键因为前两行没有完整的历史数据留着 NaN 会让部分模型直接报错或忽略整行。第二批是气象要素特征包括气压、湿度、风速、云量、能见度和当日降水量。这些字段在序列预测中不是平等重要的湿度与气温变化的交互作用比较强气压对天气系统转换有指示作用。第三批是时间特征包括月份、季节、一年中的第几天、是否节假日。时间特征帮助模型理解季节周期比如同样温度下5 月和 10 月的后续变化趋势不同。特征选择有个容易被忽视的原则预测 t 时刻的目标特征里只能用 t 时刻之前能确定的数据尤其不能用“当天的实际观测值”去预测当天的温度这在做课题项目时非常常见属于特征泄漏。判断方法很简单把特征列表给一个不了解项目的人看如果某一个特征只有“当天结束后”才能拿到它就不能出现在模型里。特征之间如果存在强共线性比如湿度和降水量高度相关会导致线性回归系数不稳定但对树模型影响不大。所以我在实践中会先画一个相关性热力图观察特征与目标的关系再用随机森林的 feature_importances_ 确认哪些特征真正起作用。这两步放在第 4 章的模型评估里讲先记住结论滞后项往往占据重要性前两名这是正常现象但如果前五名全是滞后项说明模型在依赖“惯性”而不是理解天气系统后面避坑章会专门讲这个问题。3. 数据获取与预处理先拿到干净的时间序列3.1 数据源取舍公开接口、历史数据与爬虫的边界拿数据是这个项目里最现实的问题。有两条常见路线一是用公开天气接口实时拉取历史数据二是从气象数据网站上直接下载历史数据集。前者适合做数据更新方便的 Demo后者适合先把数据落盘、反复实验。我的建议是优先选择能批量下载的数据集把数据保存成 CSV后续所有实验都从 CSV 读取而不是每次跑模型都请求一次接口。注意数据落盘不是可选项而是数据类项目的保命习惯。接口失效时你会感谢当初存了 CSV。网络请求是有失败率、限流和格式变化风险的。如果代码里每次运行都重新拉数据一旦接口字段调整整个项目就崩了把数据固化到本地数据分析部分不受网络影响接口问题只影响数据更新这一个环节排查范围小很多。以下是拉取数据的示意脚本import requests import pandas as pd # 以某公开天气平台为例url 和字段名按实际接口调整 url https://api.example.com/v1/historical params { city: CityName, start: 2020-01-01, end: 2023-12-31, unit: metric, key: your_api_key } resp requests.get(url, paramsparams, timeout30) resp.raise_for_status() # 状态码非 200 时直接抛异常,方便快速定位 data resp.json() df pd.DataFrame(data[daily]) df[date] pd.to_datetime(df[date]) df.to_csv(weather_data.csv, indexFalse)逻辑说明requests 用 params 传参避免手动拼接 URLtimeout30 防止接口卡死导致程序长时间无响应raise_for_status() 会在接口返回 4xx/5xx 时直接报错否则你拿到的可能是一段错误提示文本解析时会一脸懵。响应结构 data[daily] 是示意实际以平台文档为准。拿到原始数据后的第一件事不是建模而是确认时间范围和缺失情况。用 Python 探查时我会先打印 head()、tail()、info() 和 describe()对数据的日期连续性有个整体感觉。如果时间跨度只有两三个月做日度预测的数据量偏少模型效果不会太好。常见的数据字段建议整理成下面这样的格式字段名含义类型示例date日期字符串/日期2024-05-01temp_max当日最高温浮点26.5temp_min当日最低温浮点14.2humidity日均相对湿度浮点68.0pressure日均气压浮点1008.3wind_speed日均风速浮点12.6weather_condition天气现象描述字符串多云转晴3.2 数据清洗与时间索引缺失值、异常值、时区对齐清洗目标是把数据整理成“按日期排序、无缺失、无异常”的规范 DataFrame。常见的脏数据有三类日期没有解析成 datetime 类型某些字段存在 NaN个别记录异常偏离正常范围。下面是一个能直接用的清洗脚本import pandas as pd df pd.read_csv(weather_data.csv) df[date] pd.to_datetime(df[date]) # 日期标准化 df df.sort_values(date).reset_index(dropTrue) # 数值列缺失值用线性插值极端情况用前向填充兜底 num_cols [temp_max, temp_min, humidity, pressure, wind_speed] df[num_cols] df[num_cols].interpolate(methodlinear, limit_directionboth) # 异常值检测以三倍标准差为界超过则用中位数替换 for col in num_cols: mean df[col].mean() std df[col].std() df.loc[df[col] mean 3 * std, col] mean df.loc[df[col] mean - 3 * std, col] mean # 按日去重防止同一个日期出现多条记录 df df.drop_duplicates(subsetdate, keeplast) print(df.isna().sum()) print(df.shape)逻辑说明interpolate 是线性插值对气温这种连续变化的值比较自然limit_directionboth 保证序列开头和结尾的缺失也能被填充。异常值用“均值±3倍标准差”识别这是处理气象数据时比较常用的启发式规则比用 IQR 更简单直接代价是对极端天气比如罕见寒潮也会误伤所以用均值替换。去重用 keeplast如果数据源存在同日多次更新保留最后一条通常是最完整的那条。参数说明interpolate 的 method 参数可以换成 time要求索引是 datetime 类型按时间间隔插值更准确但对索引的规范性要求更高标准差阈值 3 不是固定的数据波动大的地区可以放宽到 4。注意这些清洗操作要保留一份原始数据备份后面如果发现处理逻辑有误还能回退。清洗后还需要做一件容易被忽略的事检查日期是否连续。用pd.date_range(startdf[date].min(), enddf[date].max(), freqD)生成完整日期序列与原数据做差集找出缺了哪几天。缺得少可以插值缺得多说明数据源本身不完整要在报告里如实说明否则评审时会暴露。3.3 训练测试划分时间序列不能随机打散普通机器学习项目用 train_test_split 随机划分没问题但时间序列预测不行。如果训练集里混有测试集时期的样本模型会“偷看”到未来信息评估结果虚高。时间序列的标准做法是按时间点切分前 80% 做训练后 20% 做测试中间留出一个 gap避免紧挨着的数据因为滞后特征产生信息关联。from sklearn.model_selection import TimeSeriesSplit split_point int(len(df) * 0.8) train df.iloc[:split_point].copy() test df.iloc[split_point:].copy() # 如果要交叉验证用TimeSeriesSplit而不是KFold tscv TimeSeriesSplit(n_splits5, gap7) for train_index, val_index in tscv.split(train): train_fold train.iloc[train_index] val_fold train.iloc[val_index] # 每个fold都用这个逻辑做训练和验证逻辑说明手动按 8:2 切分适合最终评估TimeSeriesSplit 适合训练过程中的参数调优。gap7 表示训练折与验证折之间留 7 天的间隔。如果没有 gap训练折最后一天的滞后特征可能会引用到验证折的数据造成信息泄漏因为滞后特征是用全量数据生成的。参数说明n_splits 表示切几折样本量少时设 3 即可数据量大可以设 5gap 的单位是样本间距日度数据就是 7 天通常设为最大滞后阶数或更大。最重要的一条滞后特征必须在每个折内部单独生成不能在全量数据上先生成好再切分否则模型在验证折上会用到训练折未来时刻的信息。我的做法是写一个函数输入原始 DataFrame输出“已按时间切分且滞后特征是折内生成的”训练和验证集。这个函数复用性高后面换数据、换模型都走同一个入口。4. 模型训练与评估从线性回归到随机森林的落地代码4.1 基线模型线性回归先把全流程跑通数据准备好之后第一件事不是直接上随机森林而是先用线性回归把整个训练、预测、评估的闭环跑通。这样做有三个好处验证特征管道没有 bug得到一个最基础的分数给后续更复杂的模型设置对比基准。线性回归在特征和温度的关系基本线性时效果其实不差尤其在气温变化平稳的季节。from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score import numpy as np feature_cols [temp_lag1, temp_lag2, humidity, pressure, wind_speed, month] X_train train[feature_cols].values y_train train[temp_max].values X_test test[feature_cols].values y_test test[temp_max].values lr LinearRegression() lr.fit(X_train, y_train) y_pred_lr lr.predict(X_test) mae mean_absolute_error(y_test, y_pred_lr) rmse np.sqrt(mean_squared_error(y_test, y_pred_lr)) r2 r2_score(y_test, y_pred_lr) print(fLinearRegression MAE{mae:.2f} RMSE{rmse:.2f} R2{r2:.2f})逻辑说明这里特征选了滞后温度、湿度、气压、风速和月份。注意没有把“当天的天气类型”放进去因为预测日当天还没到来。y_train 是 temp_max即最高气温。用这个最小的闭环先确认数据管道和评估代码都正常再考虑更复杂的模型。参数说明LinearRegression 的 fit_intercept 默认 True一般不用改normalize 参数在新版本里已经废弃不要设置了。如果发现 MAE 在 2℃以上先别急着调模型优先检查特征和清洗逻辑很多时候是滞后特征没生成对。4.2 升级模型随机森林的默认参数与调参方向随机森林是天气预测项目的实用主力。它对异常值和特征量纲不敏感不需要做标准化而且能输出特征重要性对报告很友好。先用默认参数跑一次再调三个参数n_estimators、max_depth、min_samples_leaf。from sklearn.ensemble import RandomForestRegressor from sklearn.model_selection import GridSearchCV rf RandomForestRegressor(n_estimators300, random_state42, n_jobs-1) rf.fit(X_train, y_train) y_pred_rf rf.predict(X_test) print(fRF MAE{mean_absolute_error(y_test, y_pred_rf):.2f}) # 看特征重要性判断模型主要依赖哪些特征 for name, imp in zip(feature_cols, rf.feature_importances_): print(f{name}: {imp:.3f})参数说明n_estimators 是树的数量300 到 500 在这个数据量下够用再多收益很小且训练变慢random_state 固定随机种子保证结果可复现n_jobs-1 用满所有 CPU 核心。max_depth 默认 None 意味着树可以无限深在小数据上容易过拟合建议调参时限制在 10 到 30 之间。min_samples_leaf 控制在 5 到 20 之间让每片叶子至少有若干样本能明显提升泛化能力。调参不用手工一个个试。我用 GridSearchCV 跑一遍常见组合同时用 TimeSeriesSplit 做内部验证避免在同一个测试集上调参导致信息泄漏param_grid { max_depth: [10, 20, None], min_samples_leaf: [2, 5, 10], max_features: [sqrt, 0.5] } gs GridSearchCV( RandomForestRegressor(n_estimators300, random_state42, n_jobs-1), param_grid, scoringneg_mean_absolute_error, cvTimeSeriesSplit(n_splits3, gap7), n_jobs-1 ) gs.fit(X_train, y_train) print(gs.best_params_)逻辑说明scoring 用 neg_mean_absolute_error 表示用 MAE 作为选择标准负号是 sklearn 的约定越大越好。cv 用 TimeSeriesSplit 而不是 KFold这个细节决定了调参结果是否可靠如果用普通交叉验证时间序列信息会从训练折泄漏到验证折。best_params_ 里看到的参数组合可以直接应用到最终模型上。参数说明max_features 默认是 sqrt在特征数不多时可以让每次分裂随机选取特征子集降低树之间的相关性0.5 表示每次用一半特征需要特征数较多时才值得尝试。GridSearchCV 在天气数据上通常几分钟内跑完。调参这事说玄学也玄学但只要方向对大部分提升都来自 max_depth 和 min_samples_leaf 这两个约束而不是树的数量。4.3 结果评估MAE、RMSE、R²与模型对比评估指标的选择直接影响你对自己的判断。MAE 是平均绝对误差单位是℃最直观RMSE 对大误差更敏感能反映是否存在预测特别离谱的日子R² 表示模型解释了多少方差但时间序列场景下 R² 容易被滞后项抬高要结合 MAE 看。我的经验是日度最高温预测MAE 在 1.5℃以内算不错2℃左右是常规水平如果 MAE 超过 3℃先考虑数据问题而不是模型问题。results [] for name, y_pred in [(LinearRegression, y_pred_lr), (RandomForest, y_pred_rf)]: mae mean_absolute_error(y_test, y_pred) rmse np.sqrt(mean_squared_error(y_test, y_pred)) r2 r2_score(y_test, y_pred) results.append({model: name, MAE: round(mae, 2), RMSE: round(rmse, 2), R2: round(r2, 3)}) result_df pd.DataFrame(results) print(result_df)逻辑说明把多个模型的评估结果放在一个表格里对比这是报告里最能体现工程感的部分。单个模型的绝对分数意义有限模型之间的差距才是有效信息。如果随机森林与线性回归相比 MAE 提升小于 0.1℃那说明特征设计可能有问题线性关系已经接近上限换更复杂的模型收益也不会太大。补充一个常用检查残差分析。把预测值和真实值的差画出来如果残差有明显的趋势或自相关说明模型漏掉了某些时间特征。这个图放到第 6 章的可视化部分一起实现。5. 避坑指南天气预测项目最容易翻车的5个问题5.1 时间泄漏验证集里混进了未来数据现象训练时 R² 高达 0.95 以上测试集却完全不是那么回事或者两个模型对比时结果异常接近。原因最常见的是对全量数据做了标准化训练集和测试集共用了同一组均值和标准差测试集的信息从统计量里泄漏进了训练过程。另一种做法是先生成滞后特征再切分让验证集样本的滞后特征来自训练集时间段等于模型偷偷看到了“未来”。解决标准化之前先在原始数据上按时间切分再用训练集的统计量去 transform 测试集。滞后特征的生成逻辑也放进切分之后。代码层面的做法是from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 只对训练集fit X_test_scaled scaler.transform(X_test) # 测试集用同一组参数不重新fit需要注意的另一个点是如果你用了插值填充缺失值也必须在切分之后对测试集单独处理不能拿全量数据算出的插值结果去填测试集。5.2 延迟预测陷阱模型在“抄作业”而不是在预测现象预测曲线和真实曲线高度重合但整体向右偏移了差不多一天遇到气温骤变的日子预测明显滞后。原因temp_lag1 的特征重要性经常排到第一模型学到的最强规律就是“明天的温度约等于今天的温度”。这在平稳天气下分数好看但本质上是在抄昨天的值没有预测能力一旦遇到冷空气或热带气旋带来的剧烈降温模型就失效。解决不能直接删掉 lag1否则效果会大幅下降而是做两件事。第一把滞后项从 lag1 扩展到 lag2、lag3让模型能看到多一点的历史趋势第二加入气压、湿度、风速和天气状态等外部特征特别是气压的快速下降通常意味着天气系统改变。评估时不要只看整体 MAE单独挑出“温差超过 5℃的日子”计算这一子集的误差才能反映模型的真实水平。5.3 中文字体与地图组件可视化最常见翻车现场现象折线图的标题和坐标轴全是方框或者用了交互式地图组件之后图表区域空白。原因画图用的默认字体不支持中文需要切换到系统中文字体交互式地图组件默认从网络加载地图资源离线环境或者网络受限时只显示空白。解决在画图脚本开头统一设置字体这一步放在 import matplotlib 之后立即执行import matplotlib.pyplot as plt import matplotlib matplotlib.rcParams[font.sans-serif] [SimHei] # Windows自带黑体 matplotlib.rcParams[axes.unicode_minus] False # 解决负号显示成方块这两个 rcParams 几乎能解决所有中文乱码问题。字体名按操作系统选择Windows 用 SimHeiLinux 系统用 Noto Sans CJK SC需要确认是否安装了中文字体包。如果系统里没有中文字体我会从项目目录下加载一个本地字体文件用 font_manager.addfont 注册这个方法在离线服务器上最可靠。5.4 数据源失效与格式漂移源码跑不起来的第一大原因现象下载的源码按说明操作第一步拉数据就报 404或者返回的 JSON 字段名和代码里不一致。原因公开数据接口会改版、限流、甚至关闭爬虫目标网站改版会导致页面结构失效。这类问题在课程项目源码里极其常见原作者跑通之后几个月后链接就失效了。解决把数据获取和数据分析两段逻辑拆开。数据获取脚本单独运行把结果保存为 CSV分析脚本只读 CSV不直接访问网络。这样即使接口完全失效已经落盘的数据还能支撑后续所有实验接口修复后只需要重新运行获取脚本。项目结构上就是两个独立文件一个叫 fetch_weather_data.py 只负责获取和保存另一个叫 analysis.py 只负责读取 weather_data.csv 并建模。5.5 环境依赖冲突requirements.txt里的版本打架现象按说明安装依赖后import 直接报错或者代码运行到某个方法时报“module has no attribute”。原因requirements.txt 里写的是宽松版本范围比如 pandas1.0或者干脆没锁版本。不同机器上解析到了不同版本pandas、sklearn、matplotlib 之间的 API 变化导致旧代码失效。解决创建独立的虚拟环境安装完依赖后记录当前环境的精确版本pip freeze requirements.txt这样生成的 requirements.txt 每一行都带完整版本号。注意在 Linux 和 Windows 上部分依赖的版本号可能不同不要强行跨平台共用同一个锁文件。如果你的项目要给别人跑还应单独加一个“数据获取说明”不然对方拿到源码却拿不到数据还是会卡在第一步。6. 从“能跑”做到“高分”四个进阶技巧与最终交付习惯评阅人最不想看到的是“我用了随机森林MAE 是 1.6℃”这种单点结论。做成线性回归、随机森林、梯度提升的对比表再单独计算温变剧烈日的子集误差信息量完全不同。这个小改动把项目从“调包跑通”变成“完成了实验对比”是成本最低的提分手段。随机森林还能顺带给出不确定性用每棵树的预测结果算标准差在图上画置信带。这比单条预测曲线更能体现你对预测问题的理解也是答辩时容易被追问、而多数人答不上来的点。import numpy as np, matplotlib.pyplot as plt preds np.stack([tree.predict(X_test) for tree in rf.estimators_]) pred_mean preds.mean(axis0) pred_std preds.std(axis0) plt.fill_between(test[date], pred_mean-2*pred_std, pred_mean2*pred_std, alpha0.2) plt.plot(test[date], y_test, label实际温度) plt.plot(test[date], pred_mean, label预测温度)这里是 2 倍标准差近似 95% 区间如果某些树过拟合区间会过宽需要先回看 4.2 节的调参结果。把这套逻辑做成 2x2 看板真实值对比、残差分布、特征重要性、未来 7 天预测用 plt.subplots(2, 2) 组织导出 300dpi 的图评阅人一眼能看懂项目在做什么。最后是项目结构的事。目录清晰、脚本职责单一、README 只写三件事数据从哪来、怎么复现实验、核心结论是什么。依赖文件用第 5 章的方式锁定版本。交出去之前我会在一台干净的机器上把整个流程重跑一遍确认不是只有自己电脑能运行。我自己就吃过亏以前交付项目时只给代码数据获取方式没写清楚评审想看效果得先自己找数据体验很差。从那以后做任何数据项目第一件事都是把“怎么拿到原始数据”写进 README这个习惯让项目在交付阶段的返工率低了很多。希望帮到你。本文还有配套的精品资源点击获取
