简介这份资源面向具备一定Python基础、希望系统实践深度学习回归与序列建模的学习者围绕神经网络在连续变量预测中的应用展开涵盖全连接网络、循环神经网络及LSTM等模型在时间序列预测、股票与汇率走势预测、气候变化预测等场景下的实现思路。压缩包共26个文件约1006KB包含12个py脚本、6个ipynb交互式笔记、6个csv数据集以及md说明与xml配置脚本侧重模型定义与训练流程笔记便于边看边跑数据集可直接用于实验验证。资源已有278人学习下载内容覆盖数据预处理、网络结构设计、优化器与损失函数选择、早停与验证策略、均方误差等评估指标并配有训练曲线与预测结果可视化可帮助读者理解梯度下降、学习率调整与过拟合控制等关键环节为后续研究更复杂的序列模型打下基础。1. 从一份 Python 深度学习回归代码包说起它到底能解决什么问题很多人第一次拿到Deep-Learning-in-Python-master这类代码包时会下意识把它当成又一份“跑完就忘”的教程。但如果你正在做的是回归任务——比如预测房价、设备剩余寿命、传感器读数、销量曲线——你会发现分类那一套 softmax、交叉熵、accuracy 根本套不上。这个标题里的关键词是“深度学习回归”和“Python”它指向的是一类非常具体的工作用 Python 搭建前馈神经网络、CNN、甚至带物理约束的网络去拟合连续值输出。它适合两类人一类是刚学完python入门、装好环境、想找一个能真正跑通的回归项目练手的新手另一类是做传统机器学习随机森林回归、XGBoost 回归、LightGBM 回归已经遇到瓶颈想看看神经网络在非线性、高维、小样本仿真数据上能不能再挤出几个点误差的从业者。核心不是“深度学习”这四个字有多玄学而是回归任务的损失函数、输出层设计、归一化方式跟分类完全不同踩错一个就训练不收敛。这一章先把边界划清楚后面几章再一层层拆开。2. 回归任务为什么不能照搬分类网络输出层、损失与归一化的三处硬改2.1 输出层从 softmax 换成线性层别再加激活分类网络的最后一层通常是Dense(n_classes, activationsoftmax)输出的是概率分布。回归任务要的是一个连续标量或向量所以最后一层必须是纯线性层不能带任何激活函数。常见做法是from tensorflow.keras import layers, models model models.Sequential([ layers.Dense(128, activationrelu, input_shape(n_features,)), layers.Dense(64, activationrelu), layers.Dense(1) # 回归输出线性激活不加 softmax/sigmoid ])逻辑说明前两层负责非线性特征提取最后一层只做线性组合。如果手滑写成activationsigmoid输出会被压到 0~1预测房价或温度时直接翻车。参数说明input_shape必须等于特征列数中间层神经元数量不是越多越好小样本仿真数据上 64~128 往往比 512 更稳。2.2 损失函数选 MSE 还是 MAE取决于你对离群点的容忍度回归最常用的损失是均方误差MSE和平均绝对误差MAE。MSE 对大误差惩罚更重适合数据干净、离群点少的场景MAE 更鲁棒但梯度在零点不平滑。实际项目里我一般先用 MSE 跑基线如果发现验证集误差被少数几个异常样本拉爆再换 Huber 损失。model.compile( optimizeradam, lossmse, # 也可换 mae 或 tf.keras.losses.Huber() metrics[mae] # 监控指标和损失分开方便对比 )逻辑说明loss决定梯度方向metrics只是给人看的。参数说明学习率先用 Adam 默认的 1e-3如果 loss 震荡降到 1e-4 再试。注意回归任务不要用accuracy当指标它会把连续值四舍五入后算对错毫无意义。2.3 输入和输出都要归一化但方式不同输入特征归一化是常识但回归任务的输出目标也经常需要标准化。尤其是目标值跨度大比如 0~10000时不缩放会导致梯度爆炸。常见做法是用StandardScaler对 X 和 y 分别拟合from sklearn.preprocessing import StandardScaler x_scaler StandardScaler().fit(X_train) y_scaler StandardScaler().fit(y_train.reshape(-1, 1)) X_train_s x_scaler.transform(X_train) y_train_s y_scaler.fit_transform(y_train.reshape(-1, 1))逻辑说明训练集拟合验证集和测试集只做 transform防止数据泄漏。参数说明如果目标值有物理下限如剩余寿命不能为负标准化后预测完记得用y_scaler.inverse_transform还原再截断到合理区间。3. 用 Keras 搭一个可复现的回归基线从 CSV 到预测曲线的完整命令3.1 数据读取与训练集验证集切分的固定随机种子任何回归项目的第一步都是把数据切干净。我习惯用train_test_split固定random_state保证每次跑结果可复现import pandas as pd import numpy as np from sklearn.model_selection import train_test_split df pd.read_csv(data/regression_data.csv) X df.drop(columns[target]).values y df[target].values X_train, X_temp, y_train, y_temp train_test_split( X, y, test_size0.3, random_state42 ) X_val, X_test, y_val, y_test train_test_split( X_temp, y_temp, test_size0.5, random_state42 )逻辑说明先切 70% 训练剩下 30% 再对半分成验证和测试。参数说明random_state一旦固定就不要改否则对比模型时没有意义。如果数据量小于 1000 条建议用 K 折交叉验证代替单次切分。3.2 构建前馈神经网络并打印结构确认参数量搭网络之前先想清楚输入维度。假设有 13 个特征网络可以这样写import tensorflow as tf from tensorflow.keras import layers, models, callbacks tf.random.set_seed(42) model models.Sequential([ layers.Dense(64, activationrelu, input_shape(X_train.shape[1],)), layers.Dropout(0.2), layers.Dense(32, activationrelu), layers.Dense(1) ]) model.compile(optimizertf.keras.optimizers.Adam(1e-3), lossmse, metrics[mae]) model.summary()逻辑说明Dropout(0.2)在小样本上能压住过拟合model.summary()用来确认参数量和层连接是否正确。参数说明如果特征数超过 100第一层可以加到 128 或 256如果训练 loss 远低于验证 loss先把 Dropout 提到 0.3~0.5。3.3 早停与学习率衰减两个回调让训练少走弯路回归训练最容易出现的情况是验证 loss 先降后升。加两个回调基本能解决early_stop callbacks.EarlyStopping( monitorval_loss, patience20, restore_best_weightsTrue ) reduce_lr callbacks.ReduceLROnPlateau( monitorval_loss, factor0.5, patience10, min_lr1e-6 ) history model.fit( X_train_s, y_train_s, validation_data(X_val_s, y_val_s), epochs500, batch_size32, callbacks[early_stop, reduce_lr], verbose1 )逻辑说明EarlyStopping在验证 loss 连续 20 轮不降时停止并回滚最优权重ReduceLROnPlateau在 10 轮不降后把学习率减半。参数说明patience不要设太小回归任务收敛比分类慢batch_size在几百条数据上用 16 或 32 都行数据量大再往上加。3.4 预测结果反归一化并画对比曲线训练完必须把预测值还原到原始量纲否则你没法判断误差到底能不能接受import matplotlib.pyplot as plt y_pred_s model.predict(X_test_s) y_pred y_scaler.inverse_transform(y_pred_s) y_true y_test.reshape(-1, 1) plt.figure(figsize(8, 5)) plt.plot(y_true[:100], labeltrue) plt.plot(y_pred[:100], labelpred) plt.legend() plt.title(Regression Prediction vs True) plt.show()逻辑说明只取前 100 个点是为了图不糊如果预测曲线整体平移说明输出层偏置没学好可以多训几轮或检查归一化。参数说明inverse_transform的输入必须是二维数组所以前面reshape(-1, 1)不能省。4. 避坑与排查回归网络训练不收敛时先查这 5 个地方4.1 现象loss 一直是 nan原因输入里有缺失值或无穷大解决先清洗再归一化这是血泪经验里最常见的一条。CSV 里一个空单元格或inf经过标准化后会把整个 batch 的梯度带飞。排查命令print(np.isnan(X_train).sum(), np.isinf(X_train).sum())发现后要么删行要么用中位数填充。注意填充要在切分训练集之前做否则验证集信息会泄漏。4.2 现象训练 loss 降但验证 loss 飙升原因过拟合解决加 Dropout、减层、加 L2小样本仿真数据上尤其明显。先加Dropout(0.3)再把第二层神经元从 64 降到 32。如果还不行在 Dense 层加kernel_regularizertf.keras.regularizers.l2(1e-4)。别一上来就堆数据增强回归任务的数据增强不像图像那么直观。4.3 现象预测值全部接近均值原因学习率太小或输出没归一化解决检查 y 的分布如果模型输出几乎是一条水平线先看y_train.std()。如果标准差很大但预测全挤在中间说明网络没学到东西。把学习率从 1e-4 提到 1e-3或者确认y_scaler是否真的用在了训练集上。很多人只归一化了 X忘了 y。4.4 现象验证集 MAE 比测试集 MAE 小很多原因验证集被反复用于调参解决测试集只用一次这是方法论层面的坑。如果你用验证集调了 20 次超参数它已经变相成了训练集的一部分。正确做法是训练和早停用验证集最终报告指标只用测试集且测试集在调参阶段绝对不能看。4.5 现象换随机种子结果波动大原因数据量太小或初始化敏感解决跑 5 次取平均小样本回归任务上单次结果没有代表性。我一般固定数据切分换 5 个tf.random.set_seed跑 5 次报告 MAE 的均值和标准差。如果标准差超过均值的 20%说明模型不稳定优先考虑简化网络或换高斯过程回归这类更适合小样本的模型。5. 把物理先验塞进网络PINN 思路在回归任务里的一个轻量用法5.1 为什么纯数据驱动回归在仿真数据上容易外推翻车仿真数据往往覆盖的工况有限纯前馈网络在训练区间内插值还行一旦外推到边界外就完全失控。这时候可以借鉴 PINN物理信息神经网络的思路不一定要完整实现偏微分方程约束而是把已知的单调性、上下限、对称性作为软约束加到损失里。比如预测设备剩余寿命已知它随时间单调递减就可以在损失函数里加一项惩罚违反单调性的预测。import tensorflow as tf def custom_loss(y_true, y_pred): mse tf.reduce_mean(tf.square(y_true - y_pred)) # 假设 y_pred 是按时间排序的惩罚非单调 diff y_pred[1:] - y_pred[:-1] monotonic_penalty tf.reduce_mean(tf.nn.relu(diff)) return mse 0.1 * monotonic_penalty逻辑说明tf.nn.relu(diff)只惩罚递增的部分如果预测递减则惩罚为 0。参数说明惩罚系数 0.1 需要根据数据量级调太大会压过 MSE 导致欠拟合。注意这个写法要求 batch 内样本按时间排序实际用的时候要么在数据加载阶段排好要么改成对相邻样本对计算。5.2 用自定义损失函数做边界约束的验证方法加完约束后怎么确认它真的起作用我一般做两组对比一组用纯 MSE一组用带惩罚的损失然后在训练集覆盖范围外的测试点上比较预测值是否越界。如果带约束的模型外推预测落在物理合理区间内说明先验确实起了作用。表格对比更直观模型测试集 MAE外推区越界次数纯 MSE0.4217MSE 单调惩罚0.453MAE 略升但越界次数大幅下降这在工程上往往是划算的。最后说一个我自己的习惯每次跑回归之前先把 y 的直方图打出来看一眼比盲目调网络结构有用得多。希望帮到你。本文还有配套的精品资源点击获取
简介这份资源面向具备一定Python基础、希望系统实践深度学习回归与序列建模的学习者围绕神经网络在连续变量预测中的应用展开涵盖全连接网络、循环神经网络及LSTM等模型在时间序列预测、股票与汇率走势预测、气候变化预测等场景下的实现思路。压缩包共26个文件约1006KB包含12个py脚本、6个ipynb交互式笔记、6个csv数据集以及md说明与xml配置脚本侧重模型定义与训练流程笔记便于边看边跑数据集可直接用于实验验证。资源已有278人学习下载内容覆盖数据预处理、网络结构设计、优化器与损失函数选择、早停与验证策略、均方误差等评估指标并配有训练曲线与预测结果可视化可帮助读者理解梯度下降、学习率调整与过拟合控制等关键环节为后续研究更复杂的序列模型打下基础。1. 从一份 Python 深度学习回归代码包说起它到底能解决什么问题很多人第一次拿到Deep-Learning-in-Python-master这类代码包时会下意识把它当成又一份“跑完就忘”的教程。但如果你正在做的是回归任务——比如预测房价、设备剩余寿命、传感器读数、销量曲线——你会发现分类那一套 softmax、交叉熵、accuracy 根本套不上。这个标题里的关键词是“深度学习回归”和“Python”它指向的是一类非常具体的工作用 Python 搭建前馈神经网络、CNN、甚至带物理约束的网络去拟合连续值输出。它适合两类人一类是刚学完python入门、装好环境、想找一个能真正跑通的回归项目练手的新手另一类是做传统机器学习随机森林回归、XGBoost 回归、LightGBM 回归已经遇到瓶颈想看看神经网络在非线性、高维、小样本仿真数据上能不能再挤出几个点误差的从业者。核心不是“深度学习”这四个字有多玄学而是回归任务的损失函数、输出层设计、归一化方式跟分类完全不同踩错一个就训练不收敛。这一章先把边界划清楚后面几章再一层层拆开。2. 回归任务为什么不能照搬分类网络输出层、损失与归一化的三处硬改2.1 输出层从 softmax 换成线性层别再加激活分类网络的最后一层通常是Dense(n_classes, activationsoftmax)输出的是概率分布。回归任务要的是一个连续标量或向量所以最后一层必须是纯线性层不能带任何激活函数。常见做法是from tensorflow.keras import layers, models model models.Sequential([ layers.Dense(128, activationrelu, input_shape(n_features,)), layers.Dense(64, activationrelu), layers.Dense(1) # 回归输出线性激活不加 softmax/sigmoid ])逻辑说明前两层负责非线性特征提取最后一层只做线性组合。如果手滑写成activationsigmoid输出会被压到 0~1预测房价或温度时直接翻车。参数说明input_shape必须等于特征列数中间层神经元数量不是越多越好小样本仿真数据上 64~128 往往比 512 更稳。2.2 损失函数选 MSE 还是 MAE取决于你对离群点的容忍度回归最常用的损失是均方误差MSE和平均绝对误差MAE。MSE 对大误差惩罚更重适合数据干净、离群点少的场景MAE 更鲁棒但梯度在零点不平滑。实际项目里我一般先用 MSE 跑基线如果发现验证集误差被少数几个异常样本拉爆再换 Huber 损失。model.compile( optimizeradam, lossmse, # 也可换 mae 或 tf.keras.losses.Huber() metrics[mae] # 监控指标和损失分开方便对比 )逻辑说明loss决定梯度方向metrics只是给人看的。参数说明学习率先用 Adam 默认的 1e-3如果 loss 震荡降到 1e-4 再试。注意回归任务不要用accuracy当指标它会把连续值四舍五入后算对错毫无意义。2.3 输入和输出都要归一化但方式不同输入特征归一化是常识但回归任务的输出目标也经常需要标准化。尤其是目标值跨度大比如 0~10000时不缩放会导致梯度爆炸。常见做法是用StandardScaler对 X 和 y 分别拟合from sklearn.preprocessing import StandardScaler x_scaler StandardScaler().fit(X_train) y_scaler StandardScaler().fit(y_train.reshape(-1, 1)) X_train_s x_scaler.transform(X_train) y_train_s y_scaler.fit_transform(y_train.reshape(-1, 1))逻辑说明训练集拟合验证集和测试集只做 transform防止数据泄漏。参数说明如果目标值有物理下限如剩余寿命不能为负标准化后预测完记得用y_scaler.inverse_transform还原再截断到合理区间。3. 用 Keras 搭一个可复现的回归基线从 CSV 到预测曲线的完整命令3.1 数据读取与训练集验证集切分的固定随机种子任何回归项目的第一步都是把数据切干净。我习惯用train_test_split固定random_state保证每次跑结果可复现import pandas as pd import numpy as np from sklearn.model_selection import train_test_split df pd.read_csv(data/regression_data.csv) X df.drop(columns[target]).values y df[target].values X_train, X_temp, y_train, y_temp train_test_split( X, y, test_size0.3, random_state42 ) X_val, X_test, y_val, y_test train_test_split( X_temp, y_temp, test_size0.5, random_state42 )逻辑说明先切 70% 训练剩下 30% 再对半分成验证和测试。参数说明random_state一旦固定就不要改否则对比模型时没有意义。如果数据量小于 1000 条建议用 K 折交叉验证代替单次切分。3.2 构建前馈神经网络并打印结构确认参数量搭网络之前先想清楚输入维度。假设有 13 个特征网络可以这样写import tensorflow as tf from tensorflow.keras import layers, models, callbacks tf.random.set_seed(42) model models.Sequential([ layers.Dense(64, activationrelu, input_shape(X_train.shape[1],)), layers.Dropout(0.2), layers.Dense(32, activationrelu), layers.Dense(1) ]) model.compile(optimizertf.keras.optimizers.Adam(1e-3), lossmse, metrics[mae]) model.summary()逻辑说明Dropout(0.2)在小样本上能压住过拟合model.summary()用来确认参数量和层连接是否正确。参数说明如果特征数超过 100第一层可以加到 128 或 256如果训练 loss 远低于验证 loss先把 Dropout 提到 0.3~0.5。3.3 早停与学习率衰减两个回调让训练少走弯路回归训练最容易出现的情况是验证 loss 先降后升。加两个回调基本能解决early_stop callbacks.EarlyStopping( monitorval_loss, patience20, restore_best_weightsTrue ) reduce_lr callbacks.ReduceLROnPlateau( monitorval_loss, factor0.5, patience10, min_lr1e-6 ) history model.fit( X_train_s, y_train_s, validation_data(X_val_s, y_val_s), epochs500, batch_size32, callbacks[early_stop, reduce_lr], verbose1 )逻辑说明EarlyStopping在验证 loss 连续 20 轮不降时停止并回滚最优权重ReduceLROnPlateau在 10 轮不降后把学习率减半。参数说明patience不要设太小回归任务收敛比分类慢batch_size在几百条数据上用 16 或 32 都行数据量大再往上加。3.4 预测结果反归一化并画对比曲线训练完必须把预测值还原到原始量纲否则你没法判断误差到底能不能接受import matplotlib.pyplot as plt y_pred_s model.predict(X_test_s) y_pred y_scaler.inverse_transform(y_pred_s) y_true y_test.reshape(-1, 1) plt.figure(figsize(8, 5)) plt.plot(y_true[:100], labeltrue) plt.plot(y_pred[:100], labelpred) plt.legend() plt.title(Regression Prediction vs True) plt.show()逻辑说明只取前 100 个点是为了图不糊如果预测曲线整体平移说明输出层偏置没学好可以多训几轮或检查归一化。参数说明inverse_transform的输入必须是二维数组所以前面reshape(-1, 1)不能省。4. 避坑与排查回归网络训练不收敛时先查这 5 个地方4.1 现象loss 一直是 nan原因输入里有缺失值或无穷大解决先清洗再归一化这是血泪经验里最常见的一条。CSV 里一个空单元格或inf经过标准化后会把整个 batch 的梯度带飞。排查命令print(np.isnan(X_train).sum(), np.isinf(X_train).sum())发现后要么删行要么用中位数填充。注意填充要在切分训练集之前做否则验证集信息会泄漏。4.2 现象训练 loss 降但验证 loss 飙升原因过拟合解决加 Dropout、减层、加 L2小样本仿真数据上尤其明显。先加Dropout(0.3)再把第二层神经元从 64 降到 32。如果还不行在 Dense 层加kernel_regularizertf.keras.regularizers.l2(1e-4)。别一上来就堆数据增强回归任务的数据增强不像图像那么直观。4.3 现象预测值全部接近均值原因学习率太小或输出没归一化解决检查 y 的分布如果模型输出几乎是一条水平线先看y_train.std()。如果标准差很大但预测全挤在中间说明网络没学到东西。把学习率从 1e-4 提到 1e-3或者确认y_scaler是否真的用在了训练集上。很多人只归一化了 X忘了 y。4.4 现象验证集 MAE 比测试集 MAE 小很多原因验证集被反复用于调参解决测试集只用一次这是方法论层面的坑。如果你用验证集调了 20 次超参数它已经变相成了训练集的一部分。正确做法是训练和早停用验证集最终报告指标只用测试集且测试集在调参阶段绝对不能看。4.5 现象换随机种子结果波动大原因数据量太小或初始化敏感解决跑 5 次取平均小样本回归任务上单次结果没有代表性。我一般固定数据切分换 5 个tf.random.set_seed跑 5 次报告 MAE 的均值和标准差。如果标准差超过均值的 20%说明模型不稳定优先考虑简化网络或换高斯过程回归这类更适合小样本的模型。5. 把物理先验塞进网络PINN 思路在回归任务里的一个轻量用法5.1 为什么纯数据驱动回归在仿真数据上容易外推翻车仿真数据往往覆盖的工况有限纯前馈网络在训练区间内插值还行一旦外推到边界外就完全失控。这时候可以借鉴 PINN物理信息神经网络的思路不一定要完整实现偏微分方程约束而是把已知的单调性、上下限、对称性作为软约束加到损失里。比如预测设备剩余寿命已知它随时间单调递减就可以在损失函数里加一项惩罚违反单调性的预测。import tensorflow as tf def custom_loss(y_true, y_pred): mse tf.reduce_mean(tf.square(y_true - y_pred)) # 假设 y_pred 是按时间排序的惩罚非单调 diff y_pred[1:] - y_pred[:-1] monotonic_penalty tf.reduce_mean(tf.nn.relu(diff)) return mse 0.1 * monotonic_penalty逻辑说明tf.nn.relu(diff)只惩罚递增的部分如果预测递减则惩罚为 0。参数说明惩罚系数 0.1 需要根据数据量级调太大会压过 MSE 导致欠拟合。注意这个写法要求 batch 内样本按时间排序实际用的时候要么在数据加载阶段排好要么改成对相邻样本对计算。5.2 用自定义损失函数做边界约束的验证方法加完约束后怎么确认它真的起作用我一般做两组对比一组用纯 MSE一组用带惩罚的损失然后在训练集覆盖范围外的测试点上比较预测值是否越界。如果带约束的模型外推预测落在物理合理区间内说明先验确实起了作用。表格对比更直观模型测试集 MAE外推区越界次数纯 MSE0.4217MSE 单调惩罚0.453MAE 略升但越界次数大幅下降这在工程上往往是划算的。最后说一个我自己的习惯每次跑回归之前先把 y 的直方图打出来看一眼比盲目调网络结构有用得多。希望帮到你。本文还有配套的精品资源点击获取
