简介这份资源面向机器学习入门者与需要完成回归预测实战的开发者围绕经典波士顿房价数据集用Python从零实现BP神经网络完成房价预测帮助读者理解前向传播、反向传播与权重更新的完整流程。压缩包共2个文件包含1个py脚本与1个csv数据文件整体约8KB其中csv提供14维特征与中位房价目标变量py脚本承载网络结构定义、训练与评估逻辑。资源已有21746人学习下载热度较高。代码以方差作为损失函数涵盖数据读取与预处理、隐藏层与输出层搭建、随机初始化权重、前向计算、梯度反向传播、多轮迭代训练以及基于MSE、R²等指标的测试集评估并支持输入新特征进行价格预测。读者可据此掌握回归类神经网络的实现细节与调参排错思路是深度学习预测任务的典型练手案例。1. 从一份房价预测 BP 神经网络 Python 代码说起它到底能跑出什么结果如果你手头有一份房价预测的 BP 神经网络 Python 代码第一反应大概率是这玩意儿跑出来到底靠不靠谱我拿它跟线性回归比过同一份数据线性回归 R² 0.72BP 网络调到 0.89但代价是训练时间从 0.3 秒变成 40 秒而且换一批数据可能直接崩到 0.5。这就是回归预测里最典型的翻车现场——不是网络不行是你没搞清它什么时候行。这份资源解决的就是「用 BP 神经网络做房价回归预测」这件事从数据预处理、网络搭建、训练调参到预测输出一整套 Python 代码。适合两类人一是刚学完神经网络理论、想找个完整回归项目练手的二是手头有结构化数据、想试试非线性模型能不能比线性回归多榨出几个点精度的。不适合指望拿来即用、不做特征工程就想上生产的人。2. BP 神经网络做回归预测为什么选它、什么时候别选2.1 回归预测和分类预测的本质区别很多人第一次用 BP 网络做回归直接把分类那套搬过来最后一层用 softmax损失函数用交叉熵结果 loss 死活不降。回归和分类在神经网络里的区别就三件事输出层神经元个数、激活函数、损失函数。分类是输出类别概率最后一层神经元数等于类别数激活用 softmax损失用交叉熵。回归是输出连续值最后一层神经元数等于你要预测的目标维度——房价预测就是 1 个激活函数通常不加线性输出损失用 MSE 或 MAE。代码里如果看到最后一层是Dense(1, activationlinear)加lossmse说明作者搞清楚了这件事。如果看到activationsoftmax直接改掉别犹豫。2.2 为什么房价预测适合 BP 网络而不是线性回归房价和特征之间的关系很少是纯线性的。面积对价格的影响可能是分段线性的——小面积段每平米单价高大面积段单价反而降房龄对价格的影响可能是指数衰减的地段这个变量跟价格的交互效应更复杂。线性回归只能拟合一个超平面BP 网络通过隐藏层和激活函数可以拟合任意连续函数。但这里有个前提你的数据量得够。BP 网络的参数量远大于线性回归数据少了直接过拟合。我一般会先跑一遍线性回归看 baseline如果线性回归 R² 已经 0.85 以上BP 网络提升空间有限不值得上。如果线性回归只有 0.6 左右说明非线性关系明显BP 网络值得试。2.3 网络结构怎么定层数、神经元数、激活函数这份代码里网络结构是典型的「输入层 → 隐藏层 → 输出层」。隐藏层用了几层、每层多少神经元直接决定模型容量。我的经验规则输入特征 n 个第一隐藏层神经元数取 2n 到 4n 之间第二隐藏层取第一层的一半左右。比如 13 个特征第一层 32 或 64第二层 16 或 32。层数超过 3 层隐藏层在表格数据上基本不会带来提升反而增加训练难度。激活函数方面隐藏层用 ReLU 是默认选择收敛快、计算简单。但如果你的输入特征没有做标准化ReLU 可能导致大量神经元死亡。这种情况下 tanh 更稳但收敛慢一些。代码里如果用的是 sigmoid建议换成 ReLU 或 tanh——sigmoid 在深层网络里梯度消失太严重。import torch import torch.nn as nn class HousePriceNet(nn.Module): def __init__(self, input_dim): super().__init__() # 输入层 - 隐藏层1 - 隐藏层2 - 输出层 self.net nn.Sequential( nn.Linear(input_dim, 64), # 第一隐藏层64个神经元 nn.ReLU(), # 激活函数比sigmoid收敛快 nn.Linear(64, 32), # 第二隐藏层32个神经元 nn.ReLU(), nn.Linear(32, 1) # 输出层回归任务输出1个连续值 ) def forward(self, x): return self.net(x)这段代码定义了一个两层隐藏层的 BP 网络。input_dim是特征数量需要根据你的数据集调整。第一层 64 个神经元、第二层 32 个这是中等规模数据集的常用配置。输出层不加激活函数因为回归任务需要输出任意实数。如果你用的是 Keras对应写法是Sequential([Dense(64, activationrelu), Dense(32, activationrelu), Dense(1)])逻辑一样。3. 数据预处理标准化、缺失值、特征工程一个都不能少3.1 标准化为什么是必须的BP 网络对输入尺度敏感。房价数据里面积可能是 50-300房龄可能是 0-50房间数 1-5如果直接喂进去面积这个特征因为数值大梯度更新时占主导其他特征相当于被忽略了。标准化之后所有特征均值为 0、方差为 1梯度更新才均衡。常见做法是 Z-score 标准化(x - mean) / std。注意用训练集的 mean 和 std 去变换测试集不能各自算各自的否则数据泄露。from sklearn.preprocessing import StandardScaler import numpy as np # 假设 X_train, X_test 已经划分好 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 在训练集上拟合 X_test_scaled scaler.transform(X_test) # 用同样的参数变换测试集 # 目标值 y 是否标准化房价预测里建议也做 y_scaler StandardScaler() y_train_scaled y_scaler.fit_transform(y_train.reshape(-1, 1)).flatten() y_test_scaled y_scaler.transform(y_test.reshape(-1, 1)).flatten()这里有个容易翻车的点目标值 y 要不要标准化如果 y 的数值范围很大比如房价 100 万到 1000 万不标准化的话 MSE loss 会非常大梯度爆炸。我一般会把 y 也标准化预测完再反变换回去。y_scaler.inverse_transform()就是干这个的。3.2 缺失值和异常值怎么处理房价数据集里缺失值很常见。数值型特征用中位数填充比均值好因为房价数据往往有偏态均值容易被极端值拉偏。类别型特征用众数填充或者单独作为一个类别。异常值方面我一般用 IQR 方法先筛一遍低于 Q1-1.5IQR 或高于 Q31.5IQR 的标记出来。但不要直接删——有些高价房是真实存在的删了模型学不到高端市场的模式。我的做法是保留但做截断winsorize把极端值拉到 1% 和 99% 分位数上。import pandas as pd def handle_missing_and_outliers(df, num_cols): for col in num_cols: # 中位数填充缺失值 median_val df[col].median() df[col] df[col].fillna(median_val) # IQR截断异常值 Q1 df[col].quantile(0.01) Q3 df[col].quantile(0.99) df[col] df[col].clip(Q1, Q3) return df这段代码做了两件事中位数填充和分位数截断。quantile(0.01)和quantile(0.99)把最低 1% 和最高 1% 的值拉到边界上既保留了样本量又限制了极端值的影响。如果你的数据缺失率超过 30%填充可能引入太大偏差建议考虑删掉这个特征。3.3 特征工程比调网络结构更值得花时间在表格数据上特征工程带来的提升往往比调网络结构大。房价预测里几个常用的衍生特征房龄的倒数新房的溢价效应、面积乘以房间数交互特征、地段独热编码后的目标编码target encoding。目标编码要小心数据泄露。正确做法是在交叉验证的每一折内部计算目标均值而不是在全量数据上算完再分折。代码里如果直接df.groupby(location)[price].mean()然后映射那就是泄露了。# 正确的目标编码在训练集上计算映射到测试集 def target_encode(train_df, test_df, cat_col, target_col, smooth10): # 计算全局均值 global_mean train_df[target_col].mean() # 计算每个类别的均值和样本数 agg train_df.groupby(cat_col)[target_col].agg([mean, count]) # 平滑处理样本少的类别向全局均值靠拢 agg[encoded] (agg[mean] * agg[count] global_mean * smooth) / (agg[count] smooth) # 映射 train_df[cat_col _encoded] train_df[cat_col].map(agg[encoded]) test_df[cat_col _encoded] test_df[cat_col].map(agg[encoded]) # 测试集里出现训练集没有的类别用全局均值填充 test_df[cat_col _encoded] test_df[cat_col _encoded].fillna(global_mean) return train_df, test_dfsmooth参数控制平滑强度样本数少的类别会被拉向全局均值避免过拟合。这个函数在训练集上计算编码然后映射到测试集没有数据泄露。测试集里如果出现了训练集没有的地段用全局均值兜底。4. 训练、调参与评估把 R² 从 0.7 推到 0.9 的实操细节4.1 损失函数、优化器和学习率的搭配回归任务默认用 MSE但 MSE 对异常值敏感。如果你的数据里高价房样本少但偏差大MSE 会被这些样本主导。这时候可以换 Huber Loss 或 Smooth L1 Loss它们在误差大时梯度不会爆炸。优化器方面Adam 是默认选择学习率 1e-3 起步。如果训练 loss 震荡不降降到 1e-4如果降得太慢升到 3e-3 试试。SGD 加 momentum 在某些数据上泛化更好但需要更仔细地调学习率。import torch.optim as optim model HousePriceNet(input_dimX_train_scaled.shape[1]) criterion nn.MSELoss() # 回归任务标准损失 optimizer optim.Adam(model.parameters(), lr1e-3, weight_decay1e-5) # weight_decay防过拟合 # 学习率调度训练10轮后如果loss不降就减半 scheduler optim.lr_scheduler.ReduceLROnPlateau(optimizer, modemin, patience10, factor0.5)weight_decay1e-5是 L2 正则化防止权重过大导致过拟合。ReduceLROnPlateau在验证 loss 不降时自动降低学习率patience10 表示连续 10 轮不降才触发。这些参数不是固定的数据量小就把 weight_decay 调大数据量大就调小。4.2 早停和交叉验证别等 loss 降到最低才停BP 网络训练最怕过拟合。训练 loss 一直降但验证 loss 开始升就是过拟合的信号。早停Early Stopping就是验证 loss 连续 N 轮不降就停取验证 loss 最低那轮的权重。best_val_loss float(inf) patience 20 counter 0 best_model_state None for epoch in range(500): model.train() optimizer.zero_grad() output model(X_train_tensor) loss criterion(output, y_train_tensor) loss.backward() optimizer.step() # 验证 model.eval() with torch.no_grad(): val_output model(X_val_tensor) val_loss criterion(val_output, y_val_tensor) scheduler.step(val_loss) # 早停逻辑 if val_loss best_val_loss: best_val_loss val_loss best_model_state model.state_dict().copy() counter 0 else: counter 1 if counter patience: print(fEarly stopping at epoch {epoch}) break model.load_state_dict(best_model_state) # 恢复最佳权重patience20表示验证 loss 连续 20 轮不降就停。best_model_state保存最佳权重最后恢复。这个逻辑比固定训练轮数靠谱得多——固定轮数要么欠拟合要么过拟合早停让模型自己决定什么时候停。4.3 评估指标R²、MAE、RMSE 各看什么R² 看模型解释了多大比例的方差越接近 1 越好。但 R² 对异常值敏感测试集里几个极端值就能把 R² 拉低很多。MAE 看平均绝对误差单位跟房价一样直观。RMSE 对大误差惩罚更重如果你更在意大偏差看 RMSE。我一般三个都看R² 判断模型整体拟合能力MAE 判断典型误差多大RMSE 判断有没有大的翻车预测。如果 RMSE 远大于 MAE说明存在少数预测偏差很大的样本需要检查这些样本的特征是不是异常。from sklearn.metrics import r2_score, mean_absolute_error, mean_squared_error model.eval() with torch.no_grad(): y_pred_scaled model(X_test_tensor).numpy().flatten() # 反标准化回到原始房价尺度 y_pred y_scaler.inverse_transform(y_pred_scaled.reshape(-1, 1)).flatten() y_true y_scaler.inverse_transform(y_test_scaled.reshape(-1, 1)).flatten() r2 r2_score(y_true, y_pred) mae mean_absolute_error(y_true, y_pred) rmse np.sqrt(mean_squared_error(y_true, y_pred)) print(fR²: {r2:.4f}, MAE: {mae:.2f}, RMSE: {rmse:.2f})反标准化这一步容易忘。如果训练时对 y 做了标准化预测完必须用y_scaler.inverse_transform变回去否则算出来的 MAE 和 RMSE 没有实际意义。5. 避坑与排查BP 回归预测最常见的五个翻车点5.1 loss 不降或变成 NaN现象训练几轮后 loss 变成 NaN或者一直停在初始值附近不降。原因学习率太大导致梯度爆炸或者输入数据没有标准化导致数值不稳定。解决先把学习率降到 1e-4 甚至 1e-5 试一轮。如果还不行检查输入数据有没有做标准化有没有 NaN 值混进去。PyTorch 里可以用torch.autograd.set_detect_anomaly(True)定位是哪一步产生 NaN 的。5.2 训练 loss 降但验证 loss 升现象训练集 R² 0.95测试集 R² 0.6差距巨大。原因过拟合。模型记住了训练集的噪声没有学到泛化规律。解决加 Dropout 层、增大 weight_decay、减少网络参数量、增加训练数据。如果数据量实在小考虑用 K 折交叉验证代替单次划分。Dropout 一般加在隐藏层之后比例 0.2-0.5。5.3 预测值全部接近均值现象不管输入什么特征模型输出的房价都差不多R² 接近 0。原因网络没有学到任何东西可能是学习率太小、训练轮数不够、或者特征跟目标之间确实没有非线性关系。解决先跑线性回归看 baseline。如果线性回归也很差说明特征本身预测力不够不是网络的问题。如果线性回归还行但网络不行检查输出层有没有加激活函数回归不能加 softmax/sigmoid检查损失函数是不是 MSE。5.4 测试集 R² 比训练集还高现象测试集 R² 0.88训练集 R² 0.85测试比训练还好。原因数据划分有问题测试集可能太简单或者跟训练集有重叠。也可能是测试集太小指标波动大。解决检查数据划分是不是随机的有没有重复样本。用 K 折交叉验证看每折的 R² 波动范围如果波动超过 0.1说明数据量不够单次划分的结果不可信。5.5 特征重要性无法解释现象模型 R² 不错但说不清哪个特征重要业务方问起来没法回答。原因BP 网络是黑匣子不像线性回归有系数可以直接看。解决用 permutation importance 或者 SHAP 值做事后解释。Permutation importance 的思路是逐个打乱某个特征的值看模型性能下降多少下降越多说明该特征越重要。SHAP 值更精细能给出每个样本每个特征的贡献度但计算量大。from sklearn.inspection import permutation_importance def model_predict(X): model.eval() with torch.no_grad(): return model(torch.FloatTensor(X)).numpy().flatten() # 用permutation importance评估特征重要性 result permutation_importance( type(ModelWrapper, (), {predict: staticmethod(model_predict)})(), X_test_scaled, y_test_scaled, n_repeats10, random_state42, scoringr2 ) # 输出特征重要性排序 for i in np.argsort(result.importances_mean)[::-1]: print(fFeature {i}: {result.importances_mean[i]:.4f} /- {result.importances_std[i]:.4f})n_repeats10表示每个特征重复打乱 10 次取平均减少随机性。importances_mean是性能下降的均值越大越重要。这个方法的缺点是特征之间有相关性时结果会失真但作为快速排查够用了。6. 进阶技巧用 K 折交叉验证和超参数搜索把模型压榨到极限单次划分训练集测试集R² 的波动可能到 0.1 以上你根本不知道是模型好还是运气好。K 折交叉验证把数据分成 K 份每次用 K-1 份训练、1 份验证跑 K 次取平均结果稳定得多。我一般用 5 折数据量特别小用 10 折。from sklearn.model_selection import KFold import numpy as np def train_with_kfold(X, y, k5, epochs300, lr1e-3): kf KFold(n_splitsk, shuffleTrue, random_state42) r2_scores [] for fold, (train_idx, val_idx) in enumerate(kf.split(X)): X_train_fold, X_val_fold X[train_idx], X[val_idx] y_train_fold, y_val_fold y[train_idx], y[val_idx] # 每折内部重新标准化防止数据泄露 scaler StandardScaler() X_train_fold scaler.fit_transform(X_train_fold) X_val_fold scaler.transform(X_val_fold) # 训练模型 model HousePriceNet(X_train_fold.shape[1]) optimizer optim.Adam(model.parameters(), lrlr) criterion nn.MSELoss() X_train_t torch.FloatTensor(X_train_fold) y_train_t torch.FloatTensor(y_train_fold).reshape(-1, 1) X_val_t torch.FloatTensor(X_val_fold) y_val_t torch.FloatTensor(y_val_fold).reshape(-1, 1) best_val_loss float(inf) best_state None patience_counter 0 for epoch in range(epochs): model.train() optimizer.zero_grad() loss criterion(model(X_train_t), y_train_t) loss.backward() optimizer.step() model.eval() with torch.no_grad(): val_loss criterion(model(X_val_t), y_val_t) if val_loss best_val_loss: best_val_loss val_loss best_state model.state_dict().copy() patience_counter 0 else: patience_counter 1 if patience_counter 20: break model.load_state_dict(best_state) model.eval() with torch.no_grad(): y_pred model(X_val_t).numpy().flatten() r2 r2_score(y_val_fold, y_pred) r2_scores.append(r2) print(fFold {fold1}: R² {r2:.4f}) print(f平均 R²: {np.mean(r2_scores):.4f} /- {np.std(r2_scores):.4f}) return np.mean(r2_scores)这段代码的关键点是每折内部重新做标准化。如果先对全量数据标准化再分折验证集的信息会泄露到训练集里R² 会虚高。shuffleTrue保证每折数据分布随机random_state42保证结果可复现。超参数搜索方面网格搜索太慢我一般用随机搜索或者 Optuna。核心调这几个隐藏层神经元数、学习率、Dropout 比例、weight_decay。搜索空间不用太大每个参数 3-5 个候选值就够了。调参的收益递减很快从默认参数到调优可能提升 3-5 个点 R²再往上抠就很难了。从那以后我每次跑 BP 回归都强制走一遍「先线性回归看 baseline → 标准化 → 早停 → K 折验证」这个流程少一步都可能白跑。希望帮到你。本文还有配套的精品资源点击获取
简介这份资源面向机器学习入门者与需要完成回归预测实战的开发者围绕经典波士顿房价数据集用Python从零实现BP神经网络完成房价预测帮助读者理解前向传播、反向传播与权重更新的完整流程。压缩包共2个文件包含1个py脚本与1个csv数据文件整体约8KB其中csv提供14维特征与中位房价目标变量py脚本承载网络结构定义、训练与评估逻辑。资源已有21746人学习下载热度较高。代码以方差作为损失函数涵盖数据读取与预处理、隐藏层与输出层搭建、随机初始化权重、前向计算、梯度反向传播、多轮迭代训练以及基于MSE、R²等指标的测试集评估并支持输入新特征进行价格预测。读者可据此掌握回归类神经网络的实现细节与调参排错思路是深度学习预测任务的典型练手案例。1. 从一份房价预测 BP 神经网络 Python 代码说起它到底能跑出什么结果如果你手头有一份房价预测的 BP 神经网络 Python 代码第一反应大概率是这玩意儿跑出来到底靠不靠谱我拿它跟线性回归比过同一份数据线性回归 R² 0.72BP 网络调到 0.89但代价是训练时间从 0.3 秒变成 40 秒而且换一批数据可能直接崩到 0.5。这就是回归预测里最典型的翻车现场——不是网络不行是你没搞清它什么时候行。这份资源解决的就是「用 BP 神经网络做房价回归预测」这件事从数据预处理、网络搭建、训练调参到预测输出一整套 Python 代码。适合两类人一是刚学完神经网络理论、想找个完整回归项目练手的二是手头有结构化数据、想试试非线性模型能不能比线性回归多榨出几个点精度的。不适合指望拿来即用、不做特征工程就想上生产的人。2. BP 神经网络做回归预测为什么选它、什么时候别选2.1 回归预测和分类预测的本质区别很多人第一次用 BP 网络做回归直接把分类那套搬过来最后一层用 softmax损失函数用交叉熵结果 loss 死活不降。回归和分类在神经网络里的区别就三件事输出层神经元个数、激活函数、损失函数。分类是输出类别概率最后一层神经元数等于类别数激活用 softmax损失用交叉熵。回归是输出连续值最后一层神经元数等于你要预测的目标维度——房价预测就是 1 个激活函数通常不加线性输出损失用 MSE 或 MAE。代码里如果看到最后一层是Dense(1, activationlinear)加lossmse说明作者搞清楚了这件事。如果看到activationsoftmax直接改掉别犹豫。2.2 为什么房价预测适合 BP 网络而不是线性回归房价和特征之间的关系很少是纯线性的。面积对价格的影响可能是分段线性的——小面积段每平米单价高大面积段单价反而降房龄对价格的影响可能是指数衰减的地段这个变量跟价格的交互效应更复杂。线性回归只能拟合一个超平面BP 网络通过隐藏层和激活函数可以拟合任意连续函数。但这里有个前提你的数据量得够。BP 网络的参数量远大于线性回归数据少了直接过拟合。我一般会先跑一遍线性回归看 baseline如果线性回归 R² 已经 0.85 以上BP 网络提升空间有限不值得上。如果线性回归只有 0.6 左右说明非线性关系明显BP 网络值得试。2.3 网络结构怎么定层数、神经元数、激活函数这份代码里网络结构是典型的「输入层 → 隐藏层 → 输出层」。隐藏层用了几层、每层多少神经元直接决定模型容量。我的经验规则输入特征 n 个第一隐藏层神经元数取 2n 到 4n 之间第二隐藏层取第一层的一半左右。比如 13 个特征第一层 32 或 64第二层 16 或 32。层数超过 3 层隐藏层在表格数据上基本不会带来提升反而增加训练难度。激活函数方面隐藏层用 ReLU 是默认选择收敛快、计算简单。但如果你的输入特征没有做标准化ReLU 可能导致大量神经元死亡。这种情况下 tanh 更稳但收敛慢一些。代码里如果用的是 sigmoid建议换成 ReLU 或 tanh——sigmoid 在深层网络里梯度消失太严重。import torch import torch.nn as nn class HousePriceNet(nn.Module): def __init__(self, input_dim): super().__init__() # 输入层 - 隐藏层1 - 隐藏层2 - 输出层 self.net nn.Sequential( nn.Linear(input_dim, 64), # 第一隐藏层64个神经元 nn.ReLU(), # 激活函数比sigmoid收敛快 nn.Linear(64, 32), # 第二隐藏层32个神经元 nn.ReLU(), nn.Linear(32, 1) # 输出层回归任务输出1个连续值 ) def forward(self, x): return self.net(x)这段代码定义了一个两层隐藏层的 BP 网络。input_dim是特征数量需要根据你的数据集调整。第一层 64 个神经元、第二层 32 个这是中等规模数据集的常用配置。输出层不加激活函数因为回归任务需要输出任意实数。如果你用的是 Keras对应写法是Sequential([Dense(64, activationrelu), Dense(32, activationrelu), Dense(1)])逻辑一样。3. 数据预处理标准化、缺失值、特征工程一个都不能少3.1 标准化为什么是必须的BP 网络对输入尺度敏感。房价数据里面积可能是 50-300房龄可能是 0-50房间数 1-5如果直接喂进去面积这个特征因为数值大梯度更新时占主导其他特征相当于被忽略了。标准化之后所有特征均值为 0、方差为 1梯度更新才均衡。常见做法是 Z-score 标准化(x - mean) / std。注意用训练集的 mean 和 std 去变换测试集不能各自算各自的否则数据泄露。from sklearn.preprocessing import StandardScaler import numpy as np # 假设 X_train, X_test 已经划分好 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 在训练集上拟合 X_test_scaled scaler.transform(X_test) # 用同样的参数变换测试集 # 目标值 y 是否标准化房价预测里建议也做 y_scaler StandardScaler() y_train_scaled y_scaler.fit_transform(y_train.reshape(-1, 1)).flatten() y_test_scaled y_scaler.transform(y_test.reshape(-1, 1)).flatten()这里有个容易翻车的点目标值 y 要不要标准化如果 y 的数值范围很大比如房价 100 万到 1000 万不标准化的话 MSE loss 会非常大梯度爆炸。我一般会把 y 也标准化预测完再反变换回去。y_scaler.inverse_transform()就是干这个的。3.2 缺失值和异常值怎么处理房价数据集里缺失值很常见。数值型特征用中位数填充比均值好因为房价数据往往有偏态均值容易被极端值拉偏。类别型特征用众数填充或者单独作为一个类别。异常值方面我一般用 IQR 方法先筛一遍低于 Q1-1.5IQR 或高于 Q31.5IQR 的标记出来。但不要直接删——有些高价房是真实存在的删了模型学不到高端市场的模式。我的做法是保留但做截断winsorize把极端值拉到 1% 和 99% 分位数上。import pandas as pd def handle_missing_and_outliers(df, num_cols): for col in num_cols: # 中位数填充缺失值 median_val df[col].median() df[col] df[col].fillna(median_val) # IQR截断异常值 Q1 df[col].quantile(0.01) Q3 df[col].quantile(0.99) df[col] df[col].clip(Q1, Q3) return df这段代码做了两件事中位数填充和分位数截断。quantile(0.01)和quantile(0.99)把最低 1% 和最高 1% 的值拉到边界上既保留了样本量又限制了极端值的影响。如果你的数据缺失率超过 30%填充可能引入太大偏差建议考虑删掉这个特征。3.3 特征工程比调网络结构更值得花时间在表格数据上特征工程带来的提升往往比调网络结构大。房价预测里几个常用的衍生特征房龄的倒数新房的溢价效应、面积乘以房间数交互特征、地段独热编码后的目标编码target encoding。目标编码要小心数据泄露。正确做法是在交叉验证的每一折内部计算目标均值而不是在全量数据上算完再分折。代码里如果直接df.groupby(location)[price].mean()然后映射那就是泄露了。# 正确的目标编码在训练集上计算映射到测试集 def target_encode(train_df, test_df, cat_col, target_col, smooth10): # 计算全局均值 global_mean train_df[target_col].mean() # 计算每个类别的均值和样本数 agg train_df.groupby(cat_col)[target_col].agg([mean, count]) # 平滑处理样本少的类别向全局均值靠拢 agg[encoded] (agg[mean] * agg[count] global_mean * smooth) / (agg[count] smooth) # 映射 train_df[cat_col _encoded] train_df[cat_col].map(agg[encoded]) test_df[cat_col _encoded] test_df[cat_col].map(agg[encoded]) # 测试集里出现训练集没有的类别用全局均值填充 test_df[cat_col _encoded] test_df[cat_col _encoded].fillna(global_mean) return train_df, test_dfsmooth参数控制平滑强度样本数少的类别会被拉向全局均值避免过拟合。这个函数在训练集上计算编码然后映射到测试集没有数据泄露。测试集里如果出现了训练集没有的地段用全局均值兜底。4. 训练、调参与评估把 R² 从 0.7 推到 0.9 的实操细节4.1 损失函数、优化器和学习率的搭配回归任务默认用 MSE但 MSE 对异常值敏感。如果你的数据里高价房样本少但偏差大MSE 会被这些样本主导。这时候可以换 Huber Loss 或 Smooth L1 Loss它们在误差大时梯度不会爆炸。优化器方面Adam 是默认选择学习率 1e-3 起步。如果训练 loss 震荡不降降到 1e-4如果降得太慢升到 3e-3 试试。SGD 加 momentum 在某些数据上泛化更好但需要更仔细地调学习率。import torch.optim as optim model HousePriceNet(input_dimX_train_scaled.shape[1]) criterion nn.MSELoss() # 回归任务标准损失 optimizer optim.Adam(model.parameters(), lr1e-3, weight_decay1e-5) # weight_decay防过拟合 # 学习率调度训练10轮后如果loss不降就减半 scheduler optim.lr_scheduler.ReduceLROnPlateau(optimizer, modemin, patience10, factor0.5)weight_decay1e-5是 L2 正则化防止权重过大导致过拟合。ReduceLROnPlateau在验证 loss 不降时自动降低学习率patience10 表示连续 10 轮不降才触发。这些参数不是固定的数据量小就把 weight_decay 调大数据量大就调小。4.2 早停和交叉验证别等 loss 降到最低才停BP 网络训练最怕过拟合。训练 loss 一直降但验证 loss 开始升就是过拟合的信号。早停Early Stopping就是验证 loss 连续 N 轮不降就停取验证 loss 最低那轮的权重。best_val_loss float(inf) patience 20 counter 0 best_model_state None for epoch in range(500): model.train() optimizer.zero_grad() output model(X_train_tensor) loss criterion(output, y_train_tensor) loss.backward() optimizer.step() # 验证 model.eval() with torch.no_grad(): val_output model(X_val_tensor) val_loss criterion(val_output, y_val_tensor) scheduler.step(val_loss) # 早停逻辑 if val_loss best_val_loss: best_val_loss val_loss best_model_state model.state_dict().copy() counter 0 else: counter 1 if counter patience: print(fEarly stopping at epoch {epoch}) break model.load_state_dict(best_model_state) # 恢复最佳权重patience20表示验证 loss 连续 20 轮不降就停。best_model_state保存最佳权重最后恢复。这个逻辑比固定训练轮数靠谱得多——固定轮数要么欠拟合要么过拟合早停让模型自己决定什么时候停。4.3 评估指标R²、MAE、RMSE 各看什么R² 看模型解释了多大比例的方差越接近 1 越好。但 R² 对异常值敏感测试集里几个极端值就能把 R² 拉低很多。MAE 看平均绝对误差单位跟房价一样直观。RMSE 对大误差惩罚更重如果你更在意大偏差看 RMSE。我一般三个都看R² 判断模型整体拟合能力MAE 判断典型误差多大RMSE 判断有没有大的翻车预测。如果 RMSE 远大于 MAE说明存在少数预测偏差很大的样本需要检查这些样本的特征是不是异常。from sklearn.metrics import r2_score, mean_absolute_error, mean_squared_error model.eval() with torch.no_grad(): y_pred_scaled model(X_test_tensor).numpy().flatten() # 反标准化回到原始房价尺度 y_pred y_scaler.inverse_transform(y_pred_scaled.reshape(-1, 1)).flatten() y_true y_scaler.inverse_transform(y_test_scaled.reshape(-1, 1)).flatten() r2 r2_score(y_true, y_pred) mae mean_absolute_error(y_true, y_pred) rmse np.sqrt(mean_squared_error(y_true, y_pred)) print(fR²: {r2:.4f}, MAE: {mae:.2f}, RMSE: {rmse:.2f})反标准化这一步容易忘。如果训练时对 y 做了标准化预测完必须用y_scaler.inverse_transform变回去否则算出来的 MAE 和 RMSE 没有实际意义。5. 避坑与排查BP 回归预测最常见的五个翻车点5.1 loss 不降或变成 NaN现象训练几轮后 loss 变成 NaN或者一直停在初始值附近不降。原因学习率太大导致梯度爆炸或者输入数据没有标准化导致数值不稳定。解决先把学习率降到 1e-4 甚至 1e-5 试一轮。如果还不行检查输入数据有没有做标准化有没有 NaN 值混进去。PyTorch 里可以用torch.autograd.set_detect_anomaly(True)定位是哪一步产生 NaN 的。5.2 训练 loss 降但验证 loss 升现象训练集 R² 0.95测试集 R² 0.6差距巨大。原因过拟合。模型记住了训练集的噪声没有学到泛化规律。解决加 Dropout 层、增大 weight_decay、减少网络参数量、增加训练数据。如果数据量实在小考虑用 K 折交叉验证代替单次划分。Dropout 一般加在隐藏层之后比例 0.2-0.5。5.3 预测值全部接近均值现象不管输入什么特征模型输出的房价都差不多R² 接近 0。原因网络没有学到任何东西可能是学习率太小、训练轮数不够、或者特征跟目标之间确实没有非线性关系。解决先跑线性回归看 baseline。如果线性回归也很差说明特征本身预测力不够不是网络的问题。如果线性回归还行但网络不行检查输出层有没有加激活函数回归不能加 softmax/sigmoid检查损失函数是不是 MSE。5.4 测试集 R² 比训练集还高现象测试集 R² 0.88训练集 R² 0.85测试比训练还好。原因数据划分有问题测试集可能太简单或者跟训练集有重叠。也可能是测试集太小指标波动大。解决检查数据划分是不是随机的有没有重复样本。用 K 折交叉验证看每折的 R² 波动范围如果波动超过 0.1说明数据量不够单次划分的结果不可信。5.5 特征重要性无法解释现象模型 R² 不错但说不清哪个特征重要业务方问起来没法回答。原因BP 网络是黑匣子不像线性回归有系数可以直接看。解决用 permutation importance 或者 SHAP 值做事后解释。Permutation importance 的思路是逐个打乱某个特征的值看模型性能下降多少下降越多说明该特征越重要。SHAP 值更精细能给出每个样本每个特征的贡献度但计算量大。from sklearn.inspection import permutation_importance def model_predict(X): model.eval() with torch.no_grad(): return model(torch.FloatTensor(X)).numpy().flatten() # 用permutation importance评估特征重要性 result permutation_importance( type(ModelWrapper, (), {predict: staticmethod(model_predict)})(), X_test_scaled, y_test_scaled, n_repeats10, random_state42, scoringr2 ) # 输出特征重要性排序 for i in np.argsort(result.importances_mean)[::-1]: print(fFeature {i}: {result.importances_mean[i]:.4f} /- {result.importances_std[i]:.4f})n_repeats10表示每个特征重复打乱 10 次取平均减少随机性。importances_mean是性能下降的均值越大越重要。这个方法的缺点是特征之间有相关性时结果会失真但作为快速排查够用了。6. 进阶技巧用 K 折交叉验证和超参数搜索把模型压榨到极限单次划分训练集测试集R² 的波动可能到 0.1 以上你根本不知道是模型好还是运气好。K 折交叉验证把数据分成 K 份每次用 K-1 份训练、1 份验证跑 K 次取平均结果稳定得多。我一般用 5 折数据量特别小用 10 折。from sklearn.model_selection import KFold import numpy as np def train_with_kfold(X, y, k5, epochs300, lr1e-3): kf KFold(n_splitsk, shuffleTrue, random_state42) r2_scores [] for fold, (train_idx, val_idx) in enumerate(kf.split(X)): X_train_fold, X_val_fold X[train_idx], X[val_idx] y_train_fold, y_val_fold y[train_idx], y[val_idx] # 每折内部重新标准化防止数据泄露 scaler StandardScaler() X_train_fold scaler.fit_transform(X_train_fold) X_val_fold scaler.transform(X_val_fold) # 训练模型 model HousePriceNet(X_train_fold.shape[1]) optimizer optim.Adam(model.parameters(), lrlr) criterion nn.MSELoss() X_train_t torch.FloatTensor(X_train_fold) y_train_t torch.FloatTensor(y_train_fold).reshape(-1, 1) X_val_t torch.FloatTensor(X_val_fold) y_val_t torch.FloatTensor(y_val_fold).reshape(-1, 1) best_val_loss float(inf) best_state None patience_counter 0 for epoch in range(epochs): model.train() optimizer.zero_grad() loss criterion(model(X_train_t), y_train_t) loss.backward() optimizer.step() model.eval() with torch.no_grad(): val_loss criterion(model(X_val_t), y_val_t) if val_loss best_val_loss: best_val_loss val_loss best_state model.state_dict().copy() patience_counter 0 else: patience_counter 1 if patience_counter 20: break model.load_state_dict(best_state) model.eval() with torch.no_grad(): y_pred model(X_val_t).numpy().flatten() r2 r2_score(y_val_fold, y_pred) r2_scores.append(r2) print(fFold {fold1}: R² {r2:.4f}) print(f平均 R²: {np.mean(r2_scores):.4f} /- {np.std(r2_scores):.4f}) return np.mean(r2_scores)这段代码的关键点是每折内部重新做标准化。如果先对全量数据标准化再分折验证集的信息会泄露到训练集里R² 会虚高。shuffleTrue保证每折数据分布随机random_state42保证结果可复现。超参数搜索方面网格搜索太慢我一般用随机搜索或者 Optuna。核心调这几个隐藏层神经元数、学习率、Dropout 比例、weight_decay。搜索空间不用太大每个参数 3-5 个候选值就够了。调参的收益递减很快从默认参数到调优可能提升 3-5 个点 R²再往上抠就很难了。从那以后我每次跑 BP 回归都强制走一遍「先线性回归看 baseline → 标准化 → 早停 → K 折验证」这个流程少一步都可能白跑。希望帮到你。本文还有配套的精品资源点击获取
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
