如果你准备参加Kaggle练手房价预测House Prices: Advanced Regression Techniques大概率是你绕不开的第一个新手村副本。这个赛题常年挂在Kaggle的Getting Started分类里乍一看是“猜房价”实际上考察的是结构化数据的全套基本功特征工程、缺失值处理、正则化回归、交叉验证外加一点点模型融合的直觉。哪怕你之后去打表格类比赛的Top方案回头再看这个项目依然会觉得它是性价比最高的起点。这篇就把我完整跑过一遍的方案拆开讲透从赛题思路到代码实现再到我踩过的坑尽量说得直白一点。文章里所有代码都是Python写的环境是Kaggle Notebook但你完全可以在本地Jupyter里复现依赖的库也就是常见的pandas、numpy、sklearn、xgboost、lightgbm这些。1. 赛题解析为什么每个Kaggle新手都躲不开房价预测1.1 这个赛题到底在考什么房价预测赛题全称是House Prices: Advanced Regression Techniques数据集来自美国艾姆斯市Ames, Iowa从2006年到2010年的房屋销售记录。训练集有1460行测试集1459行特征有79个覆盖了房屋的面积、楼层、地下室、车库、外立面材料、装修年份、邻里环境等信息。说它是“入门友好”一个很重要的原因是特征维度不算高数据量也不大随便一台笔记本都能跑得很轻松。但这话不能反着理解——数据量小意味着你更需要用心去挖特征之间的关系也更需要警惕过拟合。我见过不少人在这个赛题上直接扔一个XGBoost跑默认参数得分在0.15左右徘徊然后觉得“也就这样了”也见过认真做特征工程之后把分数压到0.11附近的人。同样的模型差距全在数据理解上。这个赛题的目标变量是SalePrice连续型数值所以本质是一个回归问题。但真正的难点不在“用什么回归模型”而在于79个特征里有一堆缺失值缺失的语义各不相同有的是“没有这个设施”有的是“数据没记”数值特征普遍右偏不做变换的话对线性模型伤害很大很多类别特征层级多、含义缠在一起比如地下室质量BsmtQual、外立面质量ExterQual这些得分低不代表“差”有时候是“没有”。所以你可以把这个项目理解为一次完整的表格数据建模演练从清洗、变换、特征生成、模型训练到集成每个环节都会被考到。1.2 评估指标背后的门道竞赛使用的评估指标是RMSE但有个细节官方要求对目标变量SalePrice先取对数log再计算RMSE。换句话说指标实际是[ RMSE \sqrt{\frac{1}{n} \sum_{i1}^{n} (\log(y_i 1) - \log(\hat{y}_i 1))^2} ]这个设定非常有意思。房价数据普遍右偏少数豪宅价格能拉到几十万美元而普通房子只有十几万。如果你直接预测原始房价模型会把大量精力花在拟合那些“贵得离谱”的样本上因为它们的误差平方项太大了。取完对数之后价格的尺度被压缩相当于把“绝对误差”变成了“相对误差”视角预测6万美元差1万和预测60万美元差10万受到的惩罚是一样的。实际操作中我们一般直接把y取对数变成log1p(y)然后训练模型去拟合这个变换后的目标。最后提交的时候再expm1还原成真实房价。提示第一次跑这个项目的人最容易漏掉这一步忘了在提交前还原预测值结果做出来的价格全是几十的数量级RMSE高得离谱。每次提交前检查一下预测值范围如果最大值连1000都不到那肯定是忘了还原。1.3 什么样的成绩算“合格”我个人的参考线是这样的0.16以上基本是裸跑默认模型或者压根没做特征工程0.13-0.15做了缺失值填充和基础特征变换但没有深入做特征组合0.11-0.12特征工程到位模型用了正则化回归或者调参后的树模型K折验证稳定0.10以下通常需要堆叠stacking、多个模型融合或者在特征交叉上非常有想法。Top榜的分数能到0.108左右但那是大量时间堆出来的新手不用一上来就盯着那个数字。能把0.14以内的稳定分数做出来你已经把表格建模的核心流程吃透了。2. 数据是这场的真正考点79维特征的读法2.1 先看清数据长什么样拿到数据的第一步永远不是建模而是“摸数据”。我习惯先看四样东西shape、dtypes、缺失值比例、数值特征的分布情况。这个数据集的79个特征大致可以分成几类面积类各种Living Area、Lot Area、Total Bsmt SF、Gr Liv Area这类特征和房价的关系最直接时间类Year Built、Year Remod Add、Garage Yr Blt建筑年份和翻新年份质量等级类Overall Qual、Overall Cond、Exter Qual、Bsmt Qual这些是类别型但有序的评分数量类Bedroom AbvGr、Full Bath、Half Bath、Fireplaces、Garage Cars数的就是几个房间几个车库分类特征Neighborhood、MS Zoning、Sale Type、Foundation反映地理位置、用途分区、销售方式等。一个容易被忽略的点这张表里很多缺失值不是“真缺失”而是“表示没有”。比如Pool QC泳池质量为空大概率是因为这房子根本没泳池Garage Type为空可能是没车库。所以统一填“None”当作一个新的类别往往比用均值去填更合理。2.2 缺失值处理的两种思路我处理缺失值的经验可以浓缩成两句话数值型特征先看它是不是“面积/数量”类如果是缺失可以填0如果不是考虑用中位数或模型预测填充。类别型特征缺失统一填充成“None”或“Missing”让模型知道“这块信息缺失”本身也是一种状态。表格里有一列叫LotFrontage临街距离缺失值不少而且它和LotArea、Neighborhood有明显关系。大而化之的填中位数不太合适我在实践中会用Neighborhood分组后的中位数去填。这个做法简单但有效因为同一个街区的临街距离通常比较接近。还有几个特征建议直接删除比如Utilities几乎全是相同的值对预测没有任何帮助PoolQC和MiscFeature这类因为几乎没有非空的有效值强行变成“None”类也比当数值特征处理好。2.3 偏度问题不对数变换就白搭接下来是数值特征偏度的问题。我用一个简单规则来判断对每个数值特征计算skewness如果绝对值大于0.75就做log1p变换。SalePrice本身也在这个规则里。原因很简单线性模型对正态分布的输入更友好偏斜数据会让少数极端值主导损失函数。做完变换之后很多特征的分布会收敛很多模型的收敛速度和稳定性都会提升。写完变换之后我习惯再检查一遍相关性。房价预测赛题里有个经典结论Gr Liv Area地面居住面积和Overall Qual整体质量评分与SalePrice的相关性都在0.7以上是所有特征里最强的两个。后续做特征组合的时候也可以围绕“面积×质量”这种交互来展开。2.4 五个经典特征工程操作做这个项目我每次都不会跳过这几个特征操作总面积特征把地下室、一楼、二楼、车库、门廊等面积全部加起来得到Total SF。这个组合特征比单个面积更稳定房屋年龄用Yr Sold减去Year Remod Add得到Remod Age房子越新通常溢价越高总浴卫数量Full Bath、Half Bath、Bsmt Full Bath、Bsmt Half Bath加起来再加0.5倍的Half Bath得到一个加权后的总卫浴数总门廊面积Open Porch SF、Enclosed Porch、3-Ssn Porch、Screen Porch、Wood Deck SF加起来很多房子的户外空间是提升居住体验的关键质量×面积交互Overall Qual与Gr Liv Area相乘。这个特征的含义是“每单位面积的质量水平”在某些场景下比单独使用两个特征更能刻画房价差异。做这些组合特征的时候我并不会一次性全部塞进模型而是会对比加与不加的验证分数。有时候加多了反而干扰毕竟有些组合特征之间是高度共线的。3. 模型怎么选从正则化回归到梯度提升3.1 为什么首选正则化线性模型这个赛题叫“Advanced Regression Techniques”官方名场面就是回归。我的建模思路一般是先放一个基线模型再往上叠加更复杂的模型。基线我通常会选Lasso或ElasticNet。为什么因为79个原始特征加上我做的组合特征之后维度会膨胀到200多而训练集只有1460行。这种场景下直接线性回归容易出现两个问题一是过拟合二是共线性严重导致系数不稳定。Lasso通过L1正则化能把一部分特征的系数压缩到0等于自动做了特征选择Ridge用L2正则化则更适合那种“所有特征都有微弱贡献”的情况ElasticNet把两者结合起来一般效果最稳。代码上我会用sklearn的ElasticNet把alpha设得小一点比如0.001然后配合l1_ratio参数去搜索。但这个模型对特征的尺度很敏感所以前面的log变换和数值标准化一定要做否则alpha搜出来的结果没有参考价值。3.2 梯度提升树的定位与要点线性模型只是基本盘真正拉开差距的是树模型。XGBoost、LightGBM、CatBoost在这个赛题上都有人用来刷榜我个人的经验是LightGBM在这个数据量下跑得最快调参空间也大。树模型的好处是不用太关心特征尺度类别特征也可以直接处理LightGBM的categorical_feature参数。它的难点在于超参数。我的默认参数是这样起步的import lightgbm as lgb params { objective: regression, metric: rmse, learning_rate: 0.01, num_leaves: 31, max_depth: -1, min_child_samples: 20, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, lambda_l1: 0.1, lambda_l2: 0.1, verbose: -1, seed: 42 }learning_rate设成0.01是故意的学习率低一些就需要更多树来拟合但过拟合风险会小很多训练时间也还能接受。我通常用早停early stopping来控制树的数量验证集上连续50轮没有改善就停。3.3 一个简单可用的模型融合思路说到融合很多新手觉得是高端玩法其实在这个赛题上最简单的融合就是“平均”。把Lasso、Ridge、ElasticNet、LightGBM、XGBoost这几个模型的验证预测值做加权平均往往就能比单模型低零点几个千分点。更进阶一点的做法是Stacking拿第一层模型的预测结果作为新特征喂给第二层模型。我用过一个很实用的组合第一层用Lasso、Ridge、ElasticNet、LightGBM、XGBoost做5折交叉验证每个模型生成一个OOF预测第二层用Ridge去拟合这些OOF预测。这种做法的逻辑是让第二层模型去学习第一层模型各自的优缺点从而更聪明地加权。Stacking最怕的是第一层模型之间相关性太高那样融合收益会大打折扣。所以我会特意让模型之间保持差异性线性模型专门去吃特征组合和log变换带来的信息树模型去吃非线性交互这样融合出来的结果才有提升。4. 实操一整套可跑的房价预测流程4.1 环境与数据准备我用的环境是Kaggle Notebook自带的Python 3.10镜像依赖库在requirements里基本都有。如果你本地方便也可以用conda建一个环境把pandas、numpy、scikit-learn、xgboost、lightgbm、matplotlib、seaborn装上。数据文件就两个train.csv和test.csv加上一个sample_submission.csv。用pandas读进来之后我习惯把train和test合在一起做特征工程确保两边变换的语义完全一致。合并的另一个好处是某些类别特征的level如果只在test里出现单独处理很容易报错。import pandas as pd import numpy as np from scipy import stats from sklearn.model_selection import KFold from sklearn.linear_model import ElasticNet, Ridge, Lasso from sklearn.preprocessing import StandardScaler, LabelEncoder import lightgbm as lgb import xgboost as xgb train pd.read_csv(/kaggle/input/house-prices-advanced-regression-techniques/train.csv) test pd.read_csv(/kaggle/input/house-prices-advanced-regression-techniques/test.csv) submission pd.read_csv(/kaggle/input/house-prices-advanced-regression-techniques/sample_submission.csv) y train[SalePrice] y_log np.log1p(y) all_data pd.concat([train.drop(SalePrice, axis1), test], axis0, ignore_indexTrue)这里有一个小技巧把y单独拎出来用log1p变换后面所有对feature的处理都在all_data上完成。这样train和test的特征变换路径完全是同一条不会出现数据泄漏。而且后续做交叉验证的时候验证集的OOF预测也都是在log空间里比较的指标稳定很多。4.2 预处理与特征构建代码缺失值填充这一步我建议分几类处理。先写一个简单的填充逻辑# 数值型缺失填0类别型缺失填None numeric_cols all_data.select_dtypes(include[np.number]).columns categorical_cols all_data.select_dtypes(include[object]).columns all_data[numeric_cols] all_data[numeric_cols].fillna(0) all_data[categorical_cols] all_data[categorical_cols].fillna(None)但LotFrontage要做特殊处理按Neighborhood分组中位数填充lot_frontage_by_neighborhood all_data.groupby(Neighborhood)[LotFrontage].transform(lambda x: x.fillna(x.median())) all_data[LotFrontage] lot_frontage_by_neighborhood.fillna(0)接着做偏度检查和log变换。我封装了一个函数skewed_features all_data[numeric_cols].apply(lambda x: stats.skew(x.dropna())).sort_values(ascendingFalse) high_skew skewed_features[skewed_features 0.75].index for feature in high_skew: all_data[feature] np.log1p(all_data[feature])然后做组合特征。这部分属于经验活我会把上一节提到的几个经典组合都堆上去all_data[TotalSF] all_data[TotalBsmtSF] all_data[1stFlrSF] all_data[2ndFlrSF] all_data[TotalBath] all_data[FullBath] 0.5 * all_data[HalfBath] all_data[BsmtFullBath] 0.5 * all_data[BsmtHalfBath] all_data[TotalPorchSF] all_data[OpenPorchSF] all_data[EnclosedPorch] all_data[3SsnPorch] all_data[ScreenPorch] all_data[WoodDeckSF] all_data[RemodAge] all_data[YrSold] - all_data[YearRemodAdd] all_data[Age] all_data[YrSold] - all_data[YearBuilt] all_data[OverallGrade] all_data[OverallQual] * all_data[GrLivArea]注意这里的列名要和原始数据一致不同版本的Kaggle数据集列名略有差异建议先把all_data.columns打印出来确认。做完这些特征之后维度通常会到250以上。类别特征处理上我一般用LabelEncoder做有序编码因为树模型不介意这种处理方式。如果后续要跑线性模型再单独对类别特征做OneHot也不迟但全量OneHot会让特征爆炸我这个赛题里通常只对Neighborhood、MS Zoning、Sale Type这些高基数特征做OneHot其他都保留LabelEncoder后的数值。4.3 训练、验证与提交先定义一版特征列表然后写一个K折验证的框架。这块是整个流程的核心我需要同时检验线性模型和树模型的效果。from sklearn.model_selection import KFold X all_data[:train.shape[0]] X_test all_data[train.shape[0]:] # 对线性模型先把X标准化 scaler StandardScaler() X_scaled scaler.fit_transform(X) X_test_scaled scaler.transform(X_test) kf KFold(n_splits10, shuffleTrue, random_state42)然后跑Lasso、Ridge、ElasticNet这三个模型的OOF预测from sklearn.linear_model import Lasso, Ridge, ElasticNet from sklearn.metrics import mean_squared_error lasso Lasso(alpha0.0005, random_state42) ridge Ridge(alpha10) enet ElasticNet(alpha0.001, l1_ratio0.5, random_state42) oof_lasso np.zeros(X.shape[0]) oof_ridge np.zeros(X.shape[0]) oof_enet np.zeros(X.shape[0]) pred_lasso np.zeros(X_test.shape[0]) pred_ridge np.zeros(X_test.shape[0]) pred_enet np.zeros(X_test.shape[0]) for tr_idx, va_idx in kf.split(X_scaled): lasso.fit(X_scaled[tr_idx], y_log.iloc[tr_idx]) ridge.fit(X_scaled[tr_idx], y_log.iloc[tr_idx]) enet.fit(X_scaled[tr_idx], y_log.iloc[tr_idx]) oof_lasso[va_idx] lasso.predict(X_scaled[va_idx]) oof_ridge[va_idx] ridge.predict(X_scaled[va_idx]) oof_enet[va_idx] enet.predict(X_scaled[va_idx]) pred_lasso lasso.predict(X_test_scaled) / kf.n_splits pred_ridge ridge.predict(X_test_scaled) / kf.n_splits pred_enet enet.predict(X_test_scaled) / kf.n_splits print(fLasso RMSE: {mean_squared_error(y_log, oof_lasso, squaredFalse):.5f}) print(fRidge RMSE: {mean_squared_error(y_log, oof_ridge, squaredFalse):.5f}) print(fElasticNet RMSE: {mean_squared_error(y_log, oof_enet, squaredFalse):.5f})树模型这边用LightGBM再走一遍同样的K折逻辑lgb_oof np.zeros(X.shape[0]) lgb_pred np.zeros(X_test.shape[0]) for tr_idx, va_idx in kf.split(X): dtrain lgb.Dataset(X.iloc[tr_idx], labely_log.iloc[tr_idx]) dvalid lgb.Dataset(X.iloc[va_idx], labely_log.iloc[va_idx]) model lgb.train( params, dtrain, num_boost_round10000, valid_sets[dvalid], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(100)] ) lgb_oof[va_idx] model.predict(X.iloc[va_idx], num_iterationmodel.best_iteration) lgb_pred model.predict(X_test, num_iterationmodel.best_iteration) / kf.n_splits print(fLightGBM RMSE: {mean_squared_error(y_log, lgb_oof, squaredFalse):.5f})最后把几个模型的预测值做加权平均我一般直接给树模型更高的权重比如Lasso、Ridge、ElasticNet各0.1LightGBM 0.7然后benchmark一下效果再微调final_pred 0.1 * pred_lasso 0.1 * pred_ridge 0.1 * pred_enet 0.7 * lgb_pred submission[SalePrice] np.expm1(final_pred) submission.to_csv(submission.csv, indexFalse)提交文件只需要两列Id和SalePrice。这个流程跑完分数基本能稳定在0.12附近。我自己测试的几轮里融合后的验证RMSE比单一LightGBM低了大概0.002左右看起来不大但在排行榜上名次能差出一截。5. 我把踩过的坑整理成了速查表5.1 常见报错与排查思路训练过程中最容易遇到的是这些问题我按照出现频率列个表问题原因解决方案提交后RMSE在0.5以上忘了对目标变量取log或提交时没有expm1还原检查提交文件里SalePrice的范围应在几万美元量级LightGBM报categorical feature错误类别特征包含字符串类型且没有指定categorical_feature用LabelEncoder统一转数值或者显式传入categorical_feature参数Lasso收敛慢alpha设置过大或特征未标准化把alpha降到0.0001-0.001范围并且确认做了StandardScaler模型验证分数和线上分数差距大交叉验证种子选择不当或者特征里存在数据泄漏换多个seed验证检查是否有用到了test信息做填充的特征某列全为单一值该特征几乎无信息量直接删除该列对模型没有影响还有一类隐性问题把train和test合并之后某些基于全量数据做的变换比如中位数填充会把test的信息“泄漏”到train里。这个赛题数据量小影响不大但养成习惯很重要。在真实业务中一定要在训练集内做fit再transform测试集。5.2 关于分数波动和过拟合的体会我在跑这个项目时发现LightGBM的验证RMSE在不同随机种子下会有0.001左右的波动。这不是bug而是数据量小的正常现象。所以我不建议只用一个种子定终局而是跑3-5个不同种子取平均预测这样提交出去的结果会更稳。另一个容易过拟合的地方是特征工程。当你造了几百个特征之后训练集上的分数会很好但验证集可能已经不再下降。我一般会用一个简单规则控制每个新增特征如果验证集RMSE下降不到0.0005就果断砍掉。宁可少做不要贪多。5.3 关于新手的几个实操建议如果你现在才开始接触这个项目我建议按顺序做三件事先把baseline跑通提交一次拿到分数建立“提交-反馈”的闭环然后做特征工程每加一个特征就重新验证感受它对分数的影响最后再考虑模型融合因为融合带来的提升如果没有强特征支撑效果非常有限。学习的过程中多看看公开的Notebook但不要照抄。挑几个排名靠前的方案读读看它们是怎么做特征选择的比闷头调参有用得多。5.4 从房价预测出发还能往哪走这个赛题做完之后你可以顺路去了解几个相关的方向时间序列预测如果数据集换成房价随时间变化的月度数据就变成时序预测问题了地理空间特征给数据加上经纬度或街区距离特征就能做更细粒度的区位分析自动机器学习用AutoGluon或TPOT之类的库试试同样的数据看它们能自动搜到什么方案。我个人在实际操作中最深的一个体会是Kaggle竞赛学到的东西在真正做数据分析项目时非常耐打。这个房价预测赛题里涉及到的每一个环节——缺失值语义、偏度变换、交叉验证、模型融合——放到工作中都是天天要用的基本功。哪怕你之后不参加任何竞赛认认真真把这个项目的完整流程跑一遍也比单纯看十篇教程有用得多。
如果你准备参加Kaggle练手房价预测House Prices: Advanced Regression Techniques大概率是你绕不开的第一个新手村副本。这个赛题常年挂在Kaggle的Getting Started分类里乍一看是“猜房价”实际上考察的是结构化数据的全套基本功特征工程、缺失值处理、正则化回归、交叉验证外加一点点模型融合的直觉。哪怕你之后去打表格类比赛的Top方案回头再看这个项目依然会觉得它是性价比最高的起点。这篇就把我完整跑过一遍的方案拆开讲透从赛题思路到代码实现再到我踩过的坑尽量说得直白一点。文章里所有代码都是Python写的环境是Kaggle Notebook但你完全可以在本地Jupyter里复现依赖的库也就是常见的pandas、numpy、sklearn、xgboost、lightgbm这些。1. 赛题解析为什么每个Kaggle新手都躲不开房价预测1.1 这个赛题到底在考什么房价预测赛题全称是House Prices: Advanced Regression Techniques数据集来自美国艾姆斯市Ames, Iowa从2006年到2010年的房屋销售记录。训练集有1460行测试集1459行特征有79个覆盖了房屋的面积、楼层、地下室、车库、外立面材料、装修年份、邻里环境等信息。说它是“入门友好”一个很重要的原因是特征维度不算高数据量也不大随便一台笔记本都能跑得很轻松。但这话不能反着理解——数据量小意味着你更需要用心去挖特征之间的关系也更需要警惕过拟合。我见过不少人在这个赛题上直接扔一个XGBoost跑默认参数得分在0.15左右徘徊然后觉得“也就这样了”也见过认真做特征工程之后把分数压到0.11附近的人。同样的模型差距全在数据理解上。这个赛题的目标变量是SalePrice连续型数值所以本质是一个回归问题。但真正的难点不在“用什么回归模型”而在于79个特征里有一堆缺失值缺失的语义各不相同有的是“没有这个设施”有的是“数据没记”数值特征普遍右偏不做变换的话对线性模型伤害很大很多类别特征层级多、含义缠在一起比如地下室质量BsmtQual、外立面质量ExterQual这些得分低不代表“差”有时候是“没有”。所以你可以把这个项目理解为一次完整的表格数据建模演练从清洗、变换、特征生成、模型训练到集成每个环节都会被考到。1.2 评估指标背后的门道竞赛使用的评估指标是RMSE但有个细节官方要求对目标变量SalePrice先取对数log再计算RMSE。换句话说指标实际是[ RMSE \sqrt{\frac{1}{n} \sum_{i1}^{n} (\log(y_i 1) - \log(\hat{y}_i 1))^2} ]这个设定非常有意思。房价数据普遍右偏少数豪宅价格能拉到几十万美元而普通房子只有十几万。如果你直接预测原始房价模型会把大量精力花在拟合那些“贵得离谱”的样本上因为它们的误差平方项太大了。取完对数之后价格的尺度被压缩相当于把“绝对误差”变成了“相对误差”视角预测6万美元差1万和预测60万美元差10万受到的惩罚是一样的。实际操作中我们一般直接把y取对数变成log1p(y)然后训练模型去拟合这个变换后的目标。最后提交的时候再expm1还原成真实房价。提示第一次跑这个项目的人最容易漏掉这一步忘了在提交前还原预测值结果做出来的价格全是几十的数量级RMSE高得离谱。每次提交前检查一下预测值范围如果最大值连1000都不到那肯定是忘了还原。1.3 什么样的成绩算“合格”我个人的参考线是这样的0.16以上基本是裸跑默认模型或者压根没做特征工程0.13-0.15做了缺失值填充和基础特征变换但没有深入做特征组合0.11-0.12特征工程到位模型用了正则化回归或者调参后的树模型K折验证稳定0.10以下通常需要堆叠stacking、多个模型融合或者在特征交叉上非常有想法。Top榜的分数能到0.108左右但那是大量时间堆出来的新手不用一上来就盯着那个数字。能把0.14以内的稳定分数做出来你已经把表格建模的核心流程吃透了。2. 数据是这场的真正考点79维特征的读法2.1 先看清数据长什么样拿到数据的第一步永远不是建模而是“摸数据”。我习惯先看四样东西shape、dtypes、缺失值比例、数值特征的分布情况。这个数据集的79个特征大致可以分成几类面积类各种Living Area、Lot Area、Total Bsmt SF、Gr Liv Area这类特征和房价的关系最直接时间类Year Built、Year Remod Add、Garage Yr Blt建筑年份和翻新年份质量等级类Overall Qual、Overall Cond、Exter Qual、Bsmt Qual这些是类别型但有序的评分数量类Bedroom AbvGr、Full Bath、Half Bath、Fireplaces、Garage Cars数的就是几个房间几个车库分类特征Neighborhood、MS Zoning、Sale Type、Foundation反映地理位置、用途分区、销售方式等。一个容易被忽略的点这张表里很多缺失值不是“真缺失”而是“表示没有”。比如Pool QC泳池质量为空大概率是因为这房子根本没泳池Garage Type为空可能是没车库。所以统一填“None”当作一个新的类别往往比用均值去填更合理。2.2 缺失值处理的两种思路我处理缺失值的经验可以浓缩成两句话数值型特征先看它是不是“面积/数量”类如果是缺失可以填0如果不是考虑用中位数或模型预测填充。类别型特征缺失统一填充成“None”或“Missing”让模型知道“这块信息缺失”本身也是一种状态。表格里有一列叫LotFrontage临街距离缺失值不少而且它和LotArea、Neighborhood有明显关系。大而化之的填中位数不太合适我在实践中会用Neighborhood分组后的中位数去填。这个做法简单但有效因为同一个街区的临街距离通常比较接近。还有几个特征建议直接删除比如Utilities几乎全是相同的值对预测没有任何帮助PoolQC和MiscFeature这类因为几乎没有非空的有效值强行变成“None”类也比当数值特征处理好。2.3 偏度问题不对数变换就白搭接下来是数值特征偏度的问题。我用一个简单规则来判断对每个数值特征计算skewness如果绝对值大于0.75就做log1p变换。SalePrice本身也在这个规则里。原因很简单线性模型对正态分布的输入更友好偏斜数据会让少数极端值主导损失函数。做完变换之后很多特征的分布会收敛很多模型的收敛速度和稳定性都会提升。写完变换之后我习惯再检查一遍相关性。房价预测赛题里有个经典结论Gr Liv Area地面居住面积和Overall Qual整体质量评分与SalePrice的相关性都在0.7以上是所有特征里最强的两个。后续做特征组合的时候也可以围绕“面积×质量”这种交互来展开。2.4 五个经典特征工程操作做这个项目我每次都不会跳过这几个特征操作总面积特征把地下室、一楼、二楼、车库、门廊等面积全部加起来得到Total SF。这个组合特征比单个面积更稳定房屋年龄用Yr Sold减去Year Remod Add得到Remod Age房子越新通常溢价越高总浴卫数量Full Bath、Half Bath、Bsmt Full Bath、Bsmt Half Bath加起来再加0.5倍的Half Bath得到一个加权后的总卫浴数总门廊面积Open Porch SF、Enclosed Porch、3-Ssn Porch、Screen Porch、Wood Deck SF加起来很多房子的户外空间是提升居住体验的关键质量×面积交互Overall Qual与Gr Liv Area相乘。这个特征的含义是“每单位面积的质量水平”在某些场景下比单独使用两个特征更能刻画房价差异。做这些组合特征的时候我并不会一次性全部塞进模型而是会对比加与不加的验证分数。有时候加多了反而干扰毕竟有些组合特征之间是高度共线的。3. 模型怎么选从正则化回归到梯度提升3.1 为什么首选正则化线性模型这个赛题叫“Advanced Regression Techniques”官方名场面就是回归。我的建模思路一般是先放一个基线模型再往上叠加更复杂的模型。基线我通常会选Lasso或ElasticNet。为什么因为79个原始特征加上我做的组合特征之后维度会膨胀到200多而训练集只有1460行。这种场景下直接线性回归容易出现两个问题一是过拟合二是共线性严重导致系数不稳定。Lasso通过L1正则化能把一部分特征的系数压缩到0等于自动做了特征选择Ridge用L2正则化则更适合那种“所有特征都有微弱贡献”的情况ElasticNet把两者结合起来一般效果最稳。代码上我会用sklearn的ElasticNet把alpha设得小一点比如0.001然后配合l1_ratio参数去搜索。但这个模型对特征的尺度很敏感所以前面的log变换和数值标准化一定要做否则alpha搜出来的结果没有参考价值。3.2 梯度提升树的定位与要点线性模型只是基本盘真正拉开差距的是树模型。XGBoost、LightGBM、CatBoost在这个赛题上都有人用来刷榜我个人的经验是LightGBM在这个数据量下跑得最快调参空间也大。树模型的好处是不用太关心特征尺度类别特征也可以直接处理LightGBM的categorical_feature参数。它的难点在于超参数。我的默认参数是这样起步的import lightgbm as lgb params { objective: regression, metric: rmse, learning_rate: 0.01, num_leaves: 31, max_depth: -1, min_child_samples: 20, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, lambda_l1: 0.1, lambda_l2: 0.1, verbose: -1, seed: 42 }learning_rate设成0.01是故意的学习率低一些就需要更多树来拟合但过拟合风险会小很多训练时间也还能接受。我通常用早停early stopping来控制树的数量验证集上连续50轮没有改善就停。3.3 一个简单可用的模型融合思路说到融合很多新手觉得是高端玩法其实在这个赛题上最简单的融合就是“平均”。把Lasso、Ridge、ElasticNet、LightGBM、XGBoost这几个模型的验证预测值做加权平均往往就能比单模型低零点几个千分点。更进阶一点的做法是Stacking拿第一层模型的预测结果作为新特征喂给第二层模型。我用过一个很实用的组合第一层用Lasso、Ridge、ElasticNet、LightGBM、XGBoost做5折交叉验证每个模型生成一个OOF预测第二层用Ridge去拟合这些OOF预测。这种做法的逻辑是让第二层模型去学习第一层模型各自的优缺点从而更聪明地加权。Stacking最怕的是第一层模型之间相关性太高那样融合收益会大打折扣。所以我会特意让模型之间保持差异性线性模型专门去吃特征组合和log变换带来的信息树模型去吃非线性交互这样融合出来的结果才有提升。4. 实操一整套可跑的房价预测流程4.1 环境与数据准备我用的环境是Kaggle Notebook自带的Python 3.10镜像依赖库在requirements里基本都有。如果你本地方便也可以用conda建一个环境把pandas、numpy、scikit-learn、xgboost、lightgbm、matplotlib、seaborn装上。数据文件就两个train.csv和test.csv加上一个sample_submission.csv。用pandas读进来之后我习惯把train和test合在一起做特征工程确保两边变换的语义完全一致。合并的另一个好处是某些类别特征的level如果只在test里出现单独处理很容易报错。import pandas as pd import numpy as np from scipy import stats from sklearn.model_selection import KFold from sklearn.linear_model import ElasticNet, Ridge, Lasso from sklearn.preprocessing import StandardScaler, LabelEncoder import lightgbm as lgb import xgboost as xgb train pd.read_csv(/kaggle/input/house-prices-advanced-regression-techniques/train.csv) test pd.read_csv(/kaggle/input/house-prices-advanced-regression-techniques/test.csv) submission pd.read_csv(/kaggle/input/house-prices-advanced-regression-techniques/sample_submission.csv) y train[SalePrice] y_log np.log1p(y) all_data pd.concat([train.drop(SalePrice, axis1), test], axis0, ignore_indexTrue)这里有一个小技巧把y单独拎出来用log1p变换后面所有对feature的处理都在all_data上完成。这样train和test的特征变换路径完全是同一条不会出现数据泄漏。而且后续做交叉验证的时候验证集的OOF预测也都是在log空间里比较的指标稳定很多。4.2 预处理与特征构建代码缺失值填充这一步我建议分几类处理。先写一个简单的填充逻辑# 数值型缺失填0类别型缺失填None numeric_cols all_data.select_dtypes(include[np.number]).columns categorical_cols all_data.select_dtypes(include[object]).columns all_data[numeric_cols] all_data[numeric_cols].fillna(0) all_data[categorical_cols] all_data[categorical_cols].fillna(None)但LotFrontage要做特殊处理按Neighborhood分组中位数填充lot_frontage_by_neighborhood all_data.groupby(Neighborhood)[LotFrontage].transform(lambda x: x.fillna(x.median())) all_data[LotFrontage] lot_frontage_by_neighborhood.fillna(0)接着做偏度检查和log变换。我封装了一个函数skewed_features all_data[numeric_cols].apply(lambda x: stats.skew(x.dropna())).sort_values(ascendingFalse) high_skew skewed_features[skewed_features 0.75].index for feature in high_skew: all_data[feature] np.log1p(all_data[feature])然后做组合特征。这部分属于经验活我会把上一节提到的几个经典组合都堆上去all_data[TotalSF] all_data[TotalBsmtSF] all_data[1stFlrSF] all_data[2ndFlrSF] all_data[TotalBath] all_data[FullBath] 0.5 * all_data[HalfBath] all_data[BsmtFullBath] 0.5 * all_data[BsmtHalfBath] all_data[TotalPorchSF] all_data[OpenPorchSF] all_data[EnclosedPorch] all_data[3SsnPorch] all_data[ScreenPorch] all_data[WoodDeckSF] all_data[RemodAge] all_data[YrSold] - all_data[YearRemodAdd] all_data[Age] all_data[YrSold] - all_data[YearBuilt] all_data[OverallGrade] all_data[OverallQual] * all_data[GrLivArea]注意这里的列名要和原始数据一致不同版本的Kaggle数据集列名略有差异建议先把all_data.columns打印出来确认。做完这些特征之后维度通常会到250以上。类别特征处理上我一般用LabelEncoder做有序编码因为树模型不介意这种处理方式。如果后续要跑线性模型再单独对类别特征做OneHot也不迟但全量OneHot会让特征爆炸我这个赛题里通常只对Neighborhood、MS Zoning、Sale Type这些高基数特征做OneHot其他都保留LabelEncoder后的数值。4.3 训练、验证与提交先定义一版特征列表然后写一个K折验证的框架。这块是整个流程的核心我需要同时检验线性模型和树模型的效果。from sklearn.model_selection import KFold X all_data[:train.shape[0]] X_test all_data[train.shape[0]:] # 对线性模型先把X标准化 scaler StandardScaler() X_scaled scaler.fit_transform(X) X_test_scaled scaler.transform(X_test) kf KFold(n_splits10, shuffleTrue, random_state42)然后跑Lasso、Ridge、ElasticNet这三个模型的OOF预测from sklearn.linear_model import Lasso, Ridge, ElasticNet from sklearn.metrics import mean_squared_error lasso Lasso(alpha0.0005, random_state42) ridge Ridge(alpha10) enet ElasticNet(alpha0.001, l1_ratio0.5, random_state42) oof_lasso np.zeros(X.shape[0]) oof_ridge np.zeros(X.shape[0]) oof_enet np.zeros(X.shape[0]) pred_lasso np.zeros(X_test.shape[0]) pred_ridge np.zeros(X_test.shape[0]) pred_enet np.zeros(X_test.shape[0]) for tr_idx, va_idx in kf.split(X_scaled): lasso.fit(X_scaled[tr_idx], y_log.iloc[tr_idx]) ridge.fit(X_scaled[tr_idx], y_log.iloc[tr_idx]) enet.fit(X_scaled[tr_idx], y_log.iloc[tr_idx]) oof_lasso[va_idx] lasso.predict(X_scaled[va_idx]) oof_ridge[va_idx] ridge.predict(X_scaled[va_idx]) oof_enet[va_idx] enet.predict(X_scaled[va_idx]) pred_lasso lasso.predict(X_test_scaled) / kf.n_splits pred_ridge ridge.predict(X_test_scaled) / kf.n_splits pred_enet enet.predict(X_test_scaled) / kf.n_splits print(fLasso RMSE: {mean_squared_error(y_log, oof_lasso, squaredFalse):.5f}) print(fRidge RMSE: {mean_squared_error(y_log, oof_ridge, squaredFalse):.5f}) print(fElasticNet RMSE: {mean_squared_error(y_log, oof_enet, squaredFalse):.5f})树模型这边用LightGBM再走一遍同样的K折逻辑lgb_oof np.zeros(X.shape[0]) lgb_pred np.zeros(X_test.shape[0]) for tr_idx, va_idx in kf.split(X): dtrain lgb.Dataset(X.iloc[tr_idx], labely_log.iloc[tr_idx]) dvalid lgb.Dataset(X.iloc[va_idx], labely_log.iloc[va_idx]) model lgb.train( params, dtrain, num_boost_round10000, valid_sets[dvalid], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(100)] ) lgb_oof[va_idx] model.predict(X.iloc[va_idx], num_iterationmodel.best_iteration) lgb_pred model.predict(X_test, num_iterationmodel.best_iteration) / kf.n_splits print(fLightGBM RMSE: {mean_squared_error(y_log, lgb_oof, squaredFalse):.5f})最后把几个模型的预测值做加权平均我一般直接给树模型更高的权重比如Lasso、Ridge、ElasticNet各0.1LightGBM 0.7然后benchmark一下效果再微调final_pred 0.1 * pred_lasso 0.1 * pred_ridge 0.1 * pred_enet 0.7 * lgb_pred submission[SalePrice] np.expm1(final_pred) submission.to_csv(submission.csv, indexFalse)提交文件只需要两列Id和SalePrice。这个流程跑完分数基本能稳定在0.12附近。我自己测试的几轮里融合后的验证RMSE比单一LightGBM低了大概0.002左右看起来不大但在排行榜上名次能差出一截。5. 我把踩过的坑整理成了速查表5.1 常见报错与排查思路训练过程中最容易遇到的是这些问题我按照出现频率列个表问题原因解决方案提交后RMSE在0.5以上忘了对目标变量取log或提交时没有expm1还原检查提交文件里SalePrice的范围应在几万美元量级LightGBM报categorical feature错误类别特征包含字符串类型且没有指定categorical_feature用LabelEncoder统一转数值或者显式传入categorical_feature参数Lasso收敛慢alpha设置过大或特征未标准化把alpha降到0.0001-0.001范围并且确认做了StandardScaler模型验证分数和线上分数差距大交叉验证种子选择不当或者特征里存在数据泄漏换多个seed验证检查是否有用到了test信息做填充的特征某列全为单一值该特征几乎无信息量直接删除该列对模型没有影响还有一类隐性问题把train和test合并之后某些基于全量数据做的变换比如中位数填充会把test的信息“泄漏”到train里。这个赛题数据量小影响不大但养成习惯很重要。在真实业务中一定要在训练集内做fit再transform测试集。5.2 关于分数波动和过拟合的体会我在跑这个项目时发现LightGBM的验证RMSE在不同随机种子下会有0.001左右的波动。这不是bug而是数据量小的正常现象。所以我不建议只用一个种子定终局而是跑3-5个不同种子取平均预测这样提交出去的结果会更稳。另一个容易过拟合的地方是特征工程。当你造了几百个特征之后训练集上的分数会很好但验证集可能已经不再下降。我一般会用一个简单规则控制每个新增特征如果验证集RMSE下降不到0.0005就果断砍掉。宁可少做不要贪多。5.3 关于新手的几个实操建议如果你现在才开始接触这个项目我建议按顺序做三件事先把baseline跑通提交一次拿到分数建立“提交-反馈”的闭环然后做特征工程每加一个特征就重新验证感受它对分数的影响最后再考虑模型融合因为融合带来的提升如果没有强特征支撑效果非常有限。学习的过程中多看看公开的Notebook但不要照抄。挑几个排名靠前的方案读读看它们是怎么做特征选择的比闷头调参有用得多。5.4 从房价预测出发还能往哪走这个赛题做完之后你可以顺路去了解几个相关的方向时间序列预测如果数据集换成房价随时间变化的月度数据就变成时序预测问题了地理空间特征给数据加上经纬度或街区距离特征就能做更细粒度的区位分析自动机器学习用AutoGluon或TPOT之类的库试试同样的数据看它们能自动搜到什么方案。我个人在实际操作中最深的一个体会是Kaggle竞赛学到的东西在真正做数据分析项目时非常耐打。这个房价预测赛题里涉及到的每一个环节——缺失值语义、偏度变换、交叉验证、模型融合——放到工作中都是天天要用的基本功。哪怕你之后不参加任何竞赛认认真真把这个项目的完整流程跑一遍也比单纯看十篇教程有用得多。
