简介泰坦尼克号幸存者预测是经典的机器学习入门项目这份资源基于 Python 实现面向课程设计、期末大作业场景也适合刚接触数据分析和机器学习的新手参考学习。压缩包内共 5 个文件包含 Python 源码、可视化脚本、Jupyter Notebook 分析文档、数据集以及说明文档整体大小约 33KB结构清晰便于对照运行。项目代码附有详细注释覆盖数据预处理、特征分析与模型预测等关键环节能够帮助读者快速理解完整流程并可直接部署作为课设作品提交。目前已有 746 人学习下载是高分大作业资源。无论是用于期末答辩还是作为数据分析入门练习这个项目都能提供落地参考。1. 泰坦尼克号幸存者预测为什么这份Python大作业值得照着敲一遍泰坦尼克号幸存者预测大概是Python数据分析课程设计里出现频率最高的题目数据集只有891行、字段十来个用决策树就能跑出一个像样的结果但要往上提准确率又会自然逼出特征工程、交叉验证和参数调优的完整链路。这份资源包含titanic_data.csv数据集、titanic_survival_exploration.ipynb主notebook和titanic_visualizations.py可视化辅助脚本代码逐段带注释数据读取、可视化、建模、评估一条线走完新手照着敲一遍就能跑通改写几处就能当课设交。适合正在写Python期末大作业的同学也适合想用一个小项目把pandas、matplotlib、sklearn整条链路串一遍的入门者答辩时还能顺着代码从头讲到尾。2. 数据摸底从titanic_data.csv里挖出幸存者的关键特征拿到csv文件先别急着建模。经验是足够细致的数据摸底省下的时间比建模本身还多。这一章把字段含义、缺失值分布和可视化脚本逐一过一遍全部做完你已经能预估出模型的准确率区间而不是盲目调参。2.1 字段清单哪些列直接决定生存率先把文件读进来确认行数和每列类型。这是全套动作的第一步也是最容易被跳过的import pandas as pd df pd.read_csv(titanic_data.csv) print(df.shape) print(df.dtypes) print(df.head())运行结果显示(891, 12)也就是891名乘客、12个字段。dtypes里Survived、Pclass、SibSp、Parch是int64Age、Fare是float64Name、Sex、Ticket、Cabin、Embarked是object文本类型。这里有一个判断经验凡是object类型列送进sklearn之前必须编码否则fit阶段直接报错凡是float64列要先看有没有NaN有NaN就得先补缺失值再进模型。把12个字段逐项盘一遍可以分成四组来对待。第一组是PassengerId纯编号模型里根本不该出现它每一行都不同决策树如果拿它当特征会疯狂分支却学不到任何规律。第二组是直接能用的强特征Pclass、Sex、Age、Fare。Pclass是舱位等级1/2/3三等舱占比接近一半是生存率差异最明显的特征之一Sex只有male/female两个取值历史数据里女性幸存率远高于男性Age跨度从0.42岁到80岁儿童优先逃生的规则会体现在这一列。第三组是弱特征SibSp、Parch单独看效果一般但相加成FamilySize后能暴露独自出行的人幸存率偏低这个规律具体做法放到第3章。第四组是基本放弃的Ticket、CabinTicket是字符串票号同一家族共享票号处理成本高收益低Cabin缺失687个缺失率超过77%补不回来。用一个字段表把这12列整理清楚正好方便课设报告里直接引用字段类型含义建模建议PassengerIdint乘客编号不用Survivedint是否幸存 0/1标签列Pclassint舱位等级 1/2/3直接使用Nameobject姓名提取TitleSexobject性别编码为0/1Agefloat年龄补缺失后使用SibSpint同行兄弟姐妹/配偶数合成FamilySizeParchint同行父母/子女数合成FamilySizeTicketobject票号不用Farefloat票价直接使用或分桶Cabinobject舱室号不用Embarkedobject登船港 S/Q/COneHot编码这张表是整份资源的第一个小抄把它放进报告的数据说明部分答辩时评委问你怎么选特征的直接对着表答就行。2.2 缺失值与分布检查Age、Cabin、Embarked三处要处理读进来之后立刻做全局缺失排查print(df.isnull().sum())常见输出是PassengerId 0、Survived 0、Age 177、Cabin 687、Embarked 2。三条处理路线分开说Embarked只缺2行用众数填掉影响微乎其微Cabin缺687行缺失率77%以上强行填充只会引入噪声直接放弃这一列Age缺177行占比接近20%是特征工程的重点照顾对象第3章专门处理不在这里草率决定。再看数值列的分布摘要print(df.describe())describe输出count、mean、std、min、25%、50%、75%、max。值得注意几个数字Age的count是714印证了缺失177行Fare的max是512.33而75%分位只有31说明票价右偏严重、存在明显长尾Pclass均值2.3说明三等舱乘客占多数。这些数字在写报告数据说明部分时都要用答辩被问你对数据分布有没有概念就靠它们应对。Survived的分布单独确认这是baseline准确率的底线print(df[Survived].value_counts(normalizeTrue))normalizeTrue输出比例大约是一半多一些的遇难者、接近四成的幸存者具体数值通常是0遇难约0.616、1幸存约0.384。意思是哪怕模型什么都不学、全部预测0准确率也有61.6%。这个参照系从始至终都重要后面不管用什么模型准确率都要明显高于61.6%才算真正学到东西。2.3 titanic_visualizations.py现成可视化函数怎么配合notebook用资源包里的titanic_visualizations.py是可视化辅助模块封装了survival_stats函数。在notebook里导入并调用from titanic_visualizations import survival_stats survival_stats(df, Sex) survival_stats(df, Pclass)单独传一个字段时它画出该字段各取值对应的幸存比例。它也能传字段列表做交叉survival_stats(df, [Sex, Pclass])输出性别与舱位两两组合的生存率对比。这类图表对课设报告的价值在于让评委在第一页就看到女性头等舱幸存率最高这种直观结论比堆数字有说服力得多。这套可视化脚本还隐含了一个经典的分析动作——先验证几个假设再建模。常见做法是按字段分组做均值统计print(df.groupby(Sex)[Survived].mean()) print(df.groupby(Pclass)[Survived].mean())跑出来通常是female约0.74、male约0.19Pclass 1约0.63、Pclass 3约0.24。这一步叫探索性数据分析是课程设计报告中必须出现的一环。这里有一个血泪经验import这个脚本时如果notebook和py文件不在同一目录会直接ModuleNotFoundError。处理任何解压资源时都先执行一句print(os.getcwd())确认工作目录再把csv、py、ipynb三个文件放在同一层目录里这个坑能提前避开。3. 特征工程实战把Pclass、Age、Sex变成模型能吃的数值特征工程决定准确率上限这句话在这份资源里体现得很直接。原始12列直接进决策树准确率通常在77%上下把Age、Embarked、Name这些字段按下面的方式洗干净同样的模型能稳定提到82%以上。这一章按缺失值处理、类别编码、特征组合三个步骤展开每一步都会影响你最终汇报的分数。3.1 Age缺失值均值填充、中位数填充与分箱的取舍Age缺177行直接drop掉太浪费因为年龄是儿童幸存率研究的关键维度。处理Age几乎是每份泰坦尼克号脚本的必做动作差别只在于补法。全局均值填充最简单df[Age] df[Age].fillna(df[Age].mean())一行代码完事但问题在于把所有缺失行填成同一个约29.7岁忽略了不同舱位、不同性别乘客的年龄差异。更贴近真实分布的做法是按Pclass和Sex分组后填充df[Age] df.groupby([Pclass, Sex])[Age].transform(median)transform(median)会把每组的中位数广播回原DataFrame的每一行缺失值被替换成同舱位同性别乘客的典型年龄。比如头等舱女性缺失的Age填头等舱女性的年龄中位数而不是全局均值29.7这个细节对模型分数的影响在0.5个百分点左右答辩时讲出来也是亮点。想再激进一点把年龄分箱成类别特征。儿童优先逃生是历史上的真实规则0到12岁这个区间单独切出来很有意义bins [0, 12, 18, 30, 50, 80] labels [0, 1, 2, 3, 4] df[AgeBand] pd.cut(df[Age], binsbins, labelslabels) df[AgeBand] df[AgeBand].astype(int)cut按边界切分年龄落在哪个区间就映射成对应整数0代表儿童、1代表青少年、2代表青年、3代表中年、4代表老年。这里有一个顺序要求bins必须覆盖数据最小值到最大值Age最小值0.42、最大值80所以左边界从0开始右边界到80漏掉任何一段都会得到NaN。填缺失值之后再分箱的顺序也不能反先fillna后cut否则分箱时又遇到NaN。三种方式怎么选追求课设完成速度用均值填充想让模型更稳用分组中位数想展示自己理解业务规则就把分箱加上。我一般会同时保留Age原始列和AgeBand让模型自己决定用哪个。3.2 类别特征编码Sex与Embarked的map和OneHotSex只有两种取值直接map成0/1df[Sex] df[Sex].map({male: 0, female: 1})map的写法在课设里最直观好讲male映射0、female映射1。Embarked有三种取值S/C/Q这里要特别注意不能简单映射成0/1/2。如果映射成整数模型会错误理解成Q比C大、C比S大实际上登船港之间没有大小关系这是新手最容易犯的编码错误之一。正确方式是用OneHotdf[Embarked] df[Embarked].fillna(df[Embarked].mode()[0]) df pd.get_dummies(df, columns[Embarked], prefixEmb)先填众数再编码生成Emb_S、Emb_C、Emb_Q三列0/1特征。get_dummies适合在课设里直接用底层原理和sklearn的OneHotEncoder一致。想写得工程化一点可以用from sklearn.preprocessing import OneHotEncoder encoder OneHotEncoder(handle_unknownignore, sparse_outputFalse) emb_encoded encoder.fit_transform(df[[Embarked]])区别在于get_dummies直接跟DataFrame互动OneHotEncoder能放进pipeline、对未知类别自动忽略。对于答辩二选一都能说清但被追问为什么Sex不OneHot而Embarked要时回答二分类label编码不引入虚假大小关系多分类OneHot才能消除顺序假设是加分项。3.3 特征组合FamilySize、IsAlone与Title提取把SibSp和Parch合成一个特征来自一个很直观的观察家庭规模和逃生决策相关。单独看SibSp或Parch都是离散小整数决策树很难用好相加之后变成家庭人数规律就出来了df[FamilySize] df[SibSp] df[Parch] 1 df[IsAlone] (df[FamilySize] 1).astype(int)加1是把自己算进去FamilySize1就是独行乘客据此派生IsAlone。历史数据里独行乘客幸存率偏低这个特征在决策树里经常被选中。写课设报告时可以说独自出行无人协助搜索逃生路线生存率下降这是模型信号与业务逻辑对上的一处。Name列不做处理就是噪声但提取出称谓之后会变成强特征。用正则一步到位df[Title] df[Name].str.extract(r ([A-Za-z])\., expandFalse)正则r ([A-Za-z]).匹配空格后到句点前的单词正好是Mr、Mrs、Miss、Master这类称谓。数据里有相当数量的低频称谓比如Capt、Don、Lady、Countess、Major、Rev、Sir、Jonkheer样本太少没法单独形成有效分支合并成Raredf[Title] df[Title].replace([ Lady, Countess, Capt, Col, Don, Dr, Major, Rev, Sir, Jonkheer, Dona], Rare) df[Title] df[Title].map( {Mr: 0, Miss: 1, Mrs: 2, Master: 3, Rare: 4} ).fillna(4).astype(int)Title之所以有用在于它同时携带性别与年龄信号Master通常是男孩、Mrs通常是已婚女性、Mr通常是成年男性比单独用Sex和Age更粗粒度地刻画了谁更容易优先登上救生艇。到这一步可以确定特征列表和标签列feature_cols [Pclass, Sex, Age, SibSp, Parch, Fare, Emb_S, Emb_C, Emb_Q, FamilySize, IsAlone, Title, AgeBand] X df[feature_cols] y df[Survived]这张X对后续所有模型生效随机森林能稳定拿到82%-84%的测试集准确率比原始特征直接建模高约5个百分点这就是特征工程价值的量化体现。4. 建模与评估从决策树到随机森林的完整流程特征工程做完建模本身反而很快。这一章是从baseline到集成模型的标准路径先划分数据集再跑单棵决策树拿第一个分数然后做交叉验证确认分数不虚最后用随机森林完成提准。每一步都有对应代码答辩讲这部分最稳。4.1 划分训练集和测试集固定随机种子防止翻车建模第一步永远是划分。用train_test_split把X和y切成训练和验证两部分from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy )三个参数逐个说。test_size0.2是留出20%的样本做测试891行的20%约178行足够验证又不至于让训练集太薄。random_state42固定随机种子任何随机过程的复现都靠它不设置的话每次运行划分不同、准确率有波动答辩被要求现场重跑就可能对不上之前报的数字。stratifyy是按y的类别比例做分层抽样保证训练集和测试集里幸存者占比都和全量数据接近。没有stratify时如果撞上一个不幸的随机种子测试集幸存者比例可能只有15%模型分数会全面失真。这三个参数在答辩里几乎必问能把stratify的意义讲清楚是实打实的加分项。4.2 决策树baseline第一版准确率怎么解读这一节对应notebook里最核心的建模动作from sklearn.tree import DecisionTreeClassifier dt DecisionTreeClassifier(max_depth5, random_state42) dt.fit(X_train, y_train) train_acc dt.score(X_train, y_train) test_acc dt.score(X_test, y_test) print(train acc:, train_acc) print(test acc:, test_acc)max_depth5限制树最多长5层目的就是防过拟合。决策树不限制深度时训练集准确率能逼近100%因为它可以把每个样本都分到独立叶节点但测试集不会同步提高这就是背答案式过拟合。max_depth5跑出来的常见结果训练准确率约84%-86%测试准确率约78%-81%两者差距在5个百分点以内属于正常。如果训练远高于测试优先把max_depth降到3再试如果两者都低到70%附近多半是特征工程偷懒了回头检查Age和Title处理。想看树具体学了什么可以输出结构from sklearn.tree import export_text print(export_text(dt, feature_nameslist(X.columns)))export_text以文本形式打印树的每一层判断条件和样本分布比如第一层通常是Sex0.5即是否为男性第二层接着按Pclass或Fare分支。答辩时把这段贴进报告模型第一层就按性别分流这句话比讲一百句算法原理都直观。4.3 交叉验证评估结果别只信一次划分单次划分的test_acc受178行验证样本的随机性影响换个random_state可能涨跌两个百分点。更可信的做法是K折交叉验证from sklearn.model_selection import cross_val_score scores cross_val_score(dt, X, y, cv5, scoringaccuracy) print(scores) print(mean:, scores.mean(), std:, scores.std())cv5把数据分成5份每次取4份训练、1份验证轮流5次得到5个准确率。scores.std()如果超过0.02说明模型在不同数据子集上稳定性差可能某个特征分布不均匀或者有离群值在干扰。交叉验证的意义在于用多次划分的平均分替代单次数值课程设计里的模型准确率建议既报单次test_acc也报交叉验证均值两个数字互相佐证比只给一个数可信得多。想理解K折底层机制可以手动写一遍from sklearn.model_selection import KFold kf KFold(n_splits5, shuffleTrue, random_state42) for fold, (train_idx, val_idx) in enumerate(kf.split(X)): X_tr, X_val X.iloc[train_idx], X.iloc[val_idx] y_tr, y_val y.iloc[train_idx], y.iloc[val_idx]shuffleTrue表示先打乱数据再切分防止原始数据按某种顺序排列导致某一折全是同一类样本。这个手动版本虽然实际代码里直接用cross_val_score就好但能帮你把5折是怎么切出来的讲明白。4.4 随机森林集成模型提准的性价比之选单棵树换成随机森林代码改动极小收益却明显from sklearn.ensemble import RandomForestClassifier rf RandomForestClassifier( n_estimators100, max_depth6, random_state42, oob_scoreTrue ) rf.fit(X_train, y_train) print(rf train acc:, rf.score(X_train, y_train)) print(rf test acc:, rf.score(X_test, y_test)) print(oob acc:, rf.oob_score_)n_estimators100表示生成100棵决策树最后投票决定预测结果单棵树的随机偏差被集体投票平均掉。max_depth6控制单棵树复杂度森林里的树比单棵决策树稍微深一点是合理的。oob_scoreTrue计算袋外样本准确率随机森林每棵树只用了约63%的样本训练剩余37%天然可以作为验证集oob_score是对泛化能力的无偏估计它和test_acc接近就说明模型没有严重过拟合。特征重要性也要打印出来这是报告里最常被引用的一张表。随机森林里每次分裂只从部分特征中挑最佳分裂点默认max_featuressqrt这个随机性让树与树之间有差异也是随机二字的来源之一。查看贡献度的代码如下for name, imp in sorted( zip(X.columns, rf.feature_importances_), keylambda x: x[1], reverseTrue ): print(f{name}: {imp:.4f})跑完通常是Sex和Title排前两位接着Fare、AgeBand、Pclass最末尾往往是SibSp和Embarked编码列。feature_importances_表示每个特征在所有树中被选作分裂点的贡献总和数值汇总为1。它有两个用途写报告时证明特征工程方向正确以及发现无效特征后把它们从feature_cols里删掉再跑一次分数可能还涨一点。这一步做完第4章的建模闭环就完整了。5. 避坑指南跑这份项目最常见的五个翻车现场这一章记录的是拆解这份资源时踩过或见过别人踩的坑按现象→原因→解决写每一组都能直接照做。准备交作业或者做二次开发之前把这章扫一遍能省下一个晚上的调试时间。5.1 现象fit时报ValueError提示could not convert string to float在没做特征工程的原始DataFrame上直接fitsklearn会立刻报这个错。原因很直接X里混进了Sex、Embarked、Name、Ticket这些object列模型只吃数值。解决分两步先定位print(X_train.dtypes[X_train.dtypes object])输出结果就是没编码干净的列。接着按第3章的方式做编码或者直接从feature_cols里删掉最后用X_train.dtypes确认全部是int或float再fit。这个错误最常见的发生原因不是忘了编码而是前后两份特征列表不一致——前半段清理了Sex后半段又拼回了包含Name的原始列排查时优先检查feature_cols的定义处。5.2 现象predict时报错提示X has n features but the model is expecting m features训练和预测的特征列数对不上。典型的翻车点是get_dummies只在训练集上调用、测试集没走同样的转换或者填充Age的顺序在两条数据上不一致。解决方法是把特征工程封装成函数让训练集和测试集走同一套逻辑def feature_engineer(data): data data.copy() data[Age] data.groupby([Pclass, Sex])[Age].transform(median) data[FamilySize] data[SibSp] data[Parch] 1 data pd.get_dummies(data, columns[Embarked], prefixEmb) return data X_train feature_engineer(X_train) X_test feature_engineer(X_test)函数内先copy避免对原DataFrame做链式修改引发SettingWithCopyWarning。转换完加一行断言做保险assert list(X_train.columns) list(X_test.columns)列名列表完全一致才往下走。如果此刻报AssertionError说明某一步的编码或填充只作用了其中一个集合。提示对泰坦尼克号这类小数据集特征工程逻辑一定集中在同一个函数里不要在notebook里分散写两遍分散是列数对不上的头号来源。5.3 现象准确率很高但混淆矩阵里某一类预测数全是0准确率80%看着不错但confusion_matrix打出来发现幸存者一行全是0模型把所有测试样本都预测成了遇难者。原因前面提过全预测0的准确率也有约61.6%如果类别不平衡、模型又偏向多数类就会出现这种虚高准确率。解决是打印混淆矩阵和分类报告from sklearn.metrics import confusion_matrix, classification_report y_pred rf.predict(X_test) print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred))前面看到幸存者约38%、遇难者约62%如果分类报告里幸存者的recall明显低于0.6说明模型对少数类识别不足。处理方向有两个调class_weight让模型在训练时提高少数类权重或者改用recall和f1-score作为主要评估指标。rf_balanced RandomForestClassifier( class_weightbalanced, n_estimators100, random_state42 )class_weightbalanced会自动按类别频率反比设置权重少数类样本的损失被放大模型会更努力去拟合它们。课设里如果只报accuracy这个坑很容易被忽略因为80%的虚高常让人以为模型做得很好。5.4 现象import titanic_visualizations报ModuleNotFoundErrornotebook的工作目录和py文件所在目录不一致时导入失败。Jupyter默认把启动目录放在sys.path里解压到别的文件夹再打开notebook就找不到模块。解决确认titanic_visualizations.py、titanic_data.csv和notebook在同一个目录并在notebook开头打印工作目录import os print(os.getcwd())不对的话用os.chdir切换Windows路径注意转义os.chdir(rD:\course\project\titanic)字符串前加r表示原始字符串反斜杠不会被当成转义符。切完目录再import就正常了。同样的目录问题也会出现在pd.read_csv(titanic_data.csv)上csv找不到会报FileNotFoundError解决办法一致先确认csv和notebook同目录再考虑路径写法。5.5 现象代码跑通但中文注释乱码或matplotlib图里中文变方块这是个环境坑。Windows下Python读取UTF-8源码文件时默认编码可能是GBK中文字符直接乱码matplotlib画图默认字体不含中文字形图里的幸存率会显示成方块。对notebook来说乱码通常来自ipynb文件本身编码损坏Jupyter里可以手动File→Revert to Saved重新加载。对绘图脚本加上中文字体配置import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Arial Unicode MS] plt.rcParams[axes.unicode_minus] FalseSimHei是Windows黑体axes.unicode_minusFalse解决负号显示成方块的问题。还有一个容易被忽略的点答辩前把notebook用Kernel→Restart Run All整体重跑一遍确保旧output清理干净、运行顺序正确。notebook里残存的旧输出会和新结果混在一起现场演示时最容易暴露这步一定不要省。6. 用GridSearchCV把准确率再推两个点最后的提分动作参数微调属于进阶动作手动试max_depth和n_estimators完全是玄学。改用网格搜索把参数空间一次跑完from sklearn.model_selection import GridSearchCV param_grid { n_estimators: [50, 100, 200], max_depth: [3, 5, 7], min_samples_leaf: [1, 3, 5] } gs GridSearchCV( RandomForestClassifier(random_state42), param_grid, cv5, scoringaccuracy ) gs.fit(X_train, y_train) print(gs.best_params_) print(gs.best_score_)3×3×3共27组参数组合每组做5折交叉验证一共135次fit泰坦尼克号的数据量小十几秒能跑完。走完通常最优参数落在n_estimators100到200、max_depth5到7、min_samples_leaf3附近。这里有个细节gs.best_score_是交叉验证平均分不是最终现场指标报告时要用best_estimator_在测试集上重新评分best_rf gs.best_estimator_ y_pred best_rf.predict(X_test) print(final acc:, (y_pred y_test).mean()) print(classification_report(y_test, y_pred))最终测试集分数通常落在83%-85%之间比直接跑随机森林高1到2个百分点。把feature_importances_按第4章方式打印成表配合测试集分数、交叉验证分数放进报告这一套下来数据就很完整了。从那以后每次做完这个项目我都会强制把notebook从头到尾Run All一遍确认没有残留的旧output或者半截特征工程再生成报告截图。课设答辩最怕的就是模型图还在但代码重跑全红。希望这份流程能帮你把泰坦尼克号幸存者预测做成一份真正能讲、能复现、能拿高分的课设作业。本文还有配套的精品资源点击获取
简介泰坦尼克号幸存者预测是经典的机器学习入门项目这份资源基于 Python 实现面向课程设计、期末大作业场景也适合刚接触数据分析和机器学习的新手参考学习。压缩包内共 5 个文件包含 Python 源码、可视化脚本、Jupyter Notebook 分析文档、数据集以及说明文档整体大小约 33KB结构清晰便于对照运行。项目代码附有详细注释覆盖数据预处理、特征分析与模型预测等关键环节能够帮助读者快速理解完整流程并可直接部署作为课设作品提交。目前已有 746 人学习下载是高分大作业资源。无论是用于期末答辩还是作为数据分析入门练习这个项目都能提供落地参考。1. 泰坦尼克号幸存者预测为什么这份Python大作业值得照着敲一遍泰坦尼克号幸存者预测大概是Python数据分析课程设计里出现频率最高的题目数据集只有891行、字段十来个用决策树就能跑出一个像样的结果但要往上提准确率又会自然逼出特征工程、交叉验证和参数调优的完整链路。这份资源包含titanic_data.csv数据集、titanic_survival_exploration.ipynb主notebook和titanic_visualizations.py可视化辅助脚本代码逐段带注释数据读取、可视化、建模、评估一条线走完新手照着敲一遍就能跑通改写几处就能当课设交。适合正在写Python期末大作业的同学也适合想用一个小项目把pandas、matplotlib、sklearn整条链路串一遍的入门者答辩时还能顺着代码从头讲到尾。2. 数据摸底从titanic_data.csv里挖出幸存者的关键特征拿到csv文件先别急着建模。经验是足够细致的数据摸底省下的时间比建模本身还多。这一章把字段含义、缺失值分布和可视化脚本逐一过一遍全部做完你已经能预估出模型的准确率区间而不是盲目调参。2.1 字段清单哪些列直接决定生存率先把文件读进来确认行数和每列类型。这是全套动作的第一步也是最容易被跳过的import pandas as pd df pd.read_csv(titanic_data.csv) print(df.shape) print(df.dtypes) print(df.head())运行结果显示(891, 12)也就是891名乘客、12个字段。dtypes里Survived、Pclass、SibSp、Parch是int64Age、Fare是float64Name、Sex、Ticket、Cabin、Embarked是object文本类型。这里有一个判断经验凡是object类型列送进sklearn之前必须编码否则fit阶段直接报错凡是float64列要先看有没有NaN有NaN就得先补缺失值再进模型。把12个字段逐项盘一遍可以分成四组来对待。第一组是PassengerId纯编号模型里根本不该出现它每一行都不同决策树如果拿它当特征会疯狂分支却学不到任何规律。第二组是直接能用的强特征Pclass、Sex、Age、Fare。Pclass是舱位等级1/2/3三等舱占比接近一半是生存率差异最明显的特征之一Sex只有male/female两个取值历史数据里女性幸存率远高于男性Age跨度从0.42岁到80岁儿童优先逃生的规则会体现在这一列。第三组是弱特征SibSp、Parch单独看效果一般但相加成FamilySize后能暴露独自出行的人幸存率偏低这个规律具体做法放到第3章。第四组是基本放弃的Ticket、CabinTicket是字符串票号同一家族共享票号处理成本高收益低Cabin缺失687个缺失率超过77%补不回来。用一个字段表把这12列整理清楚正好方便课设报告里直接引用字段类型含义建模建议PassengerIdint乘客编号不用Survivedint是否幸存 0/1标签列Pclassint舱位等级 1/2/3直接使用Nameobject姓名提取TitleSexobject性别编码为0/1Agefloat年龄补缺失后使用SibSpint同行兄弟姐妹/配偶数合成FamilySizeParchint同行父母/子女数合成FamilySizeTicketobject票号不用Farefloat票价直接使用或分桶Cabinobject舱室号不用Embarkedobject登船港 S/Q/COneHot编码这张表是整份资源的第一个小抄把它放进报告的数据说明部分答辩时评委问你怎么选特征的直接对着表答就行。2.2 缺失值与分布检查Age、Cabin、Embarked三处要处理读进来之后立刻做全局缺失排查print(df.isnull().sum())常见输出是PassengerId 0、Survived 0、Age 177、Cabin 687、Embarked 2。三条处理路线分开说Embarked只缺2行用众数填掉影响微乎其微Cabin缺687行缺失率77%以上强行填充只会引入噪声直接放弃这一列Age缺177行占比接近20%是特征工程的重点照顾对象第3章专门处理不在这里草率决定。再看数值列的分布摘要print(df.describe())describe输出count、mean、std、min、25%、50%、75%、max。值得注意几个数字Age的count是714印证了缺失177行Fare的max是512.33而75%分位只有31说明票价右偏严重、存在明显长尾Pclass均值2.3说明三等舱乘客占多数。这些数字在写报告数据说明部分时都要用答辩被问你对数据分布有没有概念就靠它们应对。Survived的分布单独确认这是baseline准确率的底线print(df[Survived].value_counts(normalizeTrue))normalizeTrue输出比例大约是一半多一些的遇难者、接近四成的幸存者具体数值通常是0遇难约0.616、1幸存约0.384。意思是哪怕模型什么都不学、全部预测0准确率也有61.6%。这个参照系从始至终都重要后面不管用什么模型准确率都要明显高于61.6%才算真正学到东西。2.3 titanic_visualizations.py现成可视化函数怎么配合notebook用资源包里的titanic_visualizations.py是可视化辅助模块封装了survival_stats函数。在notebook里导入并调用from titanic_visualizations import survival_stats survival_stats(df, Sex) survival_stats(df, Pclass)单独传一个字段时它画出该字段各取值对应的幸存比例。它也能传字段列表做交叉survival_stats(df, [Sex, Pclass])输出性别与舱位两两组合的生存率对比。这类图表对课设报告的价值在于让评委在第一页就看到女性头等舱幸存率最高这种直观结论比堆数字有说服力得多。这套可视化脚本还隐含了一个经典的分析动作——先验证几个假设再建模。常见做法是按字段分组做均值统计print(df.groupby(Sex)[Survived].mean()) print(df.groupby(Pclass)[Survived].mean())跑出来通常是female约0.74、male约0.19Pclass 1约0.63、Pclass 3约0.24。这一步叫探索性数据分析是课程设计报告中必须出现的一环。这里有一个血泪经验import这个脚本时如果notebook和py文件不在同一目录会直接ModuleNotFoundError。处理任何解压资源时都先执行一句print(os.getcwd())确认工作目录再把csv、py、ipynb三个文件放在同一层目录里这个坑能提前避开。3. 特征工程实战把Pclass、Age、Sex变成模型能吃的数值特征工程决定准确率上限这句话在这份资源里体现得很直接。原始12列直接进决策树准确率通常在77%上下把Age、Embarked、Name这些字段按下面的方式洗干净同样的模型能稳定提到82%以上。这一章按缺失值处理、类别编码、特征组合三个步骤展开每一步都会影响你最终汇报的分数。3.1 Age缺失值均值填充、中位数填充与分箱的取舍Age缺177行直接drop掉太浪费因为年龄是儿童幸存率研究的关键维度。处理Age几乎是每份泰坦尼克号脚本的必做动作差别只在于补法。全局均值填充最简单df[Age] df[Age].fillna(df[Age].mean())一行代码完事但问题在于把所有缺失行填成同一个约29.7岁忽略了不同舱位、不同性别乘客的年龄差异。更贴近真实分布的做法是按Pclass和Sex分组后填充df[Age] df.groupby([Pclass, Sex])[Age].transform(median)transform(median)会把每组的中位数广播回原DataFrame的每一行缺失值被替换成同舱位同性别乘客的典型年龄。比如头等舱女性缺失的Age填头等舱女性的年龄中位数而不是全局均值29.7这个细节对模型分数的影响在0.5个百分点左右答辩时讲出来也是亮点。想再激进一点把年龄分箱成类别特征。儿童优先逃生是历史上的真实规则0到12岁这个区间单独切出来很有意义bins [0, 12, 18, 30, 50, 80] labels [0, 1, 2, 3, 4] df[AgeBand] pd.cut(df[Age], binsbins, labelslabels) df[AgeBand] df[AgeBand].astype(int)cut按边界切分年龄落在哪个区间就映射成对应整数0代表儿童、1代表青少年、2代表青年、3代表中年、4代表老年。这里有一个顺序要求bins必须覆盖数据最小值到最大值Age最小值0.42、最大值80所以左边界从0开始右边界到80漏掉任何一段都会得到NaN。填缺失值之后再分箱的顺序也不能反先fillna后cut否则分箱时又遇到NaN。三种方式怎么选追求课设完成速度用均值填充想让模型更稳用分组中位数想展示自己理解业务规则就把分箱加上。我一般会同时保留Age原始列和AgeBand让模型自己决定用哪个。3.2 类别特征编码Sex与Embarked的map和OneHotSex只有两种取值直接map成0/1df[Sex] df[Sex].map({male: 0, female: 1})map的写法在课设里最直观好讲male映射0、female映射1。Embarked有三种取值S/C/Q这里要特别注意不能简单映射成0/1/2。如果映射成整数模型会错误理解成Q比C大、C比S大实际上登船港之间没有大小关系这是新手最容易犯的编码错误之一。正确方式是用OneHotdf[Embarked] df[Embarked].fillna(df[Embarked].mode()[0]) df pd.get_dummies(df, columns[Embarked], prefixEmb)先填众数再编码生成Emb_S、Emb_C、Emb_Q三列0/1特征。get_dummies适合在课设里直接用底层原理和sklearn的OneHotEncoder一致。想写得工程化一点可以用from sklearn.preprocessing import OneHotEncoder encoder OneHotEncoder(handle_unknownignore, sparse_outputFalse) emb_encoded encoder.fit_transform(df[[Embarked]])区别在于get_dummies直接跟DataFrame互动OneHotEncoder能放进pipeline、对未知类别自动忽略。对于答辩二选一都能说清但被追问为什么Sex不OneHot而Embarked要时回答二分类label编码不引入虚假大小关系多分类OneHot才能消除顺序假设是加分项。3.3 特征组合FamilySize、IsAlone与Title提取把SibSp和Parch合成一个特征来自一个很直观的观察家庭规模和逃生决策相关。单独看SibSp或Parch都是离散小整数决策树很难用好相加之后变成家庭人数规律就出来了df[FamilySize] df[SibSp] df[Parch] 1 df[IsAlone] (df[FamilySize] 1).astype(int)加1是把自己算进去FamilySize1就是独行乘客据此派生IsAlone。历史数据里独行乘客幸存率偏低这个特征在决策树里经常被选中。写课设报告时可以说独自出行无人协助搜索逃生路线生存率下降这是模型信号与业务逻辑对上的一处。Name列不做处理就是噪声但提取出称谓之后会变成强特征。用正则一步到位df[Title] df[Name].str.extract(r ([A-Za-z])\., expandFalse)正则r ([A-Za-z]).匹配空格后到句点前的单词正好是Mr、Mrs、Miss、Master这类称谓。数据里有相当数量的低频称谓比如Capt、Don、Lady、Countess、Major、Rev、Sir、Jonkheer样本太少没法单独形成有效分支合并成Raredf[Title] df[Title].replace([ Lady, Countess, Capt, Col, Don, Dr, Major, Rev, Sir, Jonkheer, Dona], Rare) df[Title] df[Title].map( {Mr: 0, Miss: 1, Mrs: 2, Master: 3, Rare: 4} ).fillna(4).astype(int)Title之所以有用在于它同时携带性别与年龄信号Master通常是男孩、Mrs通常是已婚女性、Mr通常是成年男性比单独用Sex和Age更粗粒度地刻画了谁更容易优先登上救生艇。到这一步可以确定特征列表和标签列feature_cols [Pclass, Sex, Age, SibSp, Parch, Fare, Emb_S, Emb_C, Emb_Q, FamilySize, IsAlone, Title, AgeBand] X df[feature_cols] y df[Survived]这张X对后续所有模型生效随机森林能稳定拿到82%-84%的测试集准确率比原始特征直接建模高约5个百分点这就是特征工程价值的量化体现。4. 建模与评估从决策树到随机森林的完整流程特征工程做完建模本身反而很快。这一章是从baseline到集成模型的标准路径先划分数据集再跑单棵决策树拿第一个分数然后做交叉验证确认分数不虚最后用随机森林完成提准。每一步都有对应代码答辩讲这部分最稳。4.1 划分训练集和测试集固定随机种子防止翻车建模第一步永远是划分。用train_test_split把X和y切成训练和验证两部分from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy )三个参数逐个说。test_size0.2是留出20%的样本做测试891行的20%约178行足够验证又不至于让训练集太薄。random_state42固定随机种子任何随机过程的复现都靠它不设置的话每次运行划分不同、准确率有波动答辩被要求现场重跑就可能对不上之前报的数字。stratifyy是按y的类别比例做分层抽样保证训练集和测试集里幸存者占比都和全量数据接近。没有stratify时如果撞上一个不幸的随机种子测试集幸存者比例可能只有15%模型分数会全面失真。这三个参数在答辩里几乎必问能把stratify的意义讲清楚是实打实的加分项。4.2 决策树baseline第一版准确率怎么解读这一节对应notebook里最核心的建模动作from sklearn.tree import DecisionTreeClassifier dt DecisionTreeClassifier(max_depth5, random_state42) dt.fit(X_train, y_train) train_acc dt.score(X_train, y_train) test_acc dt.score(X_test, y_test) print(train acc:, train_acc) print(test acc:, test_acc)max_depth5限制树最多长5层目的就是防过拟合。决策树不限制深度时训练集准确率能逼近100%因为它可以把每个样本都分到独立叶节点但测试集不会同步提高这就是背答案式过拟合。max_depth5跑出来的常见结果训练准确率约84%-86%测试准确率约78%-81%两者差距在5个百分点以内属于正常。如果训练远高于测试优先把max_depth降到3再试如果两者都低到70%附近多半是特征工程偷懒了回头检查Age和Title处理。想看树具体学了什么可以输出结构from sklearn.tree import export_text print(export_text(dt, feature_nameslist(X.columns)))export_text以文本形式打印树的每一层判断条件和样本分布比如第一层通常是Sex0.5即是否为男性第二层接着按Pclass或Fare分支。答辩时把这段贴进报告模型第一层就按性别分流这句话比讲一百句算法原理都直观。4.3 交叉验证评估结果别只信一次划分单次划分的test_acc受178行验证样本的随机性影响换个random_state可能涨跌两个百分点。更可信的做法是K折交叉验证from sklearn.model_selection import cross_val_score scores cross_val_score(dt, X, y, cv5, scoringaccuracy) print(scores) print(mean:, scores.mean(), std:, scores.std())cv5把数据分成5份每次取4份训练、1份验证轮流5次得到5个准确率。scores.std()如果超过0.02说明模型在不同数据子集上稳定性差可能某个特征分布不均匀或者有离群值在干扰。交叉验证的意义在于用多次划分的平均分替代单次数值课程设计里的模型准确率建议既报单次test_acc也报交叉验证均值两个数字互相佐证比只给一个数可信得多。想理解K折底层机制可以手动写一遍from sklearn.model_selection import KFold kf KFold(n_splits5, shuffleTrue, random_state42) for fold, (train_idx, val_idx) in enumerate(kf.split(X)): X_tr, X_val X.iloc[train_idx], X.iloc[val_idx] y_tr, y_val y.iloc[train_idx], y.iloc[val_idx]shuffleTrue表示先打乱数据再切分防止原始数据按某种顺序排列导致某一折全是同一类样本。这个手动版本虽然实际代码里直接用cross_val_score就好但能帮你把5折是怎么切出来的讲明白。4.4 随机森林集成模型提准的性价比之选单棵树换成随机森林代码改动极小收益却明显from sklearn.ensemble import RandomForestClassifier rf RandomForestClassifier( n_estimators100, max_depth6, random_state42, oob_scoreTrue ) rf.fit(X_train, y_train) print(rf train acc:, rf.score(X_train, y_train)) print(rf test acc:, rf.score(X_test, y_test)) print(oob acc:, rf.oob_score_)n_estimators100表示生成100棵决策树最后投票决定预测结果单棵树的随机偏差被集体投票平均掉。max_depth6控制单棵树复杂度森林里的树比单棵决策树稍微深一点是合理的。oob_scoreTrue计算袋外样本准确率随机森林每棵树只用了约63%的样本训练剩余37%天然可以作为验证集oob_score是对泛化能力的无偏估计它和test_acc接近就说明模型没有严重过拟合。特征重要性也要打印出来这是报告里最常被引用的一张表。随机森林里每次分裂只从部分特征中挑最佳分裂点默认max_featuressqrt这个随机性让树与树之间有差异也是随机二字的来源之一。查看贡献度的代码如下for name, imp in sorted( zip(X.columns, rf.feature_importances_), keylambda x: x[1], reverseTrue ): print(f{name}: {imp:.4f})跑完通常是Sex和Title排前两位接着Fare、AgeBand、Pclass最末尾往往是SibSp和Embarked编码列。feature_importances_表示每个特征在所有树中被选作分裂点的贡献总和数值汇总为1。它有两个用途写报告时证明特征工程方向正确以及发现无效特征后把它们从feature_cols里删掉再跑一次分数可能还涨一点。这一步做完第4章的建模闭环就完整了。5. 避坑指南跑这份项目最常见的五个翻车现场这一章记录的是拆解这份资源时踩过或见过别人踩的坑按现象→原因→解决写每一组都能直接照做。准备交作业或者做二次开发之前把这章扫一遍能省下一个晚上的调试时间。5.1 现象fit时报ValueError提示could not convert string to float在没做特征工程的原始DataFrame上直接fitsklearn会立刻报这个错。原因很直接X里混进了Sex、Embarked、Name、Ticket这些object列模型只吃数值。解决分两步先定位print(X_train.dtypes[X_train.dtypes object])输出结果就是没编码干净的列。接着按第3章的方式做编码或者直接从feature_cols里删掉最后用X_train.dtypes确认全部是int或float再fit。这个错误最常见的发生原因不是忘了编码而是前后两份特征列表不一致——前半段清理了Sex后半段又拼回了包含Name的原始列排查时优先检查feature_cols的定义处。5.2 现象predict时报错提示X has n features but the model is expecting m features训练和预测的特征列数对不上。典型的翻车点是get_dummies只在训练集上调用、测试集没走同样的转换或者填充Age的顺序在两条数据上不一致。解决方法是把特征工程封装成函数让训练集和测试集走同一套逻辑def feature_engineer(data): data data.copy() data[Age] data.groupby([Pclass, Sex])[Age].transform(median) data[FamilySize] data[SibSp] data[Parch] 1 data pd.get_dummies(data, columns[Embarked], prefixEmb) return data X_train feature_engineer(X_train) X_test feature_engineer(X_test)函数内先copy避免对原DataFrame做链式修改引发SettingWithCopyWarning。转换完加一行断言做保险assert list(X_train.columns) list(X_test.columns)列名列表完全一致才往下走。如果此刻报AssertionError说明某一步的编码或填充只作用了其中一个集合。提示对泰坦尼克号这类小数据集特征工程逻辑一定集中在同一个函数里不要在notebook里分散写两遍分散是列数对不上的头号来源。5.3 现象准确率很高但混淆矩阵里某一类预测数全是0准确率80%看着不错但confusion_matrix打出来发现幸存者一行全是0模型把所有测试样本都预测成了遇难者。原因前面提过全预测0的准确率也有约61.6%如果类别不平衡、模型又偏向多数类就会出现这种虚高准确率。解决是打印混淆矩阵和分类报告from sklearn.metrics import confusion_matrix, classification_report y_pred rf.predict(X_test) print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred))前面看到幸存者约38%、遇难者约62%如果分类报告里幸存者的recall明显低于0.6说明模型对少数类识别不足。处理方向有两个调class_weight让模型在训练时提高少数类权重或者改用recall和f1-score作为主要评估指标。rf_balanced RandomForestClassifier( class_weightbalanced, n_estimators100, random_state42 )class_weightbalanced会自动按类别频率反比设置权重少数类样本的损失被放大模型会更努力去拟合它们。课设里如果只报accuracy这个坑很容易被忽略因为80%的虚高常让人以为模型做得很好。5.4 现象import titanic_visualizations报ModuleNotFoundErrornotebook的工作目录和py文件所在目录不一致时导入失败。Jupyter默认把启动目录放在sys.path里解压到别的文件夹再打开notebook就找不到模块。解决确认titanic_visualizations.py、titanic_data.csv和notebook在同一个目录并在notebook开头打印工作目录import os print(os.getcwd())不对的话用os.chdir切换Windows路径注意转义os.chdir(rD:\course\project\titanic)字符串前加r表示原始字符串反斜杠不会被当成转义符。切完目录再import就正常了。同样的目录问题也会出现在pd.read_csv(titanic_data.csv)上csv找不到会报FileNotFoundError解决办法一致先确认csv和notebook同目录再考虑路径写法。5.5 现象代码跑通但中文注释乱码或matplotlib图里中文变方块这是个环境坑。Windows下Python读取UTF-8源码文件时默认编码可能是GBK中文字符直接乱码matplotlib画图默认字体不含中文字形图里的幸存率会显示成方块。对notebook来说乱码通常来自ipynb文件本身编码损坏Jupyter里可以手动File→Revert to Saved重新加载。对绘图脚本加上中文字体配置import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Arial Unicode MS] plt.rcParams[axes.unicode_minus] FalseSimHei是Windows黑体axes.unicode_minusFalse解决负号显示成方块的问题。还有一个容易被忽略的点答辩前把notebook用Kernel→Restart Run All整体重跑一遍确保旧output清理干净、运行顺序正确。notebook里残存的旧输出会和新结果混在一起现场演示时最容易暴露这步一定不要省。6. 用GridSearchCV把准确率再推两个点最后的提分动作参数微调属于进阶动作手动试max_depth和n_estimators完全是玄学。改用网格搜索把参数空间一次跑完from sklearn.model_selection import GridSearchCV param_grid { n_estimators: [50, 100, 200], max_depth: [3, 5, 7], min_samples_leaf: [1, 3, 5] } gs GridSearchCV( RandomForestClassifier(random_state42), param_grid, cv5, scoringaccuracy ) gs.fit(X_train, y_train) print(gs.best_params_) print(gs.best_score_)3×3×3共27组参数组合每组做5折交叉验证一共135次fit泰坦尼克号的数据量小十几秒能跑完。走完通常最优参数落在n_estimators100到200、max_depth5到7、min_samples_leaf3附近。这里有个细节gs.best_score_是交叉验证平均分不是最终现场指标报告时要用best_estimator_在测试集上重新评分best_rf gs.best_estimator_ y_pred best_rf.predict(X_test) print(final acc:, (y_pred y_test).mean()) print(classification_report(y_test, y_pred))最终测试集分数通常落在83%-85%之间比直接跑随机森林高1到2个百分点。把feature_importances_按第4章方式打印成表配合测试集分数、交叉验证分数放进报告这一套下来数据就很完整了。从那以后每次做完这个项目我都会强制把notebook从头到尾Run All一遍确认没有残留的旧output或者半截特征工程再生成报告截图。课设答辩最怕的就是模型图还在但代码重跑全红。希望这份流程能帮你把泰坦尼克号幸存者预测做成一份真正能讲、能复现、能拿高分的课设作业。本文还有配套的精品资源点击获取
