🧠 一、开始
真正动手实现一个完整的AI项目！从数据预处理、特征工程、模型训练，到评估与调优，一步步还原你在动画视频中看到的所有核心知识点。
📦 二、环境准备
建议使用 Python 3.8+，推荐工具：
pip install scikit-learn pandas matplotlib seaborn numpy
📊 三、案例背景：预测大学生能否被录取
我们将使用一个简化的数据集（模拟大学申请系统），包含：
| GRE Score | TOEFL Score | GPA | University Rating | Research | Admit |
|---|---|---|---|---|---|
| 330 | 115 | 9.0 | 5 | 1 | 1 |
| 312 | 103 | 8.1 | 3 | 0 | 0 |
| … | … | … | … | … | … |
📥 四、加载数据与可视化探索
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as pltdf = pd.read_csv('https://raw.githubusercontent.com/amankharwal/Website-data/master/Admission_Predict.csv')
df.columns = df.columns.str.strip()# 简化目标变量
df['Admit'] = df['Chance of Admit '] > 0.75
df['Admit'] = df['Admit'].astype(int)# 预览数据
print(df.head())# 可视化相关性
sns.heatmap(df.corr(), annot=True, cmap='Blues')
plt.title('Correlation Matrix')
plt.show()
🧹 五、特征工程 & 数据预处理
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScalerX = df.drop(['Chance of Admit ', 'Admit'], axis=1)
y = df['Admit']# 标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)# 拆分训练集与测试集
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)
🤖 六、构建模型与训练
我们使用逻辑回归（Logistic Regression）作为分类模型，后续也会加入其他模型做对比。
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, classification_reportmodel = LogisticRegression()
model.fit(X_train, y_train)# 预测
y_pred = model.predict(X_test)
print(f'Accuracy: {accuracy_score(y_test, y_pred):.4f}')
print(classification_report(y_test, y_pred))
🔍 七、可视化决策边界（仅用于2D简化版）
import numpy as np# 降维为两个特征（仅用于可视化）
X2D = X_scaled[:, :2]
X_train2D, X_test2D, _, _ = train_test_split(X2D, y, test_size=0.2, random_state=42)model2D = LogisticRegression()
model2D.fit(X_train2D, y_train)# 生成边界图
x_min, x_max = X2D[:, 0].min() - 1, X2D[:, 0].max() + 1
y_min, y_max = X2D[:, 1].min() - 1, X2D[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.1),np.arange(y_min, y_max, 0.1))Z = model2D.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)plt.contourf(xx, yy, Z, alpha=0.4)
plt.scatter(X2D[:, 0], X2D[:, 1], c=y, s=20, edgecolor='k')
plt.title('Decision Boundary (2 Features)')
plt.xlabel('GRE Score')
plt.ylabel('TOEFL Score')
plt.show()
🧪 八、模型评估与过拟合检测
我们加入其他模型（随机森林）对比训练集与测试集效果，检测过拟合。
from sklearn.ensemble import RandomForestClassifierforest = RandomForestClassifier(n_estimators=100, random_state=42)
forest.fit(X_train, y_train)train_score = forest.score(X_train, y_train)
test_score = forest.score(X_test, y_test)print(f'RandomForest 训练集准确率: {train_score:.4f}')
print(f'RandomForest 测试集准确率: {test_score:.4f}')
训练集准确率远高于测试集 => 可能过拟合
✅ 九、正则化概念演示（L1, L2）
from sklearn.linear_model import LogisticRegressionCVlr_cv = LogisticRegressionCV(cv=5, penalty='l2', solver='liblinear')
lr_cv.fit(X_train, y_train)
print("最佳C值：", lr_cv.C_[0])
🧠 十、关键概念总结（边看边实践）
| 概念 | 示例代码 | 对应含义 |
|---|---|---|
| 特征工程 | StandardScaler | 统一数值尺度 |
| 模型训练 | LogisticRegression().fit() | 学习数据规律 |
| 过拟合 | 训练准确率高但测试低 | 模型记忆训练集 |
| 正则化 | penalty='l2' | 抑制复杂模型 |
| 模型选择 | Logistic, RandomForest | 尝试多个模型对比 |
🚀 Bonus：自动化训练多个模型对比性能
from sklearn.model_selection import cross_val_score
from sklearn.svm import SVC
from sklearn.naive_bayes import GaussianNBmodels = {'Logistic': LogisticRegression(),'RandomForest': RandomForestClassifier(),'SVM': SVC(),'NaiveBayes': GaussianNB()
}for name, model in models.items():scores = cross_val_score(model, X_scaled, y, cv=5)print(f'{name}: 平均准确率 {scores.mean():.4f}')