《Machine Learning in Action》—— 浅谈线性回归的那些事大家好我是你们的老朋友一个天天和代码、数据打交道的技术博主。今天我们来聊聊机器学习里的一个经典话题——线性回归。别看它名字里带个“线性”就觉得它简单到不值一提。实际上线性回归是机器学习入门的基石也是很多复杂算法比如逻辑回归、神经网络的“老祖宗”。《Machine Learning in Action》这本书相信很多搞ML的朋友都翻过。它讲线性回归的方式非常接地气不跟你整一堆晦涩的数学公式而是直接告诉你“线性回归就是找一条直线让所有数据点离这条直线尽可能近。”今天我就用这本书的精神带大家把线性回归的那些事掰扯清楚。## 什么是线性回归一个生活化的比喻想象一下你是一个房产中介。你手里有一堆房子的数据面积x和价格y。你想建立一个模型告诉客户“如果房子面积是100平米大概能卖多少钱”这时候线性回归就派上用场了。线性回归假设房价和面积之间的关系是线性的也就是一条直线y wx b其中-w是斜率权重表示面积每增加1平米价格涨多少。-b是截距表示面积为0时的价格虽然现实中不可能但数学上需要。我们的目标就是找到最合适的w和b让这条直线尽可能穿过所有数据点。怎么衡量“尽可能”呢答案是最小化误差。最常见的误差度量是均方误差MSE即所有点到直线的垂直距离的平方和。## 怎么求解 w 和 b两种江湖流派在《Machine Learning in Action》里作者介绍了两种主流的求解方法正规方程法和梯度下降法。我们来分别看看。### 1. 正规方程法一步到位但怕大数据正规方程法直接用数学公式求解一步到位。对于一个数据集我们把它写成矩阵形式X是特征矩阵每行一个样本第一列全是1用来对应截距by是目标值向量。那么最优的权重向量θ为θ (X^T X)^(-1) X^T y这个公式推导简单但有个致命缺点当特征数量很多比如上万时计算 (X^T X) 的逆矩阵非常慢甚至内存爆炸。所以它适合小数据大数据请用下一种。### 2. 梯度下降法慢慢走终会到梯度下降法是一种迭代优化算法。它的思想很简单从某个随机点出发沿着误差函数下降最快的方向梯度负方向迈出一小步然后重复直到误差足够小。步骤1. 初始化权重比如全0。2. 计算当前误差对每个权重的偏导数梯度。3. 更新权重w w - learning_rate * 梯度。4. 重复第2、3步直到收敛。学习率learning_rate是关键参数太大可能跳过最优解太小则收敛太慢。## 代码示例从零实现线性回归光说不练假把式。我们直接用Python实现一个简单的线性回归分别用正规方程和梯度下降来求解。代码里我加了详细注释方便你理解。### 示例1正规方程法pythonimport numpy as npimport matplotlib.pyplot as plt# 生成模拟数据y 2*x 3 噪声np.random.seed(42)X 2 * np.random.rand(100, 1) # 100个样本每个样本1个特征y 4 3 * X np.random.randn(100, 1) # 真实斜率3截距4加上高斯噪声# 正规方程求解# 在X前面加一列1用来对应截距项X_b np.c_[np.ones((100, 1)), X] # 形状 (100, 2)# 计算最优权重: theta (X^T X)^(-1) X^T ytheta_best np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)print(正规方程求解结果)print(截距 (b):, theta_best[0][0])print(斜率 (w):, theta_best[1][0])# 画出拟合直线X_new np.array([[0], [2]])X_new_b np.c_[np.ones((2, 1)), X_new]y_predict X_new_b.dot(theta_best)plt.scatter(X, y, alpha0.6, label数据点)plt.plot(X_new, y_predict, r-, linewidth2, label拟合直线)plt.xlabel(X)plt.ylabel(y)plt.legend()plt.title(正规方程法拟合结果)plt.show()运行这段代码你会看到一条红色的直线穿过数据点截距和斜率分别接近4和3——和我们的真实参数基本一致。正规方程法干净利落一步搞定。### 示例2梯度下降法pythonimport numpy as npimport matplotlib.pyplot as plt# 使用相同的数据np.random.seed(42)X 2 * np.random.rand(100, 1)y 4 3 * X np.random.randn(100, 1)# 添加偏置项截距X_b np.c_[np.ones((100, 1)), X]# 梯度下降参数learning_rate 0.1 # 学习率n_iterations 1000 # 迭代次数m len(X_b) # 样本数量# 随机初始化权重theta np.random.randn(2, 1)# 记录每次迭代的误差用于可视化cost_history []for iteration in range(n_iterations): # 计算预测值 y_pred X_b.dot(theta) # 计算梯度对所有样本的平均梯度 gradients (2/m) * X_b.T.dot(y_pred - y) # 更新权重 theta theta - learning_rate * gradients # 记录当前均方误差MSE cost (1/(2*m)) * np.sum((y_pred - y)**2) cost_history.append(cost)print(梯度下降求解结果)print(截距 (b):, theta[0][0])print(斜率 (w):, theta[1][0])# 画出误差下降曲线plt.plot(range(n_iterations), cost_history)plt.xlabel(迭代次数)plt.ylabel(均方误差 (MSE))plt.title(梯度下降误差下降曲线)plt.show()这段代码展示了梯度下降的迭代过程。你会看到误差曲线一开始下降很快然后逐渐平缓最终收敛到最小值。注意这里的学习率是0.1如果改成1.0可能会发散如果改成0.001则收敛极慢。调参是门艺术。## 线性回归的实战陷阱与技巧在实际应用中线性回归有几点需要注意### 1. 特征缩放如果特征取值范围差异很大比如一个特征0-1另一个0-10000梯度下降会非常慢甚至不收敛。解决方法标准化或归一化。### 2. 过拟合 vs 欠拟合线性回归容易欠拟合因为假设太简单但加入高阶特征如x^2后也可能过拟合。这时候可以用正则化如岭回归、Lasso来约束权重。### 3. 异常值敏感均方误差对异常值非常敏感因为平方放大了误差。如果数据有离群点可以考虑用绝对误差MAE代替MSE或者先做数据清洗。## 总结线性回归虽然简单但它是理解更复杂模型的基础。从《Machine Learning in Action》的角度来看它的核心思想就两句话1. 用一条直线拟合数据2. 用最小二乘法或梯度下降找到最优直线。今天我们用正规方程和梯度下降两种方法实现了线性回归并看到了它们的区别正规方程适合小数据一步到位梯度下降适合大数据需要调参。希望这些代码和讲解能帮你打通线性回归的“任督二脉”。下次遇到房价预测、销量分析这类问题别慌先试试线性回归说不定它就是你想要的“银弹”。如果你觉得这篇文章有帮助欢迎点赞、收藏、转发我们下期再见
《Machine Learning in Action》—— 浅谈线性回归的那些事大家好我是你们的老朋友一个天天和代码、数据打交道的技术博主。今天我们来聊聊机器学习里的一个经典话题——线性回归。别看它名字里带个“线性”就觉得它简单到不值一提。实际上线性回归是机器学习入门的基石也是很多复杂算法比如逻辑回归、神经网络的“老祖宗”。《Machine Learning in Action》这本书相信很多搞ML的朋友都翻过。它讲线性回归的方式非常接地气不跟你整一堆晦涩的数学公式而是直接告诉你“线性回归就是找一条直线让所有数据点离这条直线尽可能近。”今天我就用这本书的精神带大家把线性回归的那些事掰扯清楚。## 什么是线性回归一个生活化的比喻想象一下你是一个房产中介。你手里有一堆房子的数据面积x和价格y。你想建立一个模型告诉客户“如果房子面积是100平米大概能卖多少钱”这时候线性回归就派上用场了。线性回归假设房价和面积之间的关系是线性的也就是一条直线y wx b其中-w是斜率权重表示面积每增加1平米价格涨多少。-b是截距表示面积为0时的价格虽然现实中不可能但数学上需要。我们的目标就是找到最合适的w和b让这条直线尽可能穿过所有数据点。怎么衡量“尽可能”呢答案是最小化误差。最常见的误差度量是均方误差MSE即所有点到直线的垂直距离的平方和。## 怎么求解 w 和 b两种江湖流派在《Machine Learning in Action》里作者介绍了两种主流的求解方法正规方程法和梯度下降法。我们来分别看看。### 1. 正规方程法一步到位但怕大数据正规方程法直接用数学公式求解一步到位。对于一个数据集我们把它写成矩阵形式X是特征矩阵每行一个样本第一列全是1用来对应截距by是目标值向量。那么最优的权重向量θ为θ (X^T X)^(-1) X^T y这个公式推导简单但有个致命缺点当特征数量很多比如上万时计算 (X^T X) 的逆矩阵非常慢甚至内存爆炸。所以它适合小数据大数据请用下一种。### 2. 梯度下降法慢慢走终会到梯度下降法是一种迭代优化算法。它的思想很简单从某个随机点出发沿着误差函数下降最快的方向梯度负方向迈出一小步然后重复直到误差足够小。步骤1. 初始化权重比如全0。2. 计算当前误差对每个权重的偏导数梯度。3. 更新权重w w - learning_rate * 梯度。4. 重复第2、3步直到收敛。学习率learning_rate是关键参数太大可能跳过最优解太小则收敛太慢。## 代码示例从零实现线性回归光说不练假把式。我们直接用Python实现一个简单的线性回归分别用正规方程和梯度下降来求解。代码里我加了详细注释方便你理解。### 示例1正规方程法pythonimport numpy as npimport matplotlib.pyplot as plt# 生成模拟数据y 2*x 3 噪声np.random.seed(42)X 2 * np.random.rand(100, 1) # 100个样本每个样本1个特征y 4 3 * X np.random.randn(100, 1) # 真实斜率3截距4加上高斯噪声# 正规方程求解# 在X前面加一列1用来对应截距项X_b np.c_[np.ones((100, 1)), X] # 形状 (100, 2)# 计算最优权重: theta (X^T X)^(-1) X^T ytheta_best np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)print(正规方程求解结果)print(截距 (b):, theta_best[0][0])print(斜率 (w):, theta_best[1][0])# 画出拟合直线X_new np.array([[0], [2]])X_new_b np.c_[np.ones((2, 1)), X_new]y_predict X_new_b.dot(theta_best)plt.scatter(X, y, alpha0.6, label数据点)plt.plot(X_new, y_predict, r-, linewidth2, label拟合直线)plt.xlabel(X)plt.ylabel(y)plt.legend()plt.title(正规方程法拟合结果)plt.show()运行这段代码你会看到一条红色的直线穿过数据点截距和斜率分别接近4和3——和我们的真实参数基本一致。正规方程法干净利落一步搞定。### 示例2梯度下降法pythonimport numpy as npimport matplotlib.pyplot as plt# 使用相同的数据np.random.seed(42)X 2 * np.random.rand(100, 1)y 4 3 * X np.random.randn(100, 1)# 添加偏置项截距X_b np.c_[np.ones((100, 1)), X]# 梯度下降参数learning_rate 0.1 # 学习率n_iterations 1000 # 迭代次数m len(X_b) # 样本数量# 随机初始化权重theta np.random.randn(2, 1)# 记录每次迭代的误差用于可视化cost_history []for iteration in range(n_iterations): # 计算预测值 y_pred X_b.dot(theta) # 计算梯度对所有样本的平均梯度 gradients (2/m) * X_b.T.dot(y_pred - y) # 更新权重 theta theta - learning_rate * gradients # 记录当前均方误差MSE cost (1/(2*m)) * np.sum((y_pred - y)**2) cost_history.append(cost)print(梯度下降求解结果)print(截距 (b):, theta[0][0])print(斜率 (w):, theta[1][0])# 画出误差下降曲线plt.plot(range(n_iterations), cost_history)plt.xlabel(迭代次数)plt.ylabel(均方误差 (MSE))plt.title(梯度下降误差下降曲线)plt.show()这段代码展示了梯度下降的迭代过程。你会看到误差曲线一开始下降很快然后逐渐平缓最终收敛到最小值。注意这里的学习率是0.1如果改成1.0可能会发散如果改成0.001则收敛极慢。调参是门艺术。## 线性回归的实战陷阱与技巧在实际应用中线性回归有几点需要注意### 1. 特征缩放如果特征取值范围差异很大比如一个特征0-1另一个0-10000梯度下降会非常慢甚至不收敛。解决方法标准化或归一化。### 2. 过拟合 vs 欠拟合线性回归容易欠拟合因为假设太简单但加入高阶特征如x^2后也可能过拟合。这时候可以用正则化如岭回归、Lasso来约束权重。### 3. 异常值敏感均方误差对异常值非常敏感因为平方放大了误差。如果数据有离群点可以考虑用绝对误差MAE代替MSE或者先做数据清洗。## 总结线性回归虽然简单但它是理解更复杂模型的基础。从《Machine Learning in Action》的角度来看它的核心思想就两句话1. 用一条直线拟合数据2. 用最小二乘法或梯度下降找到最优直线。今天我们用正规方程和梯度下降两种方法实现了线性回归并看到了它们的区别正规方程适合小数据一步到位梯度下降适合大数据需要调参。希望这些代码和讲解能帮你打通线性回归的“任督二脉”。下次遇到房价预测、销量分析这类问题别慌先试试线性回归说不定它就是你想要的“银弹”。如果你觉得这篇文章有帮助欢迎点赞、收藏、转发我们下期再见
