《什么是线性回归，成本函数，梯度下降》

线性回归线性回归就是找一条直线让这条直线贴合数据用来预测新的数据成本函数成本函数就是用来衡量这条直线画的好不好的一个数字。误差越大成本越高画的越差。梯度下降梯度下降是一种方法通过不断调整参数让成本函数越来越小最后找到最好的直线从何而来线性回归因为显示数据中很多都是线性关系我们想用一个简单模型去描述它。代码import numpy as npimport matplotlib.pyplot as plt# 生成模拟数据房子的面积和价格x np.array([?,? ?,? ?, ], dtypefloat) # 面积y np.array([?,?,?,?,?], dtypefloat) # 价格# 线性回归y w * x b# 用最小二乘法直接求解析解n len(x)# 求斜率 ww (n * np.sum(x * y) - np.sum(x) * np.sum(y)) / (n * np.sum(x**2) - np.sum(x)**2)# 求截距 bb (np.sum(y) - w * np.sum(x)) / nprint(f斜率 w {w})print(f截距 b {b})print(f预测函数y {w:.2f} * x {b:.2f})# 画图plt.scatter(x, y, colorblue, label真实数据)plt.plot(x, w * x b, colorred, label预测直线)plt.xlabel(面积)plt.ylabel(价格)plt.title(线性回归)plt.legend()plt.grid(True)plt.show()成本函数因为我们需要一个标准来比较不同直线的优劣。代码import numpy as npimport matplotlib.pyplot as plt# 模拟数据x np.array([?,?,?,?,?], dtypefloat)y np.array([?,?,?,?,?], dtypefloat)def compute_cost(x, y, w, b):计算均方误差成本函数J(w, b) (1 / 2n) * Σ(wx b - y)²n len(x)predictions w * x bcost (1 / (2 * n)) * np.sum((predictions - y) ** 2)return cost# 测试几组 w 和 b看看成本函数的变化print(当 w 0, b 0 时成本 , compute_cost(x, y, 0, 0))print(当 w 1, b 0 时成本 , compute_cost(x, y, 1, 0))print(当 w 2, b 1 时成本 , compute_cost(x, y, 2, 1))# 画出成本函数随 w 变化的曲线w_values np.linspace(0, 4, 100)costs [compute_cost(x, y, w, 0) for w in w_values]plt.plot(w_values, costs)plt.xlabel(w)plt.ylabel(成本 J(w))plt.title(成本函数曲线)plt.grid(True)plt.show()梯度下降因为很多问题没有解析解需要一个能一步步逼近最优解的方法。代码import numpy as npimport matplotlib.pyplot as plt# 模拟数据x np.array([?,?,?,?,?], dtypefloat)y np.array([?,?,?,?,?], dtypefloat)def gradient_descent(x, y, w_init, b_init, learning_rate, iterations):用梯度下降找最优的 w 和 bw w_initb b_initn len(x)cost_history [] # 记录每次迭代的成本for i in range(iterations):# 预测值predictions w * x b# 计算梯度dw (1 / n) * np.sum((predictions - y) * x)db (1 / n) * np.sum(predictions - y)# 更新参数w w - learning_rate * dwb b - learning_rate * db# 计算并记录成本cost (1 / (2 * n)) * np.sum((predictions - y) ** 2)cost_history.append(cost)return w, b, cost_history# 初始参数w_init 0b_init 0learning_rate 0.01iterations 1000# 执行梯度下降w_final, b_final, cost_history gradient_descent(x, y, w_init, b_init, learning_rate, iterations)print(f最终的 w {w_final})print(f最终的 b {b_final})print(f预测函数y {w_final:.2f} * x {b_final:.2f})# 画成本函数随迭代次数的变化plt.plot(cost_history)plt.xlabel(迭代次数)plt.ylabel(成本 J(w, b))plt.title(梯度下降过程)plt.grid(True)plt.show()线性回归预测成本函数判断好坏梯度下降找到最优参数