1. 这个项目到底在做什么先看清线性回归在深度学习里的位置线性回归这个项目我做了不下二十遍。从最早用 Excel 做趋势线到后来用 sklearn 一行代码拟合再到用 PyTorch 手写训练循环每一遍的理解层次都不一样。很多人会问深度学习都玩 CNN、Transformer 了为什么还要回头写这种老掉牙的线性回归答案是线性回归是唯一一个你能完整看懂从数据到模型再到更新参数全流程的项目。它足够简单简单到你可以把每一个张量的形状、每一步梯度的流向都摸得清清楚楚它又足够完整完整到它包含了深度学习中所有核心组件——数据加载、模型定义、前向传播、损失计算、反向传播、参数更新。这套流程一旦跑通后面接 MLP、CNN、Transformer 都是同一套骨架换皮。再说为什么选 PyTorch。PyTorch 最核心的优势是动态计算图和自动求导机制。写线性回归时你会切身体会到backward()这条命令背后的意义你只是定义了前向的运算关系PyTorch 会自动把梯度算好不需要你手动推导链式法则。这对于入门者来说是极其友好的。相比之下TensorFlow 1.x 时代那种先构图再执行的静态图模式会让新手在还没理解模型时就先被图给绕晕了。这个项目本质上可以拆成四个模块造数据、定义模型、选损失函数、做优化。换句话说就是你有一堆带噪声的样本点希望找出一条直线 y w x b 去拟合它们让预测值和真实值之间的误差尽量小。这个误差尽量小的过程就是深度学习里所谓训练的全部秘密。明白这一点你再看任何复杂的深度学习模型无非是把 y w x b 换成更复杂的函数把误差函数换成更复杂的度量仅此而已。线性回归是理解这一切的最佳入口。2. 环境准备装好 PyTorch 才是第一道坎2.1 版本对应关系先选版本还是先选环境我见过太多人在环境配置上耗掉一整天。先说结论先创建虚拟环境再安装 PyTorch最后验证 GPU 是否可用。这个顺序不要乱。PyTorch 的版本和 Python 版本有严格的对应关系。比如 PyTorch 2.x 系列对 Python 3.8 到 3.11 支持良好部分新版本对 3.12 的支持要等后续补丁。最稳妥的做法是用 Conda 创建一个 Python 3.10 的虚拟环境因为 3.10 兼容性最广几乎覆盖所有 PyTorch 2.x 版本。别用系统自带的 Python也别图省事直接装在 base 环境里否则后面装 OpenCV、装其他框架时依赖冲突会教你做人。创建环境时建议附带安装 Jupyter 或 VS Code 的 Python 插件这样后续调试方便很多。我的习惯是conda create -n dl_basic python3.10 conda activate dl_basic2.2 安装方式pip 还是 conda这个问题没有绝对答案但我的经验是CPU 版本直接用 pip 装GPU 版本也优先用 pip 装官方预编译包。Conda 的 PyTorch 源有时候版本滞后而且 conda 解析依赖的速度实在令人着急。CPU 版本安装最简单pip install torch torchvisionGPU 版本需要根据你的 CUDA 版本选择对应的安装命令。先在终端执行nvidia-smi查看驱动支持的 CUDA 版本然后去 PyTorch 官网获取对应的 pip 命令。这里有一个新手常踩的坑nvcc -V显示的 CUDA 版本是运行时版本nvidia-smi显示的是驱动支持的版本。安装 PyTorch 时看的是后者因为 PyTorch 的 CUDA 运行时是自带的只要驱动支持就能跑。2.3 安装验证不要只看 import 不报错装完以后很多人只跑一句import torch就以为万事大吉。我建议做一套完整的验证import torch # 1. 版本确认 print(torch.__version__) # 2. CUDA 是否可用 print(torch.cuda.is_available()) # 3. 如果可用查看 GPU 名称 if torch.cuda.is_available(): print(torch.cuda.get_device_name(0)) # 4. 跑一个简单的张量运算确认 GPU 真的参与了计算 x torch.randn(1000, 1000, devicecuda) y torch.mm(x, x) print(y.sum().item())第 4 步尤其重要。有时候因为安装的是 CPU 版torch.cuda.is_available()返回 False你还得回头重装。与其来回折腾不如一次性验证到位。提示如果你用的是 AMD 显卡或者集成显卡又不打算折腾 ROCm 或 WSL 环境直接装 CPU 版跑线性回归绰绰有余。这个项目的计算量很小CPU 训练和 GPU 训练的时间差异几乎可以忽略。3. 造数据真实项目里没人替你把数据集准备好3.1 合成带噪声的线性数据这个项目的训练数据有两种来源真实数据集或者合成数据。我建议先用合成数据因为只有合成数据你才知道真实答案是什么——这样你就能直观地检查模型学到的 w 和 b 到底准不准。假设真实的函数是 y 2x 1我们生成 100 个样本点加上正态分布的噪声模拟现实中的测量误差import torch torch.manual_seed(42) # 生成 100 个 x均匀分布在 [0, 10] x torch.linspace(0, 10, 100).reshape(-1, 1) # 真实参数 true_w 2.0 true_b 1.0 # 添加噪声均值为 0标准差为 1 的正态分布 noise torch.randn(x.shape) * 1.0 y true_w * x true_b noise这里有几个细节要说明。首先是torch.manual_seed(42)固定随机种子让实验结果可复现。这是所有深度学习实验的规范操作否则每次运行结果都不一样你很难判断调整超参数到底有没有效果。其次是reshape(-1, 1)把 x 的形状从 (100,) 变成 (100, 1)。PyTorch 的nn.Linear要求输入是二维及以上的张量最后一维是特征数。这个形状问题贯穿整个深度学习生涯后面你会反复因为形状不匹配报错。3.2 数据标准化与样本排列线性回归的梯度下降对特征的尺度比较敏感。如果 x 的范围是 [0, 10] 还好但如果特征是身高的毫米数和体重的千克数数值范围差几个数量级梯度下降就会在某个维度上震荡得很厉害。对这个项目而言x 范围不大不标准化也能收敛。但我还是建议你养成标准化的习惯x_mean, x_std x.mean(), x.std() x_norm (x - x_mean) / x_std标准化之后特征均值为 0、标准差为 1梯度下降的收敛路径会平稳很多。你后面做真实数据集时这一招几乎必用。另一个习惯是训练前打乱样本顺序。如果数据天然有序比如按时间排列梯度下降时每个 batch 的梯度方向会呈现系统性偏移。线性回归的数据量小打乱与否影响不大但同样的代码架构放到时间序列或者其他场景中不打乱样本就会出问题。用torch.randperm做索引打乱indices torch.randperm(len(x)) x_shuffled x[indices] y_shuffled y[indices]3.3 用 DataLoader 封装数据批次很多线性回归教程直接把全部数据一次性塞进模型不用 batch。这样做结论没错但你会错过深度学习的一个核心概念小批量随机梯度下降。深度学习的数据量动辄几十万、上百万一次性算全量数据的梯度既不现实也没必要。实践中几乎都是每次取一小批样本算这批样本的平均梯度更新一次参数。PyTorch 的DataLoader就是干这个的from torch.utils.data import TensorDataset, DataLoader dataset TensorDataset(x_norm, y) dataloader DataLoader(dataset, batch_size16, shuffleTrue)batch_size16表示每次迭代取 16 个样本。shuffleTrue表示每个 epoch 开始前重新打乱数据。这两个参数是深度学习训练里出现频率最高的词在线性回归阶段理解它们后面学 CNN 时会轻松很多。关于 batch_size 的选择我补充一个经验太小的 batch比如 1会让梯度方向抖动剧烈收敛不稳定太大的 batch比如直接用全部数据会让收敛路径平滑但计算代价高而且容易陷入局部最优。16 到 128 是常见区间视数据量而定。线性回归的损失函数是凸函数不存在局部最优问题所以这个项目里你可以放开手实验不同 batch_size观察它对收敛速度的影响顺便为后面理解batch_size 为什么影响训练积累直觉。4. 模型实现从手写参数到 nn.Linear一层一层的理解4.1 最原始的写法手动定义参数和计算理解nn.Linear之前建议先手写一遍。这不只是为了知其所以然更是为了让你明白 PyTorch 的自动求导到底替你做了什么。import torch.nn as nn # 方式一手动定义参数 w torch.tensor([1.0], requires_gradTrue) b torch.tensor([0.0], requires_gradTrue) def model(x): return x * w b这里requires_gradTrue是关键。它告诉 PyTorch这个张量参与计算图之后要算它的梯度。当你执行loss.backward()时PyTorch 会自动计算 loss 对 w 和 b 的偏导并且把结果存在w.grad和b.grad里。注意一个细节w 和 b 的初始值。这里我初始化为 1.0 和 0.0离真实值 (2.0, 1.0) 不算远。但如果初始化为 100你会看到训练过程慢很多甚至可能震荡。初始化的选择在深层网络中会变成一个极其重要的问题线性回归阶段你可以先感受一下它对收敛速度的影响。4.2 用 nn.Linear 封装进入 PyTorch 的模块化世界手写版本理解之后换成 PyTorch 的封装方式。model nn.Linear(in_features1, out_features1)这一行代码创建了一个线性层里面自动包含了权重矩阵 W 和偏置 b。查看参数的方式是for name, param in model.named_parameters(): print(f{name}: shape{param.shape}, value{param.data})输出会显示一个weight和一个bias。你会发现weight的形状是 (1, 1)因为输入是一个特征、输出是一个特征。nn.Linear做的事情就是线性变换 y x W^T b和手写版本完全一样。nn.Linear的价值在于它是 PyTorch 神经网络模块体系的最小单元。你后续用的nn.Sequential、自定义nn.Module子类都是在这样的层之上搭建的。这一行代码就是你进入 PyTorch 模块化世界的入口。4.3 损失函数与优化器的选择逻辑损失函数衡量模型预测值和真实值差多少。线性回归对应的是均方误差MSEloss_fn nn.MSELoss()MSE 的计算公式是 1/n * Σ(y_pred - y_true)²。为什么选它而不是绝对误差两个原因第一MSE 是凸函数对线性模型来说梯度下降一定能找到全局最优第二MSE 的梯度在误差大时也大更新步长自然加大这算是一种朴素的自适应反馈。当然MSE 对离群点敏感如果数据里有极端异常值它的梯度会爆炸这一点在后面的项目里要留意。优化器选择 SGDoptimizer torch.optim.SGD(model.parameters(), lr0.01)SGD就是随机梯度下降每一小批数据计算梯度后按 learning rate学习率的方向更新参数。PyTorch 里还有其他优化器比如 Adam它相当于给 SGD 加上了自适应学习率的升级包收敛更快、对学习率不敏感。为什么线性回归项目推荐用 SGD 而不是 Adam因为 SGD 简单、行为可预测你更容易观察到学习率变化对训练过程的影响。用 Adam 固然更快但那种自适应的魔法会让你低估调参的重要性。5. 训练流程loss 曲线会告诉你一切5.1 完整训练循环拆解所有深度学习训练代码的核心都是同一个循环前向传播计算预测值和损失反向传播计算梯度优化器更新参数。下面是一个完整的线性回归训练代码import torch import torch.nn as nn from torch.utils.data import TensorDataset, DataLoader # ---------- 1. 造数据 ---------- torch.manual_seed(42) x torch.linspace(0, 10, 100).reshape(-1, 1) true_w, true_b 2.0, 1.0 noise torch.randn(x.shape) * 1.0 y true_w * x true_b noise # 标准化 x_norm (x - x.mean()) / x.std() # ---------- 2. 封装数据 ---------- dataset TensorDataset(x_norm, y) dataloader DataLoader(dataset, batch_size16, shuffleTrue) # ---------- 3. 定义模型、损失函数、优化器 ---------- model nn.Linear(1, 1) loss_fn nn.MSELoss() optimizer torch.optim.SGD(model.parameters(), lr0.05) # ---------- 4. 训练循环 ---------- epochs 100 for epoch in range(epochs): total_loss 0.0 for batch_x, batch_y in dataloader: # 前向传播 pred model(batch_x) loss loss_fn(pred, batch_y) # 梯度清零 optimizer.zero_grad() # 反向传播 loss.backward() # 参数更新 optimizer.step() total_loss loss.item() # 打印每个 epoch 的平均损失 avg_loss total_loss / len(dataloader) if (epoch 1) % 10 0: print(fEpoch {epoch1}, Loss: {avg_loss:.6f})我特别强调optimizer.zero_grad()这一行。初学者最容易漏掉它后果是梯度会在每次迭代中累加loss 不降反升甚至出现 NaN。PyTorch 设计时为了让某些计算场景能累积梯度默认不清空上一步的梯度所以每步更新前必须手动清零。这个坑我当年踩了很久才反应过来。训练结束后查看模型的参数print(fweight {model.weight.item():.4f}, bias {model.bias.item():.4f})得到的结果应该非常接近我们设定的真实值。我实际跑出来的结果大约在 weight1.98、bias1.05 附近和真实参数 (2.0, 1.0) 的偏差来自噪声的影响。数据噪声越大模型参数的估计误差就越大这是统计学里的基本规律。5.2 学习率、迭代次数怎么调这是我的血泪经验学习率learning rate是整个训练循环里最敏感的超参数没有之一。它决定每一步参数更新迈多大的步子。学习率设得太小比如 0.001loss 下降非常缓慢你可能需要几千个 epoch 才能收敛。学习率设得太大比如 1.0loss 会剧烈震荡甚至直接发散变成 NaN。我常用的一组基准参数数据量 100、batch_size 16、学习率 0.05、epoch 100在这个配置下损失通常在前 20 个 epoch 内就降到了一个非常小的值后面基本是微调。调参有个实用技巧每 10 个 epoch 打印一次平均损失观察损失下降的形状。正常情况是前几个 epoch 下降很快然后逐渐趋平。如果出现锯齿状的反复跳动说明学习率偏大如果下降如同乌龟爬说明学习率偏小。epoch 的选择也有讲究。epoch 表示完整过一遍所有数据多少次。线性回归收敛很快100 个 epoch 已经绰绰有余。你可以做一个简单的实验把 epoch 从 10 改成 1000观察 loss 和参数变化。你会发现前 100 个 epoch 之后loss 几乎不再下降——这就是收敛。后续不会有任何进展徒增计算时间。5.3 结果可视化与参数对比训练完成后可视化是检验模型最直观的方式。用 matplotlib 把原始样本点和拟合直线画在一起import matplotlib.pyplot as plt # 反标准化还原到原始尺度 x_original x_norm * x.std() x.mean() # 模型预测输入也要用标准化后的 x with torch.no_grad(): y_pred model(x_norm) plt.scatter(x_original.numpy(), y.numpy(), alpha0.6, label样本点) plt.plot(x_original.numpy(), y_pred.numpy(), r-, label拟合直线) plt.legend() plt.xlabel(x) plt.ylabel(y) plt.show()这里有个细节值得注意with torch.no_grad()块。推理时我们不需要计算梯度加上这个上下文管理器可以避免 PyTorch 构建计算图节省内存和算力。你的模型只要进入只做前向推理的场景——无论是验证还是最终预测——都应该养成包在no_grad()里的习惯。可视化时你会直观看到拟合直线穿过了点云的质量中心大致沿着数据的整体趋势延伸。这就是最小二乘的意义在所有可能的直线中这条直线让所有样本点到它的竖直距离的平方和最小。6. 我踩过的坑调试线性回归的常见问题实录6.1 损失不降反升或者直接 NaN这是我的调试经历里出现频率最高的问题。原因通常有几种可能学习率过大导致参数更新过度越过最优点后梯度越来越大最后数值溢出梯度没有清零导致梯度累积数据中存在 NaN 值或极端离群值。排查思路是先打印每一步的梯度看看是不是在膨胀再把学习率调小一个数量级试试最后检查数据的 min/max 是否异常。对线性回归来说学习率从 0.05 调到 0.005问题就解决的案例占了绝大多数。6.2 结果符号不对w 和 b 和真实值差太远如果你把噪声标准差调到了 10 以上模型的参数估计会明显偏离真实值。这不是 bug而是数据噪声太大信息不足以精确还原真实参数。直观的理解你给拟合任务提供的数据本身污染太重模型只能找出大致的趋势。另外是否做标准化也会影响参数估计的数值。如果你用标准化的 x 训练模型得到的weight是标准化空间里的斜率拿到原始空间需要换算。很多人在这一步产生了困惑以为是模型学错了。换算公式是w_original w_norm / x.std()b_original b_norm - w_norm * x.mean() / x.std()。6.3 设备不匹配CPU 和 GPU 之间的经典报错当你把模型和数据都搬到 GPU 上训练时最经典的报错是Expected all tensors to be on the same device。原因是模型在 GPU但某个输入张量还在 CPU。这个看起来很低级的错误即使是有经验的工程师也会时不时犯。统一的解决思路在训练循环开始前把模型和所有输入数据都显式地放到同一个设备上。device torch.device(cuda if torch.cuda.is_available() else cpu) model nn.Linear(1, 1).to(device) for batch_x, batch_y in dataloader: batch_x batch_x.to(device) batch_y batch_y.to(device) # 后续代码不变6.4 常见问题速查表症状可能原因排查与解决方案Loss 不降学习率过小尝试增大 lr 一个数量级Loss 震荡学习率过大减小 lr观察是否变平稳Loss 变成 NaN学习率过大或数据有 NaN大幅降低 lr检查数据梯度越来越大梯度累积未清零检查zero_grad()是否在每步执行参数离真实值太远噪声太大或未收敛增大 epoch增大样本量设备报错CPU/GPU 张量混用统一.to(device)形状报错输入维度不对检查是否为 (batch, features) 形状注意在线性回归阶段几乎所有的疑难杂症最终都归结为学习率和数据形状。如果你遇到不可思议的问题先把学习率调到 0.01 以下把 input 的形状打印出来看一眼大概率能定位问题。7. 从线性回归走向真正的深度学习7.1 多项式回归一条直线不够那就加特征线性回归只能拟合直线。当数据呈现明显曲线趋势时一个自然的扩展是把特征从 x 变成 x、x²、x³ 等多个特征然后仍然用线性模型拟合。这就是多项式回归。在 PyTorch 里只需要把输入特征从 (100, 1) 扩展成 (100, 3)分别包含 x、x²、x³然后仍然用nn.Linear(3, 1)x_poly torch.cat([x, x**2, x**3], dim1) model nn.Linear(3, 1)这个扩展的意义在于它让你第一次体会到特征工程是怎么影响模型表达能力的。深度学习之所以强大某种程度上就是因为它可以自动学习特征表示而不用人工构造这样的多项式组合。7.2 换掉损失函数和输出层线性回归变成逻辑回归线性回归解决回归问题逻辑回归解决分类问题。二者的代码结构几乎一样区别在于逻辑回归在输出层加了一个 sigmoid 激活函数把线性输出压缩到 0 到 1 之间表示概率损失函数从 MSE 换成了交叉熵。这个小小的改动揭示了深度学习的统一范式模型前向传播输出一个原始分数损失函数衡量分数和目标之间的差距反向传播更新参数让差距缩小。你在分类任务里看到的所有模型从最简单的逻辑回归到超大规模的 ResNet都是在这个范式上叠加更多的层和更复杂的结构。7.3 理解 autograd就是理解了深度学习的一半最后想聊聊backward()背后的自动微分机制。手写线性回归时你可能会想梯度到底是怎么算出来的实际上PyTorch 在每次前向传播时都会构建一张计算图记录张量之间的运算关系。调用loss.backward()时它从 loss 出发沿着计算图反向遍历用链式法则求出 loss 对每个requires_gradTrue的张量的偏导数。这个过程完全自动化你只需要保证计算图正确。为了加深理解你可以做一个练习把torch.sigmoid、torch.exp这些非线性函数加入模型中然后观察梯度是否依然能正确计算。你会看到自动求导系统无差别地处理各种复杂的复合函数——这正是深度学习能够堆叠几十层网络的根本原因。我个人在实际操作中的体会是线性回归虽然代码量不到一百行但它值得你反复重写几遍。第一遍照着教程敲第二遍不看教程自己写第三遍尝试不同的超参数组合并记录现象第四遍扩展成多项式回归或逻辑回归。每一遍都会对深度学习的基础范式有新的理解。后面你遇到任何复杂的模型时都可以回到这个最简单的项目里做类比——它们不过是在造数据、定义模型、算损失、反向传播、更新参数这条主线上不断加戏而已。最后再分享一个小技巧每完成一个版本的训练把 loss 曲线和最终参数截图保存。你会发现这些记录在后续学习中是很有价值的对照素材——当你在更复杂的模型里遇到 loss 不收敛时回看线性回归的成功曲线往往能启发你找到调参的方向。
1. 这个项目到底在做什么先看清线性回归在深度学习里的位置线性回归这个项目我做了不下二十遍。从最早用 Excel 做趋势线到后来用 sklearn 一行代码拟合再到用 PyTorch 手写训练循环每一遍的理解层次都不一样。很多人会问深度学习都玩 CNN、Transformer 了为什么还要回头写这种老掉牙的线性回归答案是线性回归是唯一一个你能完整看懂从数据到模型再到更新参数全流程的项目。它足够简单简单到你可以把每一个张量的形状、每一步梯度的流向都摸得清清楚楚它又足够完整完整到它包含了深度学习中所有核心组件——数据加载、模型定义、前向传播、损失计算、反向传播、参数更新。这套流程一旦跑通后面接 MLP、CNN、Transformer 都是同一套骨架换皮。再说为什么选 PyTorch。PyTorch 最核心的优势是动态计算图和自动求导机制。写线性回归时你会切身体会到backward()这条命令背后的意义你只是定义了前向的运算关系PyTorch 会自动把梯度算好不需要你手动推导链式法则。这对于入门者来说是极其友好的。相比之下TensorFlow 1.x 时代那种先构图再执行的静态图模式会让新手在还没理解模型时就先被图给绕晕了。这个项目本质上可以拆成四个模块造数据、定义模型、选损失函数、做优化。换句话说就是你有一堆带噪声的样本点希望找出一条直线 y w x b 去拟合它们让预测值和真实值之间的误差尽量小。这个误差尽量小的过程就是深度学习里所谓训练的全部秘密。明白这一点你再看任何复杂的深度学习模型无非是把 y w x b 换成更复杂的函数把误差函数换成更复杂的度量仅此而已。线性回归是理解这一切的最佳入口。2. 环境准备装好 PyTorch 才是第一道坎2.1 版本对应关系先选版本还是先选环境我见过太多人在环境配置上耗掉一整天。先说结论先创建虚拟环境再安装 PyTorch最后验证 GPU 是否可用。这个顺序不要乱。PyTorch 的版本和 Python 版本有严格的对应关系。比如 PyTorch 2.x 系列对 Python 3.8 到 3.11 支持良好部分新版本对 3.12 的支持要等后续补丁。最稳妥的做法是用 Conda 创建一个 Python 3.10 的虚拟环境因为 3.10 兼容性最广几乎覆盖所有 PyTorch 2.x 版本。别用系统自带的 Python也别图省事直接装在 base 环境里否则后面装 OpenCV、装其他框架时依赖冲突会教你做人。创建环境时建议附带安装 Jupyter 或 VS Code 的 Python 插件这样后续调试方便很多。我的习惯是conda create -n dl_basic python3.10 conda activate dl_basic2.2 安装方式pip 还是 conda这个问题没有绝对答案但我的经验是CPU 版本直接用 pip 装GPU 版本也优先用 pip 装官方预编译包。Conda 的 PyTorch 源有时候版本滞后而且 conda 解析依赖的速度实在令人着急。CPU 版本安装最简单pip install torch torchvisionGPU 版本需要根据你的 CUDA 版本选择对应的安装命令。先在终端执行nvidia-smi查看驱动支持的 CUDA 版本然后去 PyTorch 官网获取对应的 pip 命令。这里有一个新手常踩的坑nvcc -V显示的 CUDA 版本是运行时版本nvidia-smi显示的是驱动支持的版本。安装 PyTorch 时看的是后者因为 PyTorch 的 CUDA 运行时是自带的只要驱动支持就能跑。2.3 安装验证不要只看 import 不报错装完以后很多人只跑一句import torch就以为万事大吉。我建议做一套完整的验证import torch # 1. 版本确认 print(torch.__version__) # 2. CUDA 是否可用 print(torch.cuda.is_available()) # 3. 如果可用查看 GPU 名称 if torch.cuda.is_available(): print(torch.cuda.get_device_name(0)) # 4. 跑一个简单的张量运算确认 GPU 真的参与了计算 x torch.randn(1000, 1000, devicecuda) y torch.mm(x, x) print(y.sum().item())第 4 步尤其重要。有时候因为安装的是 CPU 版torch.cuda.is_available()返回 False你还得回头重装。与其来回折腾不如一次性验证到位。提示如果你用的是 AMD 显卡或者集成显卡又不打算折腾 ROCm 或 WSL 环境直接装 CPU 版跑线性回归绰绰有余。这个项目的计算量很小CPU 训练和 GPU 训练的时间差异几乎可以忽略。3. 造数据真实项目里没人替你把数据集准备好3.1 合成带噪声的线性数据这个项目的训练数据有两种来源真实数据集或者合成数据。我建议先用合成数据因为只有合成数据你才知道真实答案是什么——这样你就能直观地检查模型学到的 w 和 b 到底准不准。假设真实的函数是 y 2x 1我们生成 100 个样本点加上正态分布的噪声模拟现实中的测量误差import torch torch.manual_seed(42) # 生成 100 个 x均匀分布在 [0, 10] x torch.linspace(0, 10, 100).reshape(-1, 1) # 真实参数 true_w 2.0 true_b 1.0 # 添加噪声均值为 0标准差为 1 的正态分布 noise torch.randn(x.shape) * 1.0 y true_w * x true_b noise这里有几个细节要说明。首先是torch.manual_seed(42)固定随机种子让实验结果可复现。这是所有深度学习实验的规范操作否则每次运行结果都不一样你很难判断调整超参数到底有没有效果。其次是reshape(-1, 1)把 x 的形状从 (100,) 变成 (100, 1)。PyTorch 的nn.Linear要求输入是二维及以上的张量最后一维是特征数。这个形状问题贯穿整个深度学习生涯后面你会反复因为形状不匹配报错。3.2 数据标准化与样本排列线性回归的梯度下降对特征的尺度比较敏感。如果 x 的范围是 [0, 10] 还好但如果特征是身高的毫米数和体重的千克数数值范围差几个数量级梯度下降就会在某个维度上震荡得很厉害。对这个项目而言x 范围不大不标准化也能收敛。但我还是建议你养成标准化的习惯x_mean, x_std x.mean(), x.std() x_norm (x - x_mean) / x_std标准化之后特征均值为 0、标准差为 1梯度下降的收敛路径会平稳很多。你后面做真实数据集时这一招几乎必用。另一个习惯是训练前打乱样本顺序。如果数据天然有序比如按时间排列梯度下降时每个 batch 的梯度方向会呈现系统性偏移。线性回归的数据量小打乱与否影响不大但同样的代码架构放到时间序列或者其他场景中不打乱样本就会出问题。用torch.randperm做索引打乱indices torch.randperm(len(x)) x_shuffled x[indices] y_shuffled y[indices]3.3 用 DataLoader 封装数据批次很多线性回归教程直接把全部数据一次性塞进模型不用 batch。这样做结论没错但你会错过深度学习的一个核心概念小批量随机梯度下降。深度学习的数据量动辄几十万、上百万一次性算全量数据的梯度既不现实也没必要。实践中几乎都是每次取一小批样本算这批样本的平均梯度更新一次参数。PyTorch 的DataLoader就是干这个的from torch.utils.data import TensorDataset, DataLoader dataset TensorDataset(x_norm, y) dataloader DataLoader(dataset, batch_size16, shuffleTrue)batch_size16表示每次迭代取 16 个样本。shuffleTrue表示每个 epoch 开始前重新打乱数据。这两个参数是深度学习训练里出现频率最高的词在线性回归阶段理解它们后面学 CNN 时会轻松很多。关于 batch_size 的选择我补充一个经验太小的 batch比如 1会让梯度方向抖动剧烈收敛不稳定太大的 batch比如直接用全部数据会让收敛路径平滑但计算代价高而且容易陷入局部最优。16 到 128 是常见区间视数据量而定。线性回归的损失函数是凸函数不存在局部最优问题所以这个项目里你可以放开手实验不同 batch_size观察它对收敛速度的影响顺便为后面理解batch_size 为什么影响训练积累直觉。4. 模型实现从手写参数到 nn.Linear一层一层的理解4.1 最原始的写法手动定义参数和计算理解nn.Linear之前建议先手写一遍。这不只是为了知其所以然更是为了让你明白 PyTorch 的自动求导到底替你做了什么。import torch.nn as nn # 方式一手动定义参数 w torch.tensor([1.0], requires_gradTrue) b torch.tensor([0.0], requires_gradTrue) def model(x): return x * w b这里requires_gradTrue是关键。它告诉 PyTorch这个张量参与计算图之后要算它的梯度。当你执行loss.backward()时PyTorch 会自动计算 loss 对 w 和 b 的偏导并且把结果存在w.grad和b.grad里。注意一个细节w 和 b 的初始值。这里我初始化为 1.0 和 0.0离真实值 (2.0, 1.0) 不算远。但如果初始化为 100你会看到训练过程慢很多甚至可能震荡。初始化的选择在深层网络中会变成一个极其重要的问题线性回归阶段你可以先感受一下它对收敛速度的影响。4.2 用 nn.Linear 封装进入 PyTorch 的模块化世界手写版本理解之后换成 PyTorch 的封装方式。model nn.Linear(in_features1, out_features1)这一行代码创建了一个线性层里面自动包含了权重矩阵 W 和偏置 b。查看参数的方式是for name, param in model.named_parameters(): print(f{name}: shape{param.shape}, value{param.data})输出会显示一个weight和一个bias。你会发现weight的形状是 (1, 1)因为输入是一个特征、输出是一个特征。nn.Linear做的事情就是线性变换 y x W^T b和手写版本完全一样。nn.Linear的价值在于它是 PyTorch 神经网络模块体系的最小单元。你后续用的nn.Sequential、自定义nn.Module子类都是在这样的层之上搭建的。这一行代码就是你进入 PyTorch 模块化世界的入口。4.3 损失函数与优化器的选择逻辑损失函数衡量模型预测值和真实值差多少。线性回归对应的是均方误差MSEloss_fn nn.MSELoss()MSE 的计算公式是 1/n * Σ(y_pred - y_true)²。为什么选它而不是绝对误差两个原因第一MSE 是凸函数对线性模型来说梯度下降一定能找到全局最优第二MSE 的梯度在误差大时也大更新步长自然加大这算是一种朴素的自适应反馈。当然MSE 对离群点敏感如果数据里有极端异常值它的梯度会爆炸这一点在后面的项目里要留意。优化器选择 SGDoptimizer torch.optim.SGD(model.parameters(), lr0.01)SGD就是随机梯度下降每一小批数据计算梯度后按 learning rate学习率的方向更新参数。PyTorch 里还有其他优化器比如 Adam它相当于给 SGD 加上了自适应学习率的升级包收敛更快、对学习率不敏感。为什么线性回归项目推荐用 SGD 而不是 Adam因为 SGD 简单、行为可预测你更容易观察到学习率变化对训练过程的影响。用 Adam 固然更快但那种自适应的魔法会让你低估调参的重要性。5. 训练流程loss 曲线会告诉你一切5.1 完整训练循环拆解所有深度学习训练代码的核心都是同一个循环前向传播计算预测值和损失反向传播计算梯度优化器更新参数。下面是一个完整的线性回归训练代码import torch import torch.nn as nn from torch.utils.data import TensorDataset, DataLoader # ---------- 1. 造数据 ---------- torch.manual_seed(42) x torch.linspace(0, 10, 100).reshape(-1, 1) true_w, true_b 2.0, 1.0 noise torch.randn(x.shape) * 1.0 y true_w * x true_b noise # 标准化 x_norm (x - x.mean()) / x.std() # ---------- 2. 封装数据 ---------- dataset TensorDataset(x_norm, y) dataloader DataLoader(dataset, batch_size16, shuffleTrue) # ---------- 3. 定义模型、损失函数、优化器 ---------- model nn.Linear(1, 1) loss_fn nn.MSELoss() optimizer torch.optim.SGD(model.parameters(), lr0.05) # ---------- 4. 训练循环 ---------- epochs 100 for epoch in range(epochs): total_loss 0.0 for batch_x, batch_y in dataloader: # 前向传播 pred model(batch_x) loss loss_fn(pred, batch_y) # 梯度清零 optimizer.zero_grad() # 反向传播 loss.backward() # 参数更新 optimizer.step() total_loss loss.item() # 打印每个 epoch 的平均损失 avg_loss total_loss / len(dataloader) if (epoch 1) % 10 0: print(fEpoch {epoch1}, Loss: {avg_loss:.6f})我特别强调optimizer.zero_grad()这一行。初学者最容易漏掉它后果是梯度会在每次迭代中累加loss 不降反升甚至出现 NaN。PyTorch 设计时为了让某些计算场景能累积梯度默认不清空上一步的梯度所以每步更新前必须手动清零。这个坑我当年踩了很久才反应过来。训练结束后查看模型的参数print(fweight {model.weight.item():.4f}, bias {model.bias.item():.4f})得到的结果应该非常接近我们设定的真实值。我实际跑出来的结果大约在 weight1.98、bias1.05 附近和真实参数 (2.0, 1.0) 的偏差来自噪声的影响。数据噪声越大模型参数的估计误差就越大这是统计学里的基本规律。5.2 学习率、迭代次数怎么调这是我的血泪经验学习率learning rate是整个训练循环里最敏感的超参数没有之一。它决定每一步参数更新迈多大的步子。学习率设得太小比如 0.001loss 下降非常缓慢你可能需要几千个 epoch 才能收敛。学习率设得太大比如 1.0loss 会剧烈震荡甚至直接发散变成 NaN。我常用的一组基准参数数据量 100、batch_size 16、学习率 0.05、epoch 100在这个配置下损失通常在前 20 个 epoch 内就降到了一个非常小的值后面基本是微调。调参有个实用技巧每 10 个 epoch 打印一次平均损失观察损失下降的形状。正常情况是前几个 epoch 下降很快然后逐渐趋平。如果出现锯齿状的反复跳动说明学习率偏大如果下降如同乌龟爬说明学习率偏小。epoch 的选择也有讲究。epoch 表示完整过一遍所有数据多少次。线性回归收敛很快100 个 epoch 已经绰绰有余。你可以做一个简单的实验把 epoch 从 10 改成 1000观察 loss 和参数变化。你会发现前 100 个 epoch 之后loss 几乎不再下降——这就是收敛。后续不会有任何进展徒增计算时间。5.3 结果可视化与参数对比训练完成后可视化是检验模型最直观的方式。用 matplotlib 把原始样本点和拟合直线画在一起import matplotlib.pyplot as plt # 反标准化还原到原始尺度 x_original x_norm * x.std() x.mean() # 模型预测输入也要用标准化后的 x with torch.no_grad(): y_pred model(x_norm) plt.scatter(x_original.numpy(), y.numpy(), alpha0.6, label样本点) plt.plot(x_original.numpy(), y_pred.numpy(), r-, label拟合直线) plt.legend() plt.xlabel(x) plt.ylabel(y) plt.show()这里有个细节值得注意with torch.no_grad()块。推理时我们不需要计算梯度加上这个上下文管理器可以避免 PyTorch 构建计算图节省内存和算力。你的模型只要进入只做前向推理的场景——无论是验证还是最终预测——都应该养成包在no_grad()里的习惯。可视化时你会直观看到拟合直线穿过了点云的质量中心大致沿着数据的整体趋势延伸。这就是最小二乘的意义在所有可能的直线中这条直线让所有样本点到它的竖直距离的平方和最小。6. 我踩过的坑调试线性回归的常见问题实录6.1 损失不降反升或者直接 NaN这是我的调试经历里出现频率最高的问题。原因通常有几种可能学习率过大导致参数更新过度越过最优点后梯度越来越大最后数值溢出梯度没有清零导致梯度累积数据中存在 NaN 值或极端离群值。排查思路是先打印每一步的梯度看看是不是在膨胀再把学习率调小一个数量级试试最后检查数据的 min/max 是否异常。对线性回归来说学习率从 0.05 调到 0.005问题就解决的案例占了绝大多数。6.2 结果符号不对w 和 b 和真实值差太远如果你把噪声标准差调到了 10 以上模型的参数估计会明显偏离真实值。这不是 bug而是数据噪声太大信息不足以精确还原真实参数。直观的理解你给拟合任务提供的数据本身污染太重模型只能找出大致的趋势。另外是否做标准化也会影响参数估计的数值。如果你用标准化的 x 训练模型得到的weight是标准化空间里的斜率拿到原始空间需要换算。很多人在这一步产生了困惑以为是模型学错了。换算公式是w_original w_norm / x.std()b_original b_norm - w_norm * x.mean() / x.std()。6.3 设备不匹配CPU 和 GPU 之间的经典报错当你把模型和数据都搬到 GPU 上训练时最经典的报错是Expected all tensors to be on the same device。原因是模型在 GPU但某个输入张量还在 CPU。这个看起来很低级的错误即使是有经验的工程师也会时不时犯。统一的解决思路在训练循环开始前把模型和所有输入数据都显式地放到同一个设备上。device torch.device(cuda if torch.cuda.is_available() else cpu) model nn.Linear(1, 1).to(device) for batch_x, batch_y in dataloader: batch_x batch_x.to(device) batch_y batch_y.to(device) # 后续代码不变6.4 常见问题速查表症状可能原因排查与解决方案Loss 不降学习率过小尝试增大 lr 一个数量级Loss 震荡学习率过大减小 lr观察是否变平稳Loss 变成 NaN学习率过大或数据有 NaN大幅降低 lr检查数据梯度越来越大梯度累积未清零检查zero_grad()是否在每步执行参数离真实值太远噪声太大或未收敛增大 epoch增大样本量设备报错CPU/GPU 张量混用统一.to(device)形状报错输入维度不对检查是否为 (batch, features) 形状注意在线性回归阶段几乎所有的疑难杂症最终都归结为学习率和数据形状。如果你遇到不可思议的问题先把学习率调到 0.01 以下把 input 的形状打印出来看一眼大概率能定位问题。7. 从线性回归走向真正的深度学习7.1 多项式回归一条直线不够那就加特征线性回归只能拟合直线。当数据呈现明显曲线趋势时一个自然的扩展是把特征从 x 变成 x、x²、x³ 等多个特征然后仍然用线性模型拟合。这就是多项式回归。在 PyTorch 里只需要把输入特征从 (100, 1) 扩展成 (100, 3)分别包含 x、x²、x³然后仍然用nn.Linear(3, 1)x_poly torch.cat([x, x**2, x**3], dim1) model nn.Linear(3, 1)这个扩展的意义在于它让你第一次体会到特征工程是怎么影响模型表达能力的。深度学习之所以强大某种程度上就是因为它可以自动学习特征表示而不用人工构造这样的多项式组合。7.2 换掉损失函数和输出层线性回归变成逻辑回归线性回归解决回归问题逻辑回归解决分类问题。二者的代码结构几乎一样区别在于逻辑回归在输出层加了一个 sigmoid 激活函数把线性输出压缩到 0 到 1 之间表示概率损失函数从 MSE 换成了交叉熵。这个小小的改动揭示了深度学习的统一范式模型前向传播输出一个原始分数损失函数衡量分数和目标之间的差距反向传播更新参数让差距缩小。你在分类任务里看到的所有模型从最简单的逻辑回归到超大规模的 ResNet都是在这个范式上叠加更多的层和更复杂的结构。7.3 理解 autograd就是理解了深度学习的一半最后想聊聊backward()背后的自动微分机制。手写线性回归时你可能会想梯度到底是怎么算出来的实际上PyTorch 在每次前向传播时都会构建一张计算图记录张量之间的运算关系。调用loss.backward()时它从 loss 出发沿着计算图反向遍历用链式法则求出 loss 对每个requires_gradTrue的张量的偏导数。这个过程完全自动化你只需要保证计算图正确。为了加深理解你可以做一个练习把torch.sigmoid、torch.exp这些非线性函数加入模型中然后观察梯度是否依然能正确计算。你会看到自动求导系统无差别地处理各种复杂的复合函数——这正是深度学习能够堆叠几十层网络的根本原因。我个人在实际操作中的体会是线性回归虽然代码量不到一百行但它值得你反复重写几遍。第一遍照着教程敲第二遍不看教程自己写第三遍尝试不同的超参数组合并记录现象第四遍扩展成多项式回归或逻辑回归。每一遍都会对深度学习的基础范式有新的理解。后面你遇到任何复杂的模型时都可以回到这个最简单的项目里做类比——它们不过是在造数据、定义模型、算损失、反向传播、更新参数这条主线上不断加戏而已。最后再分享一个小技巧每完成一个版本的训练把 loss 曲线和最终参数截图保存。你会发现这些记录在后续学习中是很有价值的对照素材——当你在更复杂的模型里遇到 loss 不收敛时回看线性回归的成功曲线往往能启发你找到调参的方向。
