####习题答案这一节深入探讨了机器学习中最核心的挑战之一模型泛化Generalization。它解释了为什么一个在训练集上表现完美的模型在实际应用测试集中可能会表现得很差。核心内容总结该页面主要围绕如何平衡模型的复杂性与数据集大小展开训练误差 vs. 泛化误差训练误差模型在训练数据集上的误差。泛化误差模型应用在同样分布的无限多新样本上的误差期望值。我们的目标是降低泛化误差。模型选择为了评估模型我们需要将数据分成训练集和测试集。验证集 (Validation Set)由于不能根据测试集来调整超参数通常会从训练数据中预留一部分作为验证集用于模型选择。K折交叉验证 (K-Fold Cross-Validation)当数据稀缺时将数据分成 K 份轮流用 K-1 份训练1 份验证最后取平均结果。欠拟合 (Underfitting)模型过于简单甚至无法降低训练误差。表现训练误差和验证误差都很高。过拟合 (Overfitting)模型过于复杂把训练集里的“噪声”也学进去了。表现训练误差极低但验证误差很高。习题答案解析以下是基于本节理论对练习题的解答建议Q1: 这个多项式回归问题可以准确解出吗答案可以。多项式回归本质上仍然是关于参数的线性回归只要将 x^2, x^3 等视为新的特征变量。因此它具有解析解可以通过正规方程Normal Equation直接计算出最优权重。Q2: 绘制训练损失 vs. 模型复杂度多项式的阶数的曲线你观察到了什么解析随着阶数增加训练损失会单调下降因为模型变得越来越能“死记硬背”训练数据。然而验证损失会呈现 U形曲线先下降改善到达最优点后开始剧烈上升过拟合。Q3: 如果你减少训练样本的数量会发生什么答案模型会更容易发生过拟合。直觉上数据越少模型越容易找到某种“巧合”规律来解释这些样本而这种规律并不适用于新数据。泛化误差会显著增大。Q4: 如果你增加训练数据的噪声会发生什么答案模型更难收敛训练误差会上升。模型可能会试图拟合这些噪声导致严重的过拟合。为了应对噪声我们需要更强的正则化如本章后续提到的权重衰减或 Dropout。Q5: 为什么通常我们要增加训练数据量答案更多的数据能覆盖更真实的数据分布。大样本量可以抑制噪声的影响减少模型“误入歧途”的概率从而降低泛化误差。根据统计学习理论对于给定的模型复杂性随着样本量 n \to \infty泛化误差会趋近于训练误差。下一步建议既然了解了过拟合那么如何“对抗”它呢下一节 4.5 节“权重衰减 (Weight Decay)” 将介绍第一种武器通过惩罚过大的参数值来限制模型复杂度。你想看看如何通过代码给模型添加 L2 范数惩罚 吗针对《动手学深度学习》4.4 节关于“模型选择、欠拟合和过拟合”的练习题以下是基于线性代数和机器学习理论的详细解答这个多项式回归问题可以准确地解出吗可以。线性代数解释虽然多项式函数在变量 x 上是非线性的但它关于参数 \mathbf{w} 是线性的。我们可以将多项式特征 x, x^2, \dots, x^d 视为独立的特征变量构建一个范德蒙德矩阵Vandermonde matrix \mathbf{X}。只要矩阵 \mathbf{X}^\top \mathbf{X} 是满秩且可逆的我们就可以通过正规方程 \mathbf{w} (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y} 直接求得解析解。绘制训练损失与模型复杂度的关系图观察结果随着模型复杂度多项式阶数的增加训练损失会单调下降。减小到 0 的条件根据线性代数原理当多项式的阶数 d 等于样本数量 n 减去 1 时即 d n - 1模型拥有足够的自由度可以经过每一个数据点插值此时训练损失可以减少到 0。在这种情况下绘制测试损失图观察结果测试损失图通常呈 U 形。当阶数较低时由于模型无法拟合数据的真实规律测试损失较高欠拟合。当阶数适中接近生成数据的真实阶数时测试损失达到最低点。当阶数继续增加时虽然训练损失在下降但由于模型开始拟合随机噪声测试损失会剧烈上升过拟合。生成同样的图作为数据量的函数训练损失通常随数据量增加而上升。因为数据越多模型“死记硬背”所有点变得越困难。测试损失泛化误差随数据量增加而下降。更多的数据提供了关于真实分布的更清晰信号减少了过拟合的风险。结论当数据量趋于无穷大时训练损失和测试损失会收敛到同一个值即数据的固有噪声。如果不对多项式特征进行标准化会发生什么数值不稳定性高阶多项式的项如 x^{20}会产生极大或极小的值导致输入特征在量级上相差悬殊。优化困难这会导致损失函数的等高线变得极其扁平梯度下降算法会变得非常缓慢甚至出现数值溢出NaN导致训练失败。解决方法除了显式的标准化如除以 n!还可以使用 QR 分解 或 正交多项式如切比雪夫多项式来构建特征从而在数学上避免数值不稳定性。泛化误差可能为零吗理论上几乎不可能。不可约误差现实数据中通常包含“噪声”或“贝叶斯误差”这是由于观察不全或系统本身的随机性造成的。即使模型完美捕捉了真实规律这部分误差依然存在。样本限制除非模型完全掌握了生成数据的底层物理规律并且测试集与训练集没有任何噪声干扰否则泛化误差总会大于零。下一步建议既然了解了如何识别过拟合下一节 4.5 权重衰减 (Weight Decay) 将教你如何通过数学手段L2 正则化在不改变模型深度的情况下强制模型变得“简单”以抑制过拟合。你想看看如何通过代码实现这一惩罚项吗
####习题答案这一节深入探讨了机器学习中最核心的挑战之一模型泛化Generalization。它解释了为什么一个在训练集上表现完美的模型在实际应用测试集中可能会表现得很差。核心内容总结该页面主要围绕如何平衡模型的复杂性与数据集大小展开训练误差 vs. 泛化误差训练误差模型在训练数据集上的误差。泛化误差模型应用在同样分布的无限多新样本上的误差期望值。我们的目标是降低泛化误差。模型选择为了评估模型我们需要将数据分成训练集和测试集。验证集 (Validation Set)由于不能根据测试集来调整超参数通常会从训练数据中预留一部分作为验证集用于模型选择。K折交叉验证 (K-Fold Cross-Validation)当数据稀缺时将数据分成 K 份轮流用 K-1 份训练1 份验证最后取平均结果。欠拟合 (Underfitting)模型过于简单甚至无法降低训练误差。表现训练误差和验证误差都很高。过拟合 (Overfitting)模型过于复杂把训练集里的“噪声”也学进去了。表现训练误差极低但验证误差很高。习题答案解析以下是基于本节理论对练习题的解答建议Q1: 这个多项式回归问题可以准确解出吗答案可以。多项式回归本质上仍然是关于参数的线性回归只要将 x^2, x^3 等视为新的特征变量。因此它具有解析解可以通过正规方程Normal Equation直接计算出最优权重。Q2: 绘制训练损失 vs. 模型复杂度多项式的阶数的曲线你观察到了什么解析随着阶数增加训练损失会单调下降因为模型变得越来越能“死记硬背”训练数据。然而验证损失会呈现 U形曲线先下降改善到达最优点后开始剧烈上升过拟合。Q3: 如果你减少训练样本的数量会发生什么答案模型会更容易发生过拟合。直觉上数据越少模型越容易找到某种“巧合”规律来解释这些样本而这种规律并不适用于新数据。泛化误差会显著增大。Q4: 如果你增加训练数据的噪声会发生什么答案模型更难收敛训练误差会上升。模型可能会试图拟合这些噪声导致严重的过拟合。为了应对噪声我们需要更强的正则化如本章后续提到的权重衰减或 Dropout。Q5: 为什么通常我们要增加训练数据量答案更多的数据能覆盖更真实的数据分布。大样本量可以抑制噪声的影响减少模型“误入歧途”的概率从而降低泛化误差。根据统计学习理论对于给定的模型复杂性随着样本量 n \to \infty泛化误差会趋近于训练误差。下一步建议既然了解了过拟合那么如何“对抗”它呢下一节 4.5 节“权重衰减 (Weight Decay)” 将介绍第一种武器通过惩罚过大的参数值来限制模型复杂度。你想看看如何通过代码给模型添加 L2 范数惩罚 吗针对《动手学深度学习》4.4 节关于“模型选择、欠拟合和过拟合”的练习题以下是基于线性代数和机器学习理论的详细解答这个多项式回归问题可以准确地解出吗可以。线性代数解释虽然多项式函数在变量 x 上是非线性的但它关于参数 \mathbf{w} 是线性的。我们可以将多项式特征 x, x^2, \dots, x^d 视为独立的特征变量构建一个范德蒙德矩阵Vandermonde matrix \mathbf{X}。只要矩阵 \mathbf{X}^\top \mathbf{X} 是满秩且可逆的我们就可以通过正规方程 \mathbf{w} (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y} 直接求得解析解。绘制训练损失与模型复杂度的关系图观察结果随着模型复杂度多项式阶数的增加训练损失会单调下降。减小到 0 的条件根据线性代数原理当多项式的阶数 d 等于样本数量 n 减去 1 时即 d n - 1模型拥有足够的自由度可以经过每一个数据点插值此时训练损失可以减少到 0。在这种情况下绘制测试损失图观察结果测试损失图通常呈 U 形。当阶数较低时由于模型无法拟合数据的真实规律测试损失较高欠拟合。当阶数适中接近生成数据的真实阶数时测试损失达到最低点。当阶数继续增加时虽然训练损失在下降但由于模型开始拟合随机噪声测试损失会剧烈上升过拟合。生成同样的图作为数据量的函数训练损失通常随数据量增加而上升。因为数据越多模型“死记硬背”所有点变得越困难。测试损失泛化误差随数据量增加而下降。更多的数据提供了关于真实分布的更清晰信号减少了过拟合的风险。结论当数据量趋于无穷大时训练损失和测试损失会收敛到同一个值即数据的固有噪声。如果不对多项式特征进行标准化会发生什么数值不稳定性高阶多项式的项如 x^{20}会产生极大或极小的值导致输入特征在量级上相差悬殊。优化困难这会导致损失函数的等高线变得极其扁平梯度下降算法会变得非常缓慢甚至出现数值溢出NaN导致训练失败。解决方法除了显式的标准化如除以 n!还可以使用 QR 分解 或 正交多项式如切比雪夫多项式来构建特征从而在数学上避免数值不稳定性。泛化误差可能为零吗理论上几乎不可能。不可约误差现实数据中通常包含“噪声”或“贝叶斯误差”这是由于观察不全或系统本身的随机性造成的。即使模型完美捕捉了真实规律这部分误差依然存在。样本限制除非模型完全掌握了生成数据的底层物理规律并且测试集与训练集没有任何噪声干扰否则泛化误差总会大于零。下一步建议既然了解了如何识别过拟合下一节 4.5 权重衰减 (Weight Decay) 将教你如何通过数学手段L2 正则化在不改变模型深度的情况下强制模型变得“简单”以抑制过拟合。你想看看如何通过代码实现这一惩罚项吗
