在实际机器学习和深度学习项目中理解模型损失函数背后的数学原理远比单纯调用nn.CrossEntropyLoss()或nn.KLDivLoss()更为重要。尤其是在处理 Transformer 这类复杂模型时其训练过程的核心——交叉熵损失以及更广义的 KL 散度直接关系到模型能否收敛、收敛速度以及最终性能。很多开发者虽然能熟练使用这些损失函数但当需要自定义损失、调试梯度异常或理解模型输出分布时却对“信息量”、“熵”、“交叉熵”和“KL散度”这一系列概念的来龙去脉感到模糊。本文将从最基础的信息论概念“信息量”出发通过一步步的公式推导串联起信息熵、交叉熵最终抵达 KL 散度。我们将以“手撕”的方式不回避任何数学细节清晰地展示 KL 散度如何衡量两个概率分布之间的差异并解释为什么它在 Transformer 的训练中扮演着如此关键的角色。无论你是正在深入学习 Transformer 架构的实践者还是希望夯实机器学习理论基础的研究者通过本文你将不仅能推导出这些公式更能理解每一步背后的直觉和它们在模型优化中的实际意义。1. 从“惊奇度”到信息熵量化信息的不确定性在深入 KL 散度之前我们必须先建立两个更基础的概念信息量和信息熵。它们是整个信息论大厦的基石。1.1 信息量衡量事件发生的“意外”程度信息量直观上理解就是得知一个事件发生后我们所获得的“信息”的多少。克劳德·香农对其进行了数学定义一个事件的信息量与其发生的概率成反比。事件越不可能发生概率越小当它发生时带给我们的“惊奇”或信息量就越大。基于这种直觉香农定义了事件 $x$ 的信息量 $I(x)$ 为 $$ I(x) \log \frac{1}{P(x)} -\log P(x) $$这里对数的底数通常取 2单位是比特bit或自然常数 e单位是奈特nat。在机器学习中使用自然对数以 e 为底更为常见因为它在数学推导上更简洁求导方便。所以我们通常采用 $$ I(x) -\ln P(x) $$为什么是对数对数函数满足“可加性”。例如两个独立事件同时发生的信息量应该是各自信息量之和$I(x, y) I(x) I(y)$。由于独立事件的联合概率 $P(x, y) P(x)P(y)$使用对数正好满足$-\ln(P(x)P(y)) -\ln P(x) - \ln P(y)$。1.2 信息熵衡量整个概率分布的“不确定”程度信息量是针对单个事件的。对于一个概率分布 $P$我们更关心它的整体“不确定”程度。例如一个均匀的硬币正反面概率各 0.5比一个作弊的硬币正面概率 0.9更“不确定”结果。信息熵 $H(P)$ 就是概率分布 $P$ 中所有可能事件的信息量的期望值。对于离散分布 $P$其信息熵定义为 $$ H(P) \mathbb{E}{x \sim P}[I(x)] \mathbb{E}{x \sim P}[-\ln P(x)] -\sum_{x \in \mathcal{X}} P(x) \ln P(x) $$其中 $\mathcal{X}$ 是所有可能事件的集合。熵的直观理解当分布 $P$ 是确定的某个事件概率为 1其余为 0熵 $H(P)0$。没有任何不确定性。当分布 $P$ 是均匀分布时熵达到最大值。因为此时每个结果都同样“意外”不确定性最高。熵可以理解为“按照真实分布 $P$ 进行编码时描述一个事件所需的最小平均编码长度”。注意这里“编码”是一种比喻。在信息论中熵确实给出了无损压缩的理论下限。让我们看一个简单的计算示例。假设一个天气分布 $P${‘晴’: 0.5 ‘雨’: 0.3 ‘阴’: 0.2}。其熵为import math P {晴: 0.5, 雨: 0.3, 阴: 0.2} H_P -sum(p * math.log(p) for p in P.values()) print(f分布 P 的信息熵 H(P) {H_P:.4f} nats)输出结果约为0.9433 nats。如果天气总是晴天{‘晴’: 1.0}熵为 0。如果三种天气均匀分布各 1/3熵为 $\ln(3) \approx 1.0986$比我们的例子要高。2. 交叉熵用“错误”的编码描述“真实”的分布信息熵描述了用“正确”的编码即按照真实分布 $P$ 设计的编码来描述事件所需的平均长度。那么如果我们使用一个“错误”的编码体系这个体系是基于另一个分布 $Q$ 来设计的但实际事件仍然服从真实分布 $P$这时描述事件所需的平均长度是多少呢这就是交叉熵。交叉熵 $H(P, Q)$ 定义为当真实分布为 $P$但我们使用基于分布 $Q$ 的编码时所需的平均信息量或编码长度。 $$ H(P, Q) \mathbb{E}{x \sim P}[-\ln Q(x)] -\sum{x \in \mathcal{X}} P(x) \ln Q(x) $$关键点期望的计算是基于真实分布 $P$ 的。但信息量 $-\ln Q(x)$ 的计算却是基于我们假设的分布 $Q$。如果 $Q$ 和 $P$ 完全一致那么交叉熵就等于信息熵$H(P, P) H(P)$。只要 $Q \neq P$由于我们用了错误的概率来计算信息量通常会导致 $H(P, Q) H(P)$。也就是说用错误的编码体系平均来看需要更长的“码字”来描述事件。2.1 交叉熵作为损失函数在机器学习分类任务中这正是我们面临的情况真实分布 $P$通常是数据的真实标签它是一个“one-hot”向量。例如对于一张猫的图片真实分布是[1, 0, 0]假设类别为[猫狗鸟]。预测分布 $Q$是模型如 Transformer 的 Softmax 输出层给出的概率分布例如[0.8, 0.15, 0.05]。我们的目标是让预测分布 $Q$ 尽可能接近真实分布 $P$。如何衡量这个“接近”程度一个很自然的想法就是最小化交叉熵 $H(P, Q)$。因为当 $Q$ 无限逼近 $P$ 时交叉熵会逼近其最小值——真实分布 $P$ 的信息熵 $H(P)$。在 PyTorch 或 TensorFlow 中nn.CrossEntropyLoss()本质上计算的就是真实标签one-hot与模型预测logits 经过 Softmax之间的交叉熵。它内部已经将 one-hot 编码和 Softmax 操作高效地整合了。import torch import torch.nn as nn # 假设一个三分类问题batch_size2 logits torch.tensor([[2.0, 1.0, 0.1], # 样本1的logits [0.5, 2.0, 1.5]]) # 样本2的logits # 真实标签样本1是第0类样本2是第1类 targets torch.tensor([0, 1]) loss_fn nn.CrossEntropyLoss() loss loss_fn(logits, targets) print(f交叉熵损失: {loss.item():.4f}) # 手动计算验证理解过程 def manual_cross_entropy(logits, targets): # Step 1: Softmax 得到预测概率分布 Q probs torch.softmax(logits, dim-1) # Q # Step 2: 将 targets 转为 one-hot 编码作为真实分布 P n_classes logits.shape[-1] P torch.nn.functional.one_hot(targets, num_classesn_classes).float() # Step 3: 计算交叉熵 H(P, Q) -sum(P * log(Q)) # 注意对于 one-hot 的 P只有真实类别位置为1所以等价于 -log(Q_true) log_probs torch.log(probs) loss_elements -torch.sum(P * log_probs, dim-1) return loss_elements.mean() manual_loss manual_cross_entropy(logits, targets) print(f手动计算交叉熵: {manual_loss.item():.4f}) # 两个输出应该非常接近3. KL散度从交叉熵到分布差异的纯粹度量我们已经知道当 $QP$ 时交叉熵 $H(P, Q)$ 取得最小值 $H(P)$。那么交叉熵比最小值大出来的那部分不就是由于 $Q$ 和 $P$ 不同而导致的“额外成本”吗这部分“额外成本”就是 KL 散度。KL 散度Kullback-Leibler Divergence也称为相对熵正式定义为 $$ D_{KL}(P || Q) H(P, Q) - H(P) $$将交叉熵和信息熵的定义代入 $$ \begin{aligned} D_{KL}(P || Q) \left( -\sum_x P(x) \ln Q(x) \right) - \left( -\sum_x P(x) \ln P(x) \right) \ -\sum_x P(x) \ln Q(x) \sum_x P(x) \ln P(x) \ \sum_x P(x) \ln \frac{P(x)}{Q(x)} \end{aligned} $$这就是 KL 散度的最终表达式$$ D_{KL}(P || Q) \sum_{x \in \mathcal{X}} P(x) \ln \left( \frac{P(x)}{Q(x)} \right) $$3.1 KL散度的直观意义与性质非负性$D_{KL}(P || Q) \ge 0$且当且仅当 $PQ$几乎处处相等时取等号。这是由吉布斯不等式保证的。它意味着用 $Q$ 来近似 $P$ 总会带来额外的信息损失。不对称性$D_{KL}(P || Q) \neq D_{KL}(Q || P)$。这是 KL 散度的一个重要特性它不是一个真正的“距离”度量因为距离需要对称性。这种不对称性在实际中有重要含义$D_{KL}(P || Q)$ 被称为“前向 KL”在 $P(x)0$ 的地方$Q(x)$ 是多少都无所谓因为 $0 \cdot \ln(0/Q)0$。它要求 $Q$ 在 $P$ 有概率的地方不能为0。$D_{KL}(Q || P)$ 被称为“反向 KL”在 $Q(x)0$ 的地方$P(x)$ 是多少都无所谓。它要求 $Q$ 不能给 $P$ 概率为0的地方分配概率。与交叉熵的关系从定义 $D_{KL}(P || Q) H(P, Q) - H(P)$ 可知最小化交叉熵 $H(P, Q)$ 等价于最小化 KL 散度 $D_{KL}(P || Q)$因为对于固定的真实分布 $P$其信息熵 $H(P)$ 是一个常数。3.2 一个简单的计算示例假设真实分布 $P [0.7, 0.2, 0.1]$模型预测分布 $Q [0.6, 0.3, 0.1]$。我们来计算交叉熵和 KL 散度。import numpy as np P np.array([0.7, 0.2, 0.1]) Q np.array([0.6, 0.3, 0.1]) # 计算信息熵 H(P) H_P -np.sum(P * np.log(P)) print(fH(P) {H_P:.4f}) # 计算交叉熵 H(P, Q) H_PQ -np.sum(P * np.log(Q)) print(fH(P, Q) {H_PQ:.4f}) # 计算 KL 散度 D_KL(P||Q) D_KL np.sum(P * np.log(P / Q)) print(fD_KL(P||Q) {D_KL:.4f}) # 验证关系H(P, Q) H(P) D_KL(P||Q) print(fH(P) D_KL {H_P D_KL:.4f}) print(f关系验证是否成立: {np.isclose(H_PQ, H_P D_KL)})输出结果H(P) 0.8018 H(P, Q) 0.8755 D_KL(P||Q) 0.0737 H(P) D_KL 0.8755 关系验证是否成立: True可以看到交叉熵0.8755比信息熵0.8018大了 0.0737正好等于 KL 散度。这 0.0737 就是由于预测分布 $Q$ 与真实分布 $P$ 不同而带来的“额外损失”。4. KL散度在Transformer训练中的核心角色理解了 KL 散度的数学本质后我们来看它在 Transformer 模型训练中的具体应用。Transformer 的训练通常是一个监督学习过程其目标是最小化模型预测与真实标签之间的差异。4.1 标准训练交叉熵损失即最小化KL散度在典型的分类任务如机器翻译、文本分类中每个目标位置的真实标签是一个 one-hot 向量 $P$例如某个位置正确的下一个词是“apple”。Transformer 解码器或分类头的输出经过 Softmax 后得到一个概率分布 $Q$。我们的损失函数是交叉熵损失 $$ \mathcal{L} H(P, Q) -\sum_{i} P_i \log Q_i $$ 由于 $P$ 是 one-hot 向量只有真实类别 $t$ 处为1其余为0上式简化为 $$ \mathcal{L} -\log Q_t $$ 其中 $Q_t$ 是模型分配给真实类别 $t$ 的概率。根据前面的推导最小化这个交叉熵损失 $\mathcal{L}$完全等价于最小化 $D_{KL}(P || Q)$因为 $H(P)$ 对于 one-hot 分布是一个常数实际上对于确定的 one-hot 分布其信息熵为 0因为没有任何不确定性。所以Transformer 的标准训练过程本质上就是在最小化模型预测分布 $Q$ 与真实 one-hot 分布 $P$ 之间的 KL 散度。4.2 标签平滑软化真实分布以改善泛化直接使用 one-hot 标签作为 $P$ 有一个潜在问题它迫使模型以 100% 的置信度去匹配真实标签这可能导致模型过于“武断”泛化能力下降并且对错误标注的数据过于敏感。标签平滑Label Smoothing技术通过修改真实分布 $P$ 来解决这个问题。它不再使用纯粹的 one-hot 向量而是将其“平滑” $$ P’_i \begin{cases} 1 - \epsilon \text{if } i t \ \epsilon / (K-1) \text{otherwise} \end{cases} $$ 其中 $K$ 是类别总数$\epsilon$ 是一个小常数如 0.1。此时真实分布 $P’$ 不再是一个零熵的确定分布它有了一点不确定性。损失函数变为 $$ \mathcal{L}{LS} H(P’, Q) -(1-\epsilon)\log Q_t - \sum{i \neq t} \frac{\epsilon}{K-1} \log Q_i $$这仍然等价于最小化 $D_{KL}(P’ || Q)$。标签平滑通过向真实分布中引入少量噪声熵起到了正则化的作用鼓励模型不要给出过于极端的概率通常能提升模型的校准度和泛化性能。在 Transformer 的原始论文《Attention Is All You Need》中就使用了标签平滑$\epsilon0.1$。4.3 知识蒸馏用KL散度对齐教师与学生模型知识蒸馏是 KL 散度另一个重要的应用场景。在蒸馏过程中我们有一个已经训练好的、性能强大的“教师”模型和一个待训练的“学生”模型。我们希望学生模型不仅能学习真实标签还能学习教师模型输出的“软标签”Soft Targets。教师模型对同一个输入会输出一个相对平滑的概率分布 $Q_{teacher}$例如对于“狗”的图片它可能给出[猫:0.1, 狗:0.7, 汽车:0.05, ...]这个分布包含了类别间的相似性信息猫和狗都是动物概率稍高汽车是物体概率很低。知识蒸馏的损失函数通常由两部分组成蒸馏损失让学生模型的预测分布 $Q_{student}$ 去逼近教师模型的分布 $Q_{teacher}$。衡量两者差异的完美工具就是 KL 散度$D_{KL}(Q_{teacher} || Q_{student})$。注意这里通常使用“反向 KL” $D_{KL}(Q_{teacher} || Q_{student})$或者对称化的 JS 散度但核心思想一致。学生损失传统的交叉熵损失让学生模型也学习真实标签 $P$。总损失是两者的加权和 $$ \mathcal{L}{KD} \alpha \cdot \mathcal{L}{CE}(P, Q_{student}) \beta \cdot T^2 \cdot D_{KL}(Q_{teacher} || Q_{student}) $$ 其中 $T$ 是温度参数用于控制教师分布 $Q_{teacher}$ 的平滑程度。通过最小化这个联合损失学生模型既学到了硬知识真实标签又学到了教师模型的软知识类别间关系从而往往能用更小的参数量达到接近教师模型的性能。5. 实践中的关键细节与常见陷阱理论推导清晰后在代码实现和模型训练中还有一些至关重要的细节需要把握。5.1 数值稳定性Log-Sum-Exp技巧计算交叉熵或 KL 散度时涉及 $\log Q(x)$而 $Q(x)$ 是 Softmax 的输出。直接计算log(softmax(x))在数值上可能不稳定特别是当 $x$ 中的值很大或很小时Softmax 可能溢出或下溢。标准的、数值稳定的实现方式是使用Log-Sum-Exp (LSE)技巧 $$ \log(\text{Softmax}(x_i)) x_i - \log\sum_j \exp(x_j) $$ 而 $\log\sum_j \exp(x_j)$ 可以通过减去最大值来稳定计算 $$ \text{LSE}(x) \log\sum_j \exp(x_j) \max(x) \log\sum_j \exp(x_j - \max(x)) $$PyTorch 的nn.CrossEntropyLoss和F.cross_entropy已经内置了这种稳定性处理。它们接受logitsSoftmax 前的分数作为输入内部高效且稳定地计算了交叉熵。最佳实践是永远不要手动计算 Softmax 再取 log而是直接使用框架提供的、接受 logits 的损失函数。# 推荐做法稳定且高效 loss nn.CrossEntropyLoss()(logits, targets) # logits 是模型原始输出 # 不推荐做法可能数值不稳定 probs torch.softmax(logits, dim-1) log_probs torch.log(probs) loss nn.NLLLoss()(log_probs, targets) # NLLLoss 需要 log probabilities5.2 KL散度计算中的除零问题KL 散度公式 $D_{KL}(P || Q) \sum P \log(P/Q)$ 中存在 $Q(x)0$ 的风险。如果此时 $P(x) 0$那么 $\log(P/0)$ 会趋向于无穷大导致计算失败。这是 KL 散度定义上的要求$D_{KL}(P||Q)$ 要求 $Q$ 在 $P$ 非零的地方也必须非零即 $Q$ 的支撑集包含 $P$ 的支撑集。在实践中为了避免这个问题确保 $Q$ 的输出不会出现绝对的零。使用 Softmax 本身可以保证正值但极端情况下可能接近零。可以添加一个微小的平滑项如eps1e-8。使用框架内置的函数如torch.nn.functional.kl_div它通常已经处理了数值问题。注意PyTorch 的kl_div输入需要是 log-probabilities。import torch.nn.functional as F # 计算 KL 散度 P torch.tensor([0.7, 0.2, 0.1]) Q torch.tensor([0.6, 0.3, 0.1]) # 手动计算注意加 epsilon 防止 log(0) eps 1e-8 kl_manual (P * (torch.log(P eps) - torch.log(Q eps))).sum() print(f手动 KL (带epsilon): {kl_manual:.6f}) # 使用 PyTorch 函数输入是 log-probabilities # kl_div 计算的是KL(P || Q) sum(P * (log(P) - log(Q))) # 它期望 input log(Q), target P kl_torch F.kl_div(torch.log(Q), P, reductionsum) print(fPyTorch KL: {kl_torch:.6f})5.3 理解损失曲线的含义在训练 Transformer 时监控损失曲线是重要的调试手段。训练损失Training Loss直接反映模型在当前训练集上最小化 $D_{KL}(P||Q)$ 的程度。它应该稳步下降。验证损失Validation Loss反映模型在未见数据上的分布差异。如果训练损失下降而验证损失上升这是典型的过拟合信号意味着模型学到的分布 $Q$ 过于贴合训练集的噪声而非真实的数据分布。当使用标签平滑时训练损失可能不会降到接近零因为即使完美预测 $Q P’$交叉熵 $H(P’, Q)$ 也等于 $H(P’)$是一个大于零的值。这是正常的不要误认为是模型没有收敛。6. 从理论到代码一个完整的KL散度计算与可视化示例为了彻底打通理解我们实现一个完整的例子计算两个简单分布之间的 KL 散度并可视化其不对称性。import numpy as np import matplotlib.pyplot as plt import torch import torch.nn.functional as F def kl_divergence(p, q): 计算离散分布 P 和 Q 之间的 KL 散度 D_KL(P||Q) # 添加小量防止除零或 log(0) eps 1e-10 p np.clip(p, eps, 1) q np.clip(q, eps, 1) # 归一化确保是概率分布 p p / p.sum() q q / q.sum() return np.sum(p * np.log(p / q)) # 定义两个不同的分布 x np.array([1, 2, 3, 4, 5]) # 离散随机变量取值 P np.array([0.1, 0.2, 0.4, 0.2, 0.1]) # 真实分布集中在中间 Q np.array([0.01, 0.1, 0.78, 0.1, 0.01]) # 预测分布更尖锐地集中在中间 # 计算 KL 散度 (不对称) kl_pq kl_divergence(P, Q) kl_qp kl_divergence(Q, P) print(fD_KL(P || Q) {kl_pq:.4f}) print(fD_KL(Q || P) {kl_qp:.4f}) print(f两者不相等体现了不对称性: {kl_pq ! kl_qp}) # 可视化 fig, (ax1, ax2) plt.subplots(1, 2, figsize(12, 4)) # 图1分布对比 ax1.bar(x - 0.2, P, width0.4, label真实分布 P, alpha0.8) ax1.bar(x 0.2, Q, width0.4, label预测分布 Q, alpha0.8) ax1.set_xlabel(事件 x) ax1.set_ylabel(概率) ax1.set_title(概率分布 P 和 Q) ax1.legend() ax1.grid(True, linestyle--, alpha0.6) # 图2KL散度贡献分解 contrib_pq P * np.log(P / Q) # D_KL(P||Q) 中每个事件的贡献 contrib_qp Q * np.log(Q / P) # D_KL(Q||P) 中每个事件的贡献 ax2.bar(x - 0.2, contrib_pq, width0.4, label贡献项 for D_KL(P||Q), alpha0.8) ax2.bar(x 0.2, contrib_qp, width0.4, label贡献项 for D_KL(Q||P), alpha0.8) ax2.axhline(y0, colork, linestyle-, linewidth0.5) ax2.set_xlabel(事件 x) ax2.set_ylabel(贡献值) ax2.set_title(KL散度中每个事件的贡献 (展示不对称性)) ax2.legend() ax2.grid(True, linestyle--, alpha0.6) plt.tight_layout() plt.show() # 分析为什么 D_KL(P||Q) 和 D_KL(Q||P) 不同 print(\n--- 不对称性分析 ---) for i, (p_val, q_val) in enumerate(zip(P, Q)): if p_val 0 and q_val 0: ratio_pq p_val / q_val ratio_qp q_val / p_val print(f事件 {i1}: P{p_val:.3f}, Q{q_val:.3f}, P/Q{ratio_pq:.3f}, log(P/Q){np.log(ratio_pq):.3f}, 贡献(P||Q){p_val*np.log(ratio_pq):.4f}) print(f事件 {i1}: Q{q_val:.3f}, P{p_val:.3f}, Q/P{ratio_qp:.3f}, log(Q/P){np.log(ratio_qp):.3f}, 贡献(Q||P){q_val*np.log(ratio_qp):.4f}) print()通过运行这段代码你可以直观地看到$D_{KL}(P||Q)$ 和 $D_{KL}(Q||P)$ 的值确实不同。在分布差异大的区域例如事件1和5Q的概率远小于P$D_{KL}(P||Q)$ 会给予很大的惩罚因为 $\log(P/Q)$ 很大。这符合其“前向KL”的特性它不能容忍 $Q$ 在 $P$ 有概率的地方概率太小。相反$D_{KL}(Q||P)$ 在 $Q$ 有概率而 $P$ 概率很小的区域本例中不显著惩罚会很大体现了“反向KL”要求 $Q$ 不能乱给概率的特性。7. 总结与进阶思考我们从“信息量”这个最基础的概念出发一步步推导了信息熵、交叉熵和 KL 散度的公式并明确了它们之间的关系交叉熵 信息熵 KL散度。在 Transformer 等模型的训练中最小化交叉熵损失的本质就是最小化模型预测分布与真实分布之间的 KL 散度。关键要点回顾信息熵 $H(P)$描述分布 $P$ 自身的不确定性是编码长度的理论下限。交叉熵 $H(P, Q)$用基于 $Q$ 的编码来描述服从 $P$ 的事件所需的平均长度。$H(P, Q) \ge H(P)$。KL散度 $D_{KL}(P||Q)$交叉熵超出信息熵的部分衡量用 $Q$ 近似 $P$ 带来的额外成本。它是非负且不对称的。训练即最小化KL散度在分类任务中通过最小化交叉熵损失我们实际上是在最小化 $D_{KL}(P_{label} || Q_{model})$。实践核心使用框架内置的、支持 logits 输入的损失函数以保证数值稳定理解标签平滑和知识蒸馏如何通过修改分布或目标来利用 KL 散度。进阶思考方向与其他散度的关系KL散度是 f-散度家族的一员。其他如 JS 散度Jensen-Shannon Divergence具有对称性有时用于衡量分布距离。Wasserstein 距离推土机距离则提供了另一种几何视角的分布差异度量。连续分布的KL散度对于连续变量求和变为积分$D_{KL}(p||q) \int p(x) \log\frac{p(x)}{q(x)} dx$。这在变分自编码器VAE中至关重要其中需要最小化隐变量后验分布与先验分布之间的 KL 散度。KL散度与最大似然估计最小化 $D_{KL}(P_{data}||Q_{model})$ 等价于在模型族 $Q_{\theta}$ 中寻找对真实数据分布 $P_{data}$ 的最大似然估计。这为统计学习提供了深刻的理论桥梁。理解这些公式的推导和联系不仅能让你更自信地使用损失函数更能帮助你在模型调试、损失函数设计甚至新算法理解上拥有更坚实的理论基础。下次当你看到loss.backward()时你看到的将不仅仅是一个标量在减小而是模型分布正在向真实数据分布一步步靠近的过程。
在实际机器学习和深度学习项目中理解模型损失函数背后的数学原理远比单纯调用nn.CrossEntropyLoss()或nn.KLDivLoss()更为重要。尤其是在处理 Transformer 这类复杂模型时其训练过程的核心——交叉熵损失以及更广义的 KL 散度直接关系到模型能否收敛、收敛速度以及最终性能。很多开发者虽然能熟练使用这些损失函数但当需要自定义损失、调试梯度异常或理解模型输出分布时却对“信息量”、“熵”、“交叉熵”和“KL散度”这一系列概念的来龙去脉感到模糊。本文将从最基础的信息论概念“信息量”出发通过一步步的公式推导串联起信息熵、交叉熵最终抵达 KL 散度。我们将以“手撕”的方式不回避任何数学细节清晰地展示 KL 散度如何衡量两个概率分布之间的差异并解释为什么它在 Transformer 的训练中扮演着如此关键的角色。无论你是正在深入学习 Transformer 架构的实践者还是希望夯实机器学习理论基础的研究者通过本文你将不仅能推导出这些公式更能理解每一步背后的直觉和它们在模型优化中的实际意义。1. 从“惊奇度”到信息熵量化信息的不确定性在深入 KL 散度之前我们必须先建立两个更基础的概念信息量和信息熵。它们是整个信息论大厦的基石。1.1 信息量衡量事件发生的“意外”程度信息量直观上理解就是得知一个事件发生后我们所获得的“信息”的多少。克劳德·香农对其进行了数学定义一个事件的信息量与其发生的概率成反比。事件越不可能发生概率越小当它发生时带给我们的“惊奇”或信息量就越大。基于这种直觉香农定义了事件 $x$ 的信息量 $I(x)$ 为 $$ I(x) \log \frac{1}{P(x)} -\log P(x) $$这里对数的底数通常取 2单位是比特bit或自然常数 e单位是奈特nat。在机器学习中使用自然对数以 e 为底更为常见因为它在数学推导上更简洁求导方便。所以我们通常采用 $$ I(x) -\ln P(x) $$为什么是对数对数函数满足“可加性”。例如两个独立事件同时发生的信息量应该是各自信息量之和$I(x, y) I(x) I(y)$。由于独立事件的联合概率 $P(x, y) P(x)P(y)$使用对数正好满足$-\ln(P(x)P(y)) -\ln P(x) - \ln P(y)$。1.2 信息熵衡量整个概率分布的“不确定”程度信息量是针对单个事件的。对于一个概率分布 $P$我们更关心它的整体“不确定”程度。例如一个均匀的硬币正反面概率各 0.5比一个作弊的硬币正面概率 0.9更“不确定”结果。信息熵 $H(P)$ 就是概率分布 $P$ 中所有可能事件的信息量的期望值。对于离散分布 $P$其信息熵定义为 $$ H(P) \mathbb{E}{x \sim P}[I(x)] \mathbb{E}{x \sim P}[-\ln P(x)] -\sum_{x \in \mathcal{X}} P(x) \ln P(x) $$其中 $\mathcal{X}$ 是所有可能事件的集合。熵的直观理解当分布 $P$ 是确定的某个事件概率为 1其余为 0熵 $H(P)0$。没有任何不确定性。当分布 $P$ 是均匀分布时熵达到最大值。因为此时每个结果都同样“意外”不确定性最高。熵可以理解为“按照真实分布 $P$ 进行编码时描述一个事件所需的最小平均编码长度”。注意这里“编码”是一种比喻。在信息论中熵确实给出了无损压缩的理论下限。让我们看一个简单的计算示例。假设一个天气分布 $P${‘晴’: 0.5 ‘雨’: 0.3 ‘阴’: 0.2}。其熵为import math P {晴: 0.5, 雨: 0.3, 阴: 0.2} H_P -sum(p * math.log(p) for p in P.values()) print(f分布 P 的信息熵 H(P) {H_P:.4f} nats)输出结果约为0.9433 nats。如果天气总是晴天{‘晴’: 1.0}熵为 0。如果三种天气均匀分布各 1/3熵为 $\ln(3) \approx 1.0986$比我们的例子要高。2. 交叉熵用“错误”的编码描述“真实”的分布信息熵描述了用“正确”的编码即按照真实分布 $P$ 设计的编码来描述事件所需的平均长度。那么如果我们使用一个“错误”的编码体系这个体系是基于另一个分布 $Q$ 来设计的但实际事件仍然服从真实分布 $P$这时描述事件所需的平均长度是多少呢这就是交叉熵。交叉熵 $H(P, Q)$ 定义为当真实分布为 $P$但我们使用基于分布 $Q$ 的编码时所需的平均信息量或编码长度。 $$ H(P, Q) \mathbb{E}{x \sim P}[-\ln Q(x)] -\sum{x \in \mathcal{X}} P(x) \ln Q(x) $$关键点期望的计算是基于真实分布 $P$ 的。但信息量 $-\ln Q(x)$ 的计算却是基于我们假设的分布 $Q$。如果 $Q$ 和 $P$ 完全一致那么交叉熵就等于信息熵$H(P, P) H(P)$。只要 $Q \neq P$由于我们用了错误的概率来计算信息量通常会导致 $H(P, Q) H(P)$。也就是说用错误的编码体系平均来看需要更长的“码字”来描述事件。2.1 交叉熵作为损失函数在机器学习分类任务中这正是我们面临的情况真实分布 $P$通常是数据的真实标签它是一个“one-hot”向量。例如对于一张猫的图片真实分布是[1, 0, 0]假设类别为[猫狗鸟]。预测分布 $Q$是模型如 Transformer 的 Softmax 输出层给出的概率分布例如[0.8, 0.15, 0.05]。我们的目标是让预测分布 $Q$ 尽可能接近真实分布 $P$。如何衡量这个“接近”程度一个很自然的想法就是最小化交叉熵 $H(P, Q)$。因为当 $Q$ 无限逼近 $P$ 时交叉熵会逼近其最小值——真实分布 $P$ 的信息熵 $H(P)$。在 PyTorch 或 TensorFlow 中nn.CrossEntropyLoss()本质上计算的就是真实标签one-hot与模型预测logits 经过 Softmax之间的交叉熵。它内部已经将 one-hot 编码和 Softmax 操作高效地整合了。import torch import torch.nn as nn # 假设一个三分类问题batch_size2 logits torch.tensor([[2.0, 1.0, 0.1], # 样本1的logits [0.5, 2.0, 1.5]]) # 样本2的logits # 真实标签样本1是第0类样本2是第1类 targets torch.tensor([0, 1]) loss_fn nn.CrossEntropyLoss() loss loss_fn(logits, targets) print(f交叉熵损失: {loss.item():.4f}) # 手动计算验证理解过程 def manual_cross_entropy(logits, targets): # Step 1: Softmax 得到预测概率分布 Q probs torch.softmax(logits, dim-1) # Q # Step 2: 将 targets 转为 one-hot 编码作为真实分布 P n_classes logits.shape[-1] P torch.nn.functional.one_hot(targets, num_classesn_classes).float() # Step 3: 计算交叉熵 H(P, Q) -sum(P * log(Q)) # 注意对于 one-hot 的 P只有真实类别位置为1所以等价于 -log(Q_true) log_probs torch.log(probs) loss_elements -torch.sum(P * log_probs, dim-1) return loss_elements.mean() manual_loss manual_cross_entropy(logits, targets) print(f手动计算交叉熵: {manual_loss.item():.4f}) # 两个输出应该非常接近3. KL散度从交叉熵到分布差异的纯粹度量我们已经知道当 $QP$ 时交叉熵 $H(P, Q)$ 取得最小值 $H(P)$。那么交叉熵比最小值大出来的那部分不就是由于 $Q$ 和 $P$ 不同而导致的“额外成本”吗这部分“额外成本”就是 KL 散度。KL 散度Kullback-Leibler Divergence也称为相对熵正式定义为 $$ D_{KL}(P || Q) H(P, Q) - H(P) $$将交叉熵和信息熵的定义代入 $$ \begin{aligned} D_{KL}(P || Q) \left( -\sum_x P(x) \ln Q(x) \right) - \left( -\sum_x P(x) \ln P(x) \right) \ -\sum_x P(x) \ln Q(x) \sum_x P(x) \ln P(x) \ \sum_x P(x) \ln \frac{P(x)}{Q(x)} \end{aligned} $$这就是 KL 散度的最终表达式$$ D_{KL}(P || Q) \sum_{x \in \mathcal{X}} P(x) \ln \left( \frac{P(x)}{Q(x)} \right) $$3.1 KL散度的直观意义与性质非负性$D_{KL}(P || Q) \ge 0$且当且仅当 $PQ$几乎处处相等时取等号。这是由吉布斯不等式保证的。它意味着用 $Q$ 来近似 $P$ 总会带来额外的信息损失。不对称性$D_{KL}(P || Q) \neq D_{KL}(Q || P)$。这是 KL 散度的一个重要特性它不是一个真正的“距离”度量因为距离需要对称性。这种不对称性在实际中有重要含义$D_{KL}(P || Q)$ 被称为“前向 KL”在 $P(x)0$ 的地方$Q(x)$ 是多少都无所谓因为 $0 \cdot \ln(0/Q)0$。它要求 $Q$ 在 $P$ 有概率的地方不能为0。$D_{KL}(Q || P)$ 被称为“反向 KL”在 $Q(x)0$ 的地方$P(x)$ 是多少都无所谓。它要求 $Q$ 不能给 $P$ 概率为0的地方分配概率。与交叉熵的关系从定义 $D_{KL}(P || Q) H(P, Q) - H(P)$ 可知最小化交叉熵 $H(P, Q)$ 等价于最小化 KL 散度 $D_{KL}(P || Q)$因为对于固定的真实分布 $P$其信息熵 $H(P)$ 是一个常数。3.2 一个简单的计算示例假设真实分布 $P [0.7, 0.2, 0.1]$模型预测分布 $Q [0.6, 0.3, 0.1]$。我们来计算交叉熵和 KL 散度。import numpy as np P np.array([0.7, 0.2, 0.1]) Q np.array([0.6, 0.3, 0.1]) # 计算信息熵 H(P) H_P -np.sum(P * np.log(P)) print(fH(P) {H_P:.4f}) # 计算交叉熵 H(P, Q) H_PQ -np.sum(P * np.log(Q)) print(fH(P, Q) {H_PQ:.4f}) # 计算 KL 散度 D_KL(P||Q) D_KL np.sum(P * np.log(P / Q)) print(fD_KL(P||Q) {D_KL:.4f}) # 验证关系H(P, Q) H(P) D_KL(P||Q) print(fH(P) D_KL {H_P D_KL:.4f}) print(f关系验证是否成立: {np.isclose(H_PQ, H_P D_KL)})输出结果H(P) 0.8018 H(P, Q) 0.8755 D_KL(P||Q) 0.0737 H(P) D_KL 0.8755 关系验证是否成立: True可以看到交叉熵0.8755比信息熵0.8018大了 0.0737正好等于 KL 散度。这 0.0737 就是由于预测分布 $Q$ 与真实分布 $P$ 不同而带来的“额外损失”。4. KL散度在Transformer训练中的核心角色理解了 KL 散度的数学本质后我们来看它在 Transformer 模型训练中的具体应用。Transformer 的训练通常是一个监督学习过程其目标是最小化模型预测与真实标签之间的差异。4.1 标准训练交叉熵损失即最小化KL散度在典型的分类任务如机器翻译、文本分类中每个目标位置的真实标签是一个 one-hot 向量 $P$例如某个位置正确的下一个词是“apple”。Transformer 解码器或分类头的输出经过 Softmax 后得到一个概率分布 $Q$。我们的损失函数是交叉熵损失 $$ \mathcal{L} H(P, Q) -\sum_{i} P_i \log Q_i $$ 由于 $P$ 是 one-hot 向量只有真实类别 $t$ 处为1其余为0上式简化为 $$ \mathcal{L} -\log Q_t $$ 其中 $Q_t$ 是模型分配给真实类别 $t$ 的概率。根据前面的推导最小化这个交叉熵损失 $\mathcal{L}$完全等价于最小化 $D_{KL}(P || Q)$因为 $H(P)$ 对于 one-hot 分布是一个常数实际上对于确定的 one-hot 分布其信息熵为 0因为没有任何不确定性。所以Transformer 的标准训练过程本质上就是在最小化模型预测分布 $Q$ 与真实 one-hot 分布 $P$ 之间的 KL 散度。4.2 标签平滑软化真实分布以改善泛化直接使用 one-hot 标签作为 $P$ 有一个潜在问题它迫使模型以 100% 的置信度去匹配真实标签这可能导致模型过于“武断”泛化能力下降并且对错误标注的数据过于敏感。标签平滑Label Smoothing技术通过修改真实分布 $P$ 来解决这个问题。它不再使用纯粹的 one-hot 向量而是将其“平滑” $$ P’_i \begin{cases} 1 - \epsilon \text{if } i t \ \epsilon / (K-1) \text{otherwise} \end{cases} $$ 其中 $K$ 是类别总数$\epsilon$ 是一个小常数如 0.1。此时真实分布 $P’$ 不再是一个零熵的确定分布它有了一点不确定性。损失函数变为 $$ \mathcal{L}{LS} H(P’, Q) -(1-\epsilon)\log Q_t - \sum{i \neq t} \frac{\epsilon}{K-1} \log Q_i $$这仍然等价于最小化 $D_{KL}(P’ || Q)$。标签平滑通过向真实分布中引入少量噪声熵起到了正则化的作用鼓励模型不要给出过于极端的概率通常能提升模型的校准度和泛化性能。在 Transformer 的原始论文《Attention Is All You Need》中就使用了标签平滑$\epsilon0.1$。4.3 知识蒸馏用KL散度对齐教师与学生模型知识蒸馏是 KL 散度另一个重要的应用场景。在蒸馏过程中我们有一个已经训练好的、性能强大的“教师”模型和一个待训练的“学生”模型。我们希望学生模型不仅能学习真实标签还能学习教师模型输出的“软标签”Soft Targets。教师模型对同一个输入会输出一个相对平滑的概率分布 $Q_{teacher}$例如对于“狗”的图片它可能给出[猫:0.1, 狗:0.7, 汽车:0.05, ...]这个分布包含了类别间的相似性信息猫和狗都是动物概率稍高汽车是物体概率很低。知识蒸馏的损失函数通常由两部分组成蒸馏损失让学生模型的预测分布 $Q_{student}$ 去逼近教师模型的分布 $Q_{teacher}$。衡量两者差异的完美工具就是 KL 散度$D_{KL}(Q_{teacher} || Q_{student})$。注意这里通常使用“反向 KL” $D_{KL}(Q_{teacher} || Q_{student})$或者对称化的 JS 散度但核心思想一致。学生损失传统的交叉熵损失让学生模型也学习真实标签 $P$。总损失是两者的加权和 $$ \mathcal{L}{KD} \alpha \cdot \mathcal{L}{CE}(P, Q_{student}) \beta \cdot T^2 \cdot D_{KL}(Q_{teacher} || Q_{student}) $$ 其中 $T$ 是温度参数用于控制教师分布 $Q_{teacher}$ 的平滑程度。通过最小化这个联合损失学生模型既学到了硬知识真实标签又学到了教师模型的软知识类别间关系从而往往能用更小的参数量达到接近教师模型的性能。5. 实践中的关键细节与常见陷阱理论推导清晰后在代码实现和模型训练中还有一些至关重要的细节需要把握。5.1 数值稳定性Log-Sum-Exp技巧计算交叉熵或 KL 散度时涉及 $\log Q(x)$而 $Q(x)$ 是 Softmax 的输出。直接计算log(softmax(x))在数值上可能不稳定特别是当 $x$ 中的值很大或很小时Softmax 可能溢出或下溢。标准的、数值稳定的实现方式是使用Log-Sum-Exp (LSE)技巧 $$ \log(\text{Softmax}(x_i)) x_i - \log\sum_j \exp(x_j) $$ 而 $\log\sum_j \exp(x_j)$ 可以通过减去最大值来稳定计算 $$ \text{LSE}(x) \log\sum_j \exp(x_j) \max(x) \log\sum_j \exp(x_j - \max(x)) $$PyTorch 的nn.CrossEntropyLoss和F.cross_entropy已经内置了这种稳定性处理。它们接受logitsSoftmax 前的分数作为输入内部高效且稳定地计算了交叉熵。最佳实践是永远不要手动计算 Softmax 再取 log而是直接使用框架提供的、接受 logits 的损失函数。# 推荐做法稳定且高效 loss nn.CrossEntropyLoss()(logits, targets) # logits 是模型原始输出 # 不推荐做法可能数值不稳定 probs torch.softmax(logits, dim-1) log_probs torch.log(probs) loss nn.NLLLoss()(log_probs, targets) # NLLLoss 需要 log probabilities5.2 KL散度计算中的除零问题KL 散度公式 $D_{KL}(P || Q) \sum P \log(P/Q)$ 中存在 $Q(x)0$ 的风险。如果此时 $P(x) 0$那么 $\log(P/0)$ 会趋向于无穷大导致计算失败。这是 KL 散度定义上的要求$D_{KL}(P||Q)$ 要求 $Q$ 在 $P$ 非零的地方也必须非零即 $Q$ 的支撑集包含 $P$ 的支撑集。在实践中为了避免这个问题确保 $Q$ 的输出不会出现绝对的零。使用 Softmax 本身可以保证正值但极端情况下可能接近零。可以添加一个微小的平滑项如eps1e-8。使用框架内置的函数如torch.nn.functional.kl_div它通常已经处理了数值问题。注意PyTorch 的kl_div输入需要是 log-probabilities。import torch.nn.functional as F # 计算 KL 散度 P torch.tensor([0.7, 0.2, 0.1]) Q torch.tensor([0.6, 0.3, 0.1]) # 手动计算注意加 epsilon 防止 log(0) eps 1e-8 kl_manual (P * (torch.log(P eps) - torch.log(Q eps))).sum() print(f手动 KL (带epsilon): {kl_manual:.6f}) # 使用 PyTorch 函数输入是 log-probabilities # kl_div 计算的是KL(P || Q) sum(P * (log(P) - log(Q))) # 它期望 input log(Q), target P kl_torch F.kl_div(torch.log(Q), P, reductionsum) print(fPyTorch KL: {kl_torch:.6f})5.3 理解损失曲线的含义在训练 Transformer 时监控损失曲线是重要的调试手段。训练损失Training Loss直接反映模型在当前训练集上最小化 $D_{KL}(P||Q)$ 的程度。它应该稳步下降。验证损失Validation Loss反映模型在未见数据上的分布差异。如果训练损失下降而验证损失上升这是典型的过拟合信号意味着模型学到的分布 $Q$ 过于贴合训练集的噪声而非真实的数据分布。当使用标签平滑时训练损失可能不会降到接近零因为即使完美预测 $Q P’$交叉熵 $H(P’, Q)$ 也等于 $H(P’)$是一个大于零的值。这是正常的不要误认为是模型没有收敛。6. 从理论到代码一个完整的KL散度计算与可视化示例为了彻底打通理解我们实现一个完整的例子计算两个简单分布之间的 KL 散度并可视化其不对称性。import numpy as np import matplotlib.pyplot as plt import torch import torch.nn.functional as F def kl_divergence(p, q): 计算离散分布 P 和 Q 之间的 KL 散度 D_KL(P||Q) # 添加小量防止除零或 log(0) eps 1e-10 p np.clip(p, eps, 1) q np.clip(q, eps, 1) # 归一化确保是概率分布 p p / p.sum() q q / q.sum() return np.sum(p * np.log(p / q)) # 定义两个不同的分布 x np.array([1, 2, 3, 4, 5]) # 离散随机变量取值 P np.array([0.1, 0.2, 0.4, 0.2, 0.1]) # 真实分布集中在中间 Q np.array([0.01, 0.1, 0.78, 0.1, 0.01]) # 预测分布更尖锐地集中在中间 # 计算 KL 散度 (不对称) kl_pq kl_divergence(P, Q) kl_qp kl_divergence(Q, P) print(fD_KL(P || Q) {kl_pq:.4f}) print(fD_KL(Q || P) {kl_qp:.4f}) print(f两者不相等体现了不对称性: {kl_pq ! kl_qp}) # 可视化 fig, (ax1, ax2) plt.subplots(1, 2, figsize(12, 4)) # 图1分布对比 ax1.bar(x - 0.2, P, width0.4, label真实分布 P, alpha0.8) ax1.bar(x 0.2, Q, width0.4, label预测分布 Q, alpha0.8) ax1.set_xlabel(事件 x) ax1.set_ylabel(概率) ax1.set_title(概率分布 P 和 Q) ax1.legend() ax1.grid(True, linestyle--, alpha0.6) # 图2KL散度贡献分解 contrib_pq P * np.log(P / Q) # D_KL(P||Q) 中每个事件的贡献 contrib_qp Q * np.log(Q / P) # D_KL(Q||P) 中每个事件的贡献 ax2.bar(x - 0.2, contrib_pq, width0.4, label贡献项 for D_KL(P||Q), alpha0.8) ax2.bar(x 0.2, contrib_qp, width0.4, label贡献项 for D_KL(Q||P), alpha0.8) ax2.axhline(y0, colork, linestyle-, linewidth0.5) ax2.set_xlabel(事件 x) ax2.set_ylabel(贡献值) ax2.set_title(KL散度中每个事件的贡献 (展示不对称性)) ax2.legend() ax2.grid(True, linestyle--, alpha0.6) plt.tight_layout() plt.show() # 分析为什么 D_KL(P||Q) 和 D_KL(Q||P) 不同 print(\n--- 不对称性分析 ---) for i, (p_val, q_val) in enumerate(zip(P, Q)): if p_val 0 and q_val 0: ratio_pq p_val / q_val ratio_qp q_val / p_val print(f事件 {i1}: P{p_val:.3f}, Q{q_val:.3f}, P/Q{ratio_pq:.3f}, log(P/Q){np.log(ratio_pq):.3f}, 贡献(P||Q){p_val*np.log(ratio_pq):.4f}) print(f事件 {i1}: Q{q_val:.3f}, P{p_val:.3f}, Q/P{ratio_qp:.3f}, log(Q/P){np.log(ratio_qp):.3f}, 贡献(Q||P){q_val*np.log(ratio_qp):.4f}) print()通过运行这段代码你可以直观地看到$D_{KL}(P||Q)$ 和 $D_{KL}(Q||P)$ 的值确实不同。在分布差异大的区域例如事件1和5Q的概率远小于P$D_{KL}(P||Q)$ 会给予很大的惩罚因为 $\log(P/Q)$ 很大。这符合其“前向KL”的特性它不能容忍 $Q$ 在 $P$ 有概率的地方概率太小。相反$D_{KL}(Q||P)$ 在 $Q$ 有概率而 $P$ 概率很小的区域本例中不显著惩罚会很大体现了“反向KL”要求 $Q$ 不能乱给概率的特性。7. 总结与进阶思考我们从“信息量”这个最基础的概念出发一步步推导了信息熵、交叉熵和 KL 散度的公式并明确了它们之间的关系交叉熵 信息熵 KL散度。在 Transformer 等模型的训练中最小化交叉熵损失的本质就是最小化模型预测分布与真实分布之间的 KL 散度。关键要点回顾信息熵 $H(P)$描述分布 $P$ 自身的不确定性是编码长度的理论下限。交叉熵 $H(P, Q)$用基于 $Q$ 的编码来描述服从 $P$ 的事件所需的平均长度。$H(P, Q) \ge H(P)$。KL散度 $D_{KL}(P||Q)$交叉熵超出信息熵的部分衡量用 $Q$ 近似 $P$ 带来的额外成本。它是非负且不对称的。训练即最小化KL散度在分类任务中通过最小化交叉熵损失我们实际上是在最小化 $D_{KL}(P_{label} || Q_{model})$。实践核心使用框架内置的、支持 logits 输入的损失函数以保证数值稳定理解标签平滑和知识蒸馏如何通过修改分布或目标来利用 KL 散度。进阶思考方向与其他散度的关系KL散度是 f-散度家族的一员。其他如 JS 散度Jensen-Shannon Divergence具有对称性有时用于衡量分布距离。Wasserstein 距离推土机距离则提供了另一种几何视角的分布差异度量。连续分布的KL散度对于连续变量求和变为积分$D_{KL}(p||q) \int p(x) \log\frac{p(x)}{q(x)} dx$。这在变分自编码器VAE中至关重要其中需要最小化隐变量后验分布与先验分布之间的 KL 散度。KL散度与最大似然估计最小化 $D_{KL}(P_{data}||Q_{model})$ 等价于在模型族 $Q_{\theta}$ 中寻找对真实数据分布 $P_{data}$ 的最大似然估计。这为统计学习提供了深刻的理论桥梁。理解这些公式的推导和联系不仅能让你更自信地使用损失函数更能帮助你在模型调试、损失函数设计甚至新算法理解上拥有更坚实的理论基础。下次当你看到loss.backward()时你看到的将不仅仅是一个标量在减小而是模型分布正在向真实数据分布一步步靠近的过程。
