07 预训练（下）：温度采样、Top-k 与加载官方 GPT-2 权重系列第 7 篇。上一篇我们跑通了预训练训练循环。这一篇解决两件"升级"事项：更好的解码策略：温度采样 + Top-k 截断，让生成既多样又不离谱；加载官方 GPT-2 权重：跳过漫长预训练，直接体验成熟模型；以及模型的保存/加载。对应《从零构建大模型》第 5 章后半部分。1. 从"贪心"到"采样"：为什么要温度与 Top-k？1.1 贪心解码的问题generate_text_simple用的是argmax（每次取概率最大的 token）。它的缺陷：枯燥重复：永远选最可能的词，容易陷入"套话"循环；无多样性：同一个开头永远生成同一段文本。一个直观例子：如果模型每次生成都取概率最高，那么"今天天气真"后面永远是"好"，永远不会有"不错、棒、晴朗"——虽然它们也合理但概率略低。真实对话需要"合理但多样"的输出。1.2 概率采样改进：不是
07 预训练（下）：温度采样、Top-k 与加载官方 GPT-2 权重系列第 7 篇。上一篇我们跑通了预训练训练循环。这一篇解决两件"升级"事项：更好的解码策略：温度采样 + Top-k 截断，让生成既多样又不离谱；加载官方 GPT-2 权重：跳过漫长预训练，直接体验成熟模型；以及模型的保存/加载。对应《从零构建大模型》第 5 章后半部分。1. 从"贪心"到"采样"：为什么要温度与 Top-k？1.1 贪心解码的问题generate_text_simple用的是argmax（每次取概率最大的 token）。它的缺陷：枯燥重复：永远选最可能的词，容易陷入"套话"循环；无多样性：同一个开头永远生成同一段文本。一个直观例子：如果模型每次生成都取概率最高，那么"今天天气真"后面永远是"好"，永远不会有"不错、棒、晴朗"——虽然它们也合理但概率略低。真实对话需要"合理但多样"的输出。1.2 概率采样改进：不是
