标题Small-Scale Experiments: Are We There Yet?来源arXiv, 2608.11859v1️文章简介研究问题为何基于小模型的实验难以可靠地预测大模型的性能导致缩放定律在低成本实验中失效主要贡献论文证明缩放定律在小规模下依然成立关键在于超参数敏感性随规模增加而降低并提出了一套结合噪声二次极限与困惑度-能力对应关系的小规模实验方法论。重点思路通过消融实验发现超参数调优是影响小规模缩放定律估计的最关键因素其重要性远超参数定义或学习率衰减策略等其他方法细节。利用随机搜索分析超参数损失面发现随着模型参数量和数据量的增加损失面的内在维度降低最优配置占据的空间比例增大使得大模型对超参数不敏感且易于调优。提出新的研究方法论整合噪声二次极限以评估调优充分性利用缩放定律描述损失变化并依据困惑度-能力对应关系在固定数据前提下用预训练损失代理下游能力。以Transformer中归一化层位置Pre-norm vs Post-norm为例仅通过4M至134M参数的小规模密集搜索便复现了大规模实验中Pre-norm更优的结论验证了该方法的有效性。分析总结小规模模型并非没有缩放规律而是因其对超参数高度敏感若未进行详尽的大范围搜索无法触及完全调优的前沿从而掩盖了真实的缩放趋势。模型规模的扩大带来了“维度的祝福”有效超参数数量随规模增加而减少甚至趋近于1这意味着在大模型上简单的启发式规则即可迁移而在小模型上必须精细搜索。虽然缩放定律在小规模存在但直接外推至极大尺度会因统计误差放大而变得不可靠因此应侧重于定性诊断和近数据区的比较而非纯粹的远距离数值预测。在固定预训练数据的情况下具有相同预训练损失的不同架构模型表现出相似的下游任务能力这为通过小规模低成本实验筛选模型架构提供了理论依据。个人观点论文打破了“小模型无法反映大模型规律”的迷思指出之前的失败源于忽视了小模型极高的超参数敏感度。
标题Small-Scale Experiments: Are We There Yet?来源arXiv, 2608.11859v1️文章简介研究问题为何基于小模型的实验难以可靠地预测大模型的性能导致缩放定律在低成本实验中失效主要贡献论文证明缩放定律在小规模下依然成立关键在于超参数敏感性随规模增加而降低并提出了一套结合噪声二次极限与困惑度-能力对应关系的小规模实验方法论。重点思路通过消融实验发现超参数调优是影响小规模缩放定律估计的最关键因素其重要性远超参数定义或学习率衰减策略等其他方法细节。利用随机搜索分析超参数损失面发现随着模型参数量和数据量的增加损失面的内在维度降低最优配置占据的空间比例增大使得大模型对超参数不敏感且易于调优。提出新的研究方法论整合噪声二次极限以评估调优充分性利用缩放定律描述损失变化并依据困惑度-能力对应关系在固定数据前提下用预训练损失代理下游能力。以Transformer中归一化层位置Pre-norm vs Post-norm为例仅通过4M至134M参数的小规模密集搜索便复现了大规模实验中Pre-norm更优的结论验证了该方法的有效性。分析总结小规模模型并非没有缩放规律而是因其对超参数高度敏感若未进行详尽的大范围搜索无法触及完全调优的前沿从而掩盖了真实的缩放趋势。模型规模的扩大带来了“维度的祝福”有效超参数数量随规模增加而减少甚至趋近于1这意味着在大模型上简单的启发式规则即可迁移而在小模型上必须精细搜索。虽然缩放定律在小规模存在但直接外推至极大尺度会因统计误差放大而变得不可靠因此应侧重于定性诊断和近数据区的比较而非纯粹的远距离数值预测。在固定预训练数据的情况下具有相同预训练损失的不同架构模型表现出相似的下游任务能力这为通过小规模低成本实验筛选模型架构提供了理论依据。个人观点论文打破了“小模型无法反映大模型规律”的迷思指出之前的失败源于忽视了小模型极高的超参数敏感度。
