1. 为什么我要把 Tokenizer、RMSNorm、SwiGLU 拆开跑一遍Transformer 源码解析这件事最容易卡住的地方不是注意力公式而是基础模块的配置骨架。你打开一个模型仓库看到config.toml、settings.json、model.py三份文件互相引用Tokenizer 的词表路径、RMSNorm 的 eps、SwiGLU 的中间维度全都散落在不同位置改一个参数就报 shape mismatch。我试过直接照搬别人的配置结果 Tokenizer 的max_seq_len和 RoPE 的original_seq_len对不上跑出来的 loss 直接 NaN。这篇聚焦三个热词Tokenizer、RMSNorm、SwiGLU。目标很明确面向本地阅读源码时希望快速跑通模块配置的开发者给出一份可复制的config.toml与settings.json骨架并说明怎么用统一的 Key/API 通道 TaoToken 接入 AI 工具做逐行注释与验证。TaoToken 在这里的角色不是替代你的编辑器而是提供一个统一的模型调用入口让你在阅读源码时能随时把一段代码丢给模型做解释、做参数校验、做报错定位。适合谁看已经能跑通python -c import torch但面对AutoTokenizer.from_pretrained和F.rms_norm之间的参数传递还不太确定的开发者。读完你能得到三样东西一份能直接落地的配置骨架、一套验证 Tokenizer/RMSNorm/SwiGLU 是否对齐的最小脚本、以及一份常见报错对照表。2. TaoToken 前置统一 Key/API 通道怎么接进源码阅读流程在开始写配置之前先把调用通道理清楚。TaoToken 提供的是 OpenAI 兼容的 API 入口官网是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基址是 https://taotoken.net/api 。你需要在控制台创建一个 API Key然后把它写进环境变量而不是硬编码在脚本里。具体操作路径打开控制台 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 在 API Keys 页面生成一个 Key复制后放到本地。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有完整的请求示例和参数说明。为什么源码阅读场景需要这个通道因为你在逐行解析 Tokenizer 的apply_chat_template时经常会遇到模板字符串和特殊 token 对不上的情况。这时候把报错信息和相关代码片段发给模型让它帮你定位是add_generation_prompt参数的问题还是bos_token缺失的问题比翻文档快得多。模型对话入口在 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 你可以直接在页面上做交互验证。如果你打算长期做源码解析和 Agent 类编码任务Coding Plan 会更合适入口是 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。它面向的是持续性的编码辅助场景不是一次性问答。环境变量配置建议这样写export TAOTOKEN_API_KEY你的Key export TAOTOKEN_BASE_URLhttps://taotoken.net/api然后在 Python 里用标准 OpenAI SDK 读取import os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlos.environ[TAOTOKEN_BASE_URL], ) resp client.chat.completions.create( modeldeepseek-chat, messages[{role: user, content: 解释 F.rms_norm 的 eps 参数作用}], ) print(resp.choices[0].message.content)这段代码的作用是验证通道是否打通。如果返回正常文本说明 Key 和 base_url 都对了。注意 base_url 末尾不要多加/v1TaoToken 的 API 路径已经包含在基址里。3. 可复制配置config.toml 与 settings.json 骨架现在进入核心部分。下面这份config.toml覆盖 Tokenizer、RMSNorm、SwiGLU 三个模块的关键参数你可以直接复制到项目根目录。[tokenizer] vocab_size 129280 model_type bpe max_seq_len 131072 original_seq_len 4096 bos_token begin▁of▁sentence eos_token end▁of▁sentence pad_token end▁of▁sentence add_generation_prompt true [rmsnorm] eps 1e-6 dim 7168 use_native true [swiglu] dim 7168 inter_dim 18432 gate_proj w1 up_proj w3 down_proj w2 activation silu [rope] qk_rope_head_dim 64 qk_nope_head_dim 128 rope_theta 10000.0 rope_factor 40 beta_fast 32 beta_slow 1 mscale 1.0对应的settings.json用于运行时加载{ tokenizer: { ckpt_path: ./checkpoints/tokenizer, trust_remote_code: true, use_fast: true }, model: { dim: 7168, n_layers: 61, n_heads: 128, n_dense_layers: 3, inter_dim: 18432, kv_lora_rank: 512, qk_rope_head_dim: 64, qk_nope_head_dim: 128 }, runtime: { device: cuda, dtype: bfloat16, max_batch_size: 4 } }这里有几个参数需要重点说明。vocab_size设为 129280对应 BPE 词表大小如果你用的不是同一个 Tokenizer这个值必须改。max_seq_len和original_seq_len的差值决定了是否启用 YARN 扩展当max_seq_len original_seq_len时RoPE 频率会做缩放处理。inter_dim是 SwiGLU 中间层的维度通常是dim的 2.5 到 3 倍这里取 18432 约等于 7168 的 2.57 倍。RMSNorm 的eps默认 1e-6这个值在 bfloat16 下要小心太小会导致除零太大又会影响归一化精度。use_native为 true 时调用F.rms_norm为 false 时走手写实现方便你对比两种路径的数值差异。SwiGLU 的三个投影命名w1、w2、w3对应门控、输出、激活三条路径。计算顺序是w2(silu(w1(x)) * w3(x))注意w1和w3的输出维度都是inter_dimw2把inter_dim投影回dim。4. 验证请求Tokenizer、RMSNorm、SwiGLU 逐个跑通配置写好了接下来用最小脚本验证每个模块。先验证 Tokenizer。from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained( ./checkpoints/tokenizer, trust_remote_codeTrue, ) text Transformer 源码解析 ids tokenizer.encode(text) print(token ids:, ids) print(decoded:, tokenizer.decode(ids, skip_special_tokensTrue)) messages [{role: user, content: 解释 RMSNorm}] prompt_ids tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_tensorspt, ) print(prompt shape:, prompt_ids.shape)预期结果是decoded输出和原文一致prompt shape是一个[1, seq_len]的张量。如果decoded出现乱码检查vocab_size是否和词表文件匹配。如果apply_chat_template报 KeyError说明bos_token或eos_token没在配置里正确声明。接着验证 RMSNorm。import torch import torch.nn.functional as F def rms_norm_manual(x, weight, eps1e-6): variance x.pow(2).mean(-1, keepdimTrue) return x * torch.rsqrt(variance eps) * weight dim 7168 x torch.randn(2, 16, dim, dtypetorch.bfloat16, devicecuda) weight torch.ones(dim, dtypetorch.bfloat16, devicecuda) y_native F.rms_norm(x, (dim,), weight, 1e-6) y_manual rms_norm_manual(x, weight, 1e-6) diff (y_native.float() - y_manual.float()).abs().max() print(max diff:, diff.item())max diff应该在 1e-3 以内bfloat16 精度下这个差异是正常的。如果差异超过 1e-2检查eps是否一致以及weight的 dtype 是否和输入匹配。最后验证 SwiGLU。import torch import torch.nn as nn import torch.nn.functional as F class SwiGLU(nn.Module): def __init__(self, dim, inter_dim): super().__init__() self.w1 nn.Linear(dim, inter_dim, biasFalse) self.w2 nn.Linear(inter_dim, dim, biasFalse) self.w3 nn.Linear(dim, inter_dim, biasFalse) def forward(self, x): return self.w2(F.silu(self.w1(x)) * self.w3(x)) dim, inter_dim 7168, 18432 model SwiGLU(dim, inter_dim).to(cuda, dtypetorch.bfloat16) x torch.randn(2, 16, dim, dtypetorch.bfloat16, devicecuda) y model(x) print(input shape:, x.shape) print(output shape:, y.shape) print(output norm:, y.float().norm().item())输入输出 shape 都是[2, 16, 7168]output norm是一个有限值。如果出现 NaN检查inter_dim是否设置过大导致初始化时方差爆炸或者silu的输入是否已经溢出。三个模块都跑通后你可以把这段验证脚本和配置一起丢给模型让它帮你检查参数之间的依赖关系。模型对话入口在 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 把config.toml和报错信息贴进去让它逐行解释每个参数的影响。5. 本篇常见错排查5.1 Tokenizer 报 vocab_size 不匹配报错信息通常是RuntimeError: Error(s) in loading state_dict for Embedding: size mismatch。原因是config.toml里的vocab_size和词表文件的实际大小不一致。解决办法是打印len(tokenizer)确认实际词表大小然后同步修改配置。注意有些 Tokenizer 会把特殊 token 额外计入实际 embedding 层大小可能比vocab_size大几个。5.2 RMSNorm 在 bfloat16 下输出全零如果eps设得太小比如 1e-12在 bfloat16 下variance eps可能被舍入为 0导致rsqrt产生 inf。建议eps保持在 1e-6 到 1e-5 之间。另外检查weight是否被意外初始化为零正常应该是全 1。5.3 SwiGLU 的 inter_dim 和 FFN 维度混淆有些仓库把inter_dim定义为dim * 4有些定义为dim * 8 / 3。如果你从别的配置复制过来一定要确认这个值的计算方式。SwiGLU 因为多了一个门控投影参数量比标准 FFN 多 50%所以inter_dim通常取dim * 8 / 3再向上取整到 256 的倍数。5.4 RoPE 的 rope_factor 和 max_seq_len 不联动当max_seq_len超过original_seq_len时rope_factor必须大于 1否则位置编码外推会失效。检查配置里rope_factor是否被误设为 1。另外beta_fast和beta_slow的比值影响频率过渡的平滑度一般保持 32:1。5.5 API 调用返回 401如果验证脚本里调用 TaoToken 返回 401先检查环境变量TAOTOKEN_API_KEY是否为空再检查 base_url 是否写成了https://taotoken.net/api/v1。正确的基址是https://taotoken.net/apiSDK 会自动拼接路径。如果还是 401去控制台 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 确认 Key 是否被禁用或过期。5.6 逐行注释时模型返回截断源码文件较长时模型可能因为上下文限制截断输出。解决办法是分段发送每次只发一个类或一个函数。如果你用的是 Coding Plan它对长代码的处理会更稳定入口在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。6. 继续往下读源码的接入建议把 Tokenizer、RMSNorm、SwiGLU 三个模块的配置骨架跑通之后下一步通常是接 MLA 或 MoE。这时候你会遇到更多参数交叉引用比如kv_lora_rank和qk_rope_head_dim的配合、n_dense_layers和n_layers的关系。我的建议是每加一个模块就把对应的配置项和验证脚本一起更新不要等到全部写完再调试。如果你在排障过程中需要快速查 API 参数或接入方式接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有完整的请求格式和错误码说明。需要生成新的 Key 或者管理已有 Key去 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。模型对话验证在 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。长期做源码解析和 Agent 编码任务Coding Plan 在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。最后提醒一点配置骨架里的数值不是唯一正确答案不同模型规模对应的dim、inter_dim、n_heads都不同。关键是理解每个参数在模块里的作用这样换一个模型你也能快速调整。把验证脚本保留下来每次改配置后跑一遍比肉眼检查靠谱得多。
1. 为什么我要把 Tokenizer、RMSNorm、SwiGLU 拆开跑一遍Transformer 源码解析这件事最容易卡住的地方不是注意力公式而是基础模块的配置骨架。你打开一个模型仓库看到config.toml、settings.json、model.py三份文件互相引用Tokenizer 的词表路径、RMSNorm 的 eps、SwiGLU 的中间维度全都散落在不同位置改一个参数就报 shape mismatch。我试过直接照搬别人的配置结果 Tokenizer 的max_seq_len和 RoPE 的original_seq_len对不上跑出来的 loss 直接 NaN。这篇聚焦三个热词Tokenizer、RMSNorm、SwiGLU。目标很明确面向本地阅读源码时希望快速跑通模块配置的开发者给出一份可复制的config.toml与settings.json骨架并说明怎么用统一的 Key/API 通道 TaoToken 接入 AI 工具做逐行注释与验证。TaoToken 在这里的角色不是替代你的编辑器而是提供一个统一的模型调用入口让你在阅读源码时能随时把一段代码丢给模型做解释、做参数校验、做报错定位。适合谁看已经能跑通python -c import torch但面对AutoTokenizer.from_pretrained和F.rms_norm之间的参数传递还不太确定的开发者。读完你能得到三样东西一份能直接落地的配置骨架、一套验证 Tokenizer/RMSNorm/SwiGLU 是否对齐的最小脚本、以及一份常见报错对照表。2. TaoToken 前置统一 Key/API 通道怎么接进源码阅读流程在开始写配置之前先把调用通道理清楚。TaoToken 提供的是 OpenAI 兼容的 API 入口官网是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基址是 https://taotoken.net/api 。你需要在控制台创建一个 API Key然后把它写进环境变量而不是硬编码在脚本里。具体操作路径打开控制台 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 在 API Keys 页面生成一个 Key复制后放到本地。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有完整的请求示例和参数说明。为什么源码阅读场景需要这个通道因为你在逐行解析 Tokenizer 的apply_chat_template时经常会遇到模板字符串和特殊 token 对不上的情况。这时候把报错信息和相关代码片段发给模型让它帮你定位是add_generation_prompt参数的问题还是bos_token缺失的问题比翻文档快得多。模型对话入口在 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 你可以直接在页面上做交互验证。如果你打算长期做源码解析和 Agent 类编码任务Coding Plan 会更合适入口是 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。它面向的是持续性的编码辅助场景不是一次性问答。环境变量配置建议这样写export TAOTOKEN_API_KEY你的Key export TAOTOKEN_BASE_URLhttps://taotoken.net/api然后在 Python 里用标准 OpenAI SDK 读取import os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlos.environ[TAOTOKEN_BASE_URL], ) resp client.chat.completions.create( modeldeepseek-chat, messages[{role: user, content: 解释 F.rms_norm 的 eps 参数作用}], ) print(resp.choices[0].message.content)这段代码的作用是验证通道是否打通。如果返回正常文本说明 Key 和 base_url 都对了。注意 base_url 末尾不要多加/v1TaoToken 的 API 路径已经包含在基址里。3. 可复制配置config.toml 与 settings.json 骨架现在进入核心部分。下面这份config.toml覆盖 Tokenizer、RMSNorm、SwiGLU 三个模块的关键参数你可以直接复制到项目根目录。[tokenizer] vocab_size 129280 model_type bpe max_seq_len 131072 original_seq_len 4096 bos_token begin▁of▁sentence eos_token end▁of▁sentence pad_token end▁of▁sentence add_generation_prompt true [rmsnorm] eps 1e-6 dim 7168 use_native true [swiglu] dim 7168 inter_dim 18432 gate_proj w1 up_proj w3 down_proj w2 activation silu [rope] qk_rope_head_dim 64 qk_nope_head_dim 128 rope_theta 10000.0 rope_factor 40 beta_fast 32 beta_slow 1 mscale 1.0对应的settings.json用于运行时加载{ tokenizer: { ckpt_path: ./checkpoints/tokenizer, trust_remote_code: true, use_fast: true }, model: { dim: 7168, n_layers: 61, n_heads: 128, n_dense_layers: 3, inter_dim: 18432, kv_lora_rank: 512, qk_rope_head_dim: 64, qk_nope_head_dim: 128 }, runtime: { device: cuda, dtype: bfloat16, max_batch_size: 4 } }这里有几个参数需要重点说明。vocab_size设为 129280对应 BPE 词表大小如果你用的不是同一个 Tokenizer这个值必须改。max_seq_len和original_seq_len的差值决定了是否启用 YARN 扩展当max_seq_len original_seq_len时RoPE 频率会做缩放处理。inter_dim是 SwiGLU 中间层的维度通常是dim的 2.5 到 3 倍这里取 18432 约等于 7168 的 2.57 倍。RMSNorm 的eps默认 1e-6这个值在 bfloat16 下要小心太小会导致除零太大又会影响归一化精度。use_native为 true 时调用F.rms_norm为 false 时走手写实现方便你对比两种路径的数值差异。SwiGLU 的三个投影命名w1、w2、w3对应门控、输出、激活三条路径。计算顺序是w2(silu(w1(x)) * w3(x))注意w1和w3的输出维度都是inter_dimw2把inter_dim投影回dim。4. 验证请求Tokenizer、RMSNorm、SwiGLU 逐个跑通配置写好了接下来用最小脚本验证每个模块。先验证 Tokenizer。from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained( ./checkpoints/tokenizer, trust_remote_codeTrue, ) text Transformer 源码解析 ids tokenizer.encode(text) print(token ids:, ids) print(decoded:, tokenizer.decode(ids, skip_special_tokensTrue)) messages [{role: user, content: 解释 RMSNorm}] prompt_ids tokenizer.apply_chat_template( messages, add_generation_promptTrue, return_tensorspt, ) print(prompt shape:, prompt_ids.shape)预期结果是decoded输出和原文一致prompt shape是一个[1, seq_len]的张量。如果decoded出现乱码检查vocab_size是否和词表文件匹配。如果apply_chat_template报 KeyError说明bos_token或eos_token没在配置里正确声明。接着验证 RMSNorm。import torch import torch.nn.functional as F def rms_norm_manual(x, weight, eps1e-6): variance x.pow(2).mean(-1, keepdimTrue) return x * torch.rsqrt(variance eps) * weight dim 7168 x torch.randn(2, 16, dim, dtypetorch.bfloat16, devicecuda) weight torch.ones(dim, dtypetorch.bfloat16, devicecuda) y_native F.rms_norm(x, (dim,), weight, 1e-6) y_manual rms_norm_manual(x, weight, 1e-6) diff (y_native.float() - y_manual.float()).abs().max() print(max diff:, diff.item())max diff应该在 1e-3 以内bfloat16 精度下这个差异是正常的。如果差异超过 1e-2检查eps是否一致以及weight的 dtype 是否和输入匹配。最后验证 SwiGLU。import torch import torch.nn as nn import torch.nn.functional as F class SwiGLU(nn.Module): def __init__(self, dim, inter_dim): super().__init__() self.w1 nn.Linear(dim, inter_dim, biasFalse) self.w2 nn.Linear(inter_dim, dim, biasFalse) self.w3 nn.Linear(dim, inter_dim, biasFalse) def forward(self, x): return self.w2(F.silu(self.w1(x)) * self.w3(x)) dim, inter_dim 7168, 18432 model SwiGLU(dim, inter_dim).to(cuda, dtypetorch.bfloat16) x torch.randn(2, 16, dim, dtypetorch.bfloat16, devicecuda) y model(x) print(input shape:, x.shape) print(output shape:, y.shape) print(output norm:, y.float().norm().item())输入输出 shape 都是[2, 16, 7168]output norm是一个有限值。如果出现 NaN检查inter_dim是否设置过大导致初始化时方差爆炸或者silu的输入是否已经溢出。三个模块都跑通后你可以把这段验证脚本和配置一起丢给模型让它帮你检查参数之间的依赖关系。模型对话入口在 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 把config.toml和报错信息贴进去让它逐行解释每个参数的影响。5. 本篇常见错排查5.1 Tokenizer 报 vocab_size 不匹配报错信息通常是RuntimeError: Error(s) in loading state_dict for Embedding: size mismatch。原因是config.toml里的vocab_size和词表文件的实际大小不一致。解决办法是打印len(tokenizer)确认实际词表大小然后同步修改配置。注意有些 Tokenizer 会把特殊 token 额外计入实际 embedding 层大小可能比vocab_size大几个。5.2 RMSNorm 在 bfloat16 下输出全零如果eps设得太小比如 1e-12在 bfloat16 下variance eps可能被舍入为 0导致rsqrt产生 inf。建议eps保持在 1e-6 到 1e-5 之间。另外检查weight是否被意外初始化为零正常应该是全 1。5.3 SwiGLU 的 inter_dim 和 FFN 维度混淆有些仓库把inter_dim定义为dim * 4有些定义为dim * 8 / 3。如果你从别的配置复制过来一定要确认这个值的计算方式。SwiGLU 因为多了一个门控投影参数量比标准 FFN 多 50%所以inter_dim通常取dim * 8 / 3再向上取整到 256 的倍数。5.4 RoPE 的 rope_factor 和 max_seq_len 不联动当max_seq_len超过original_seq_len时rope_factor必须大于 1否则位置编码外推会失效。检查配置里rope_factor是否被误设为 1。另外beta_fast和beta_slow的比值影响频率过渡的平滑度一般保持 32:1。5.5 API 调用返回 401如果验证脚本里调用 TaoToken 返回 401先检查环境变量TAOTOKEN_API_KEY是否为空再检查 base_url 是否写成了https://taotoken.net/api/v1。正确的基址是https://taotoken.net/apiSDK 会自动拼接路径。如果还是 401去控制台 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 确认 Key 是否被禁用或过期。5.6 逐行注释时模型返回截断源码文件较长时模型可能因为上下文限制截断输出。解决办法是分段发送每次只发一个类或一个函数。如果你用的是 Coding Plan它对长代码的处理会更稳定入口在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。6. 继续往下读源码的接入建议把 Tokenizer、RMSNorm、SwiGLU 三个模块的配置骨架跑通之后下一步通常是接 MLA 或 MoE。这时候你会遇到更多参数交叉引用比如kv_lora_rank和qk_rope_head_dim的配合、n_dense_layers和n_layers的关系。我的建议是每加一个模块就把对应的配置项和验证脚本一起更新不要等到全部写完再调试。如果你在排障过程中需要快速查 API 参数或接入方式接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有完整的请求格式和错误码说明。需要生成新的 Key 或者管理已有 Key去 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。模型对话验证在 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。长期做源码解析和 Agent 编码任务Coding Plan 在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。最后提醒一点配置骨架里的数值不是唯一正确答案不同模型规模对应的dim、inter_dim、n_heads都不同。关键是理解每个参数在模块里的作用这样换一个模型你也能快速调整。把验证脚本保留下来每次改配置后跑一遍比肉眼检查靠谱得多。
