人工智能大模型推理模型模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8点击查看免费下载NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8 是 NVIDIA 推出的循环latent-recurrent大模型仅 4B 参数却凭借 normalized-GPT 架构、混合注意力机制与可调节的循环层数实现 256K 长上下文与弹性推理算力。这篇文章带你快速看懂 Dory1.0-4B 的架构设计、注意力机制与部署要点。什么是循环架构Looped LM传统 Transformer 是一次性的Token 从底层走到顶层每层只经过一遍。而 Dory1.0-4B 采用了共享层循环的思路模型层栈被划分为 Input、Recurrent 和 Output 三组中间的 Recurrent 块会被重复执行多次并且在每一轮循环中重新注入原始输入。上图展示循环次数对模型综合能力AA v4.3.2 估计分的影响k1 得 13.8 分k2 跃升至 17.7k4 达到 18.4超过多个数倍参数量的模型。这种设计的核心收益是用计算换智能参数不变但每个 Token 经过的网络深度成倍增加。更妙的是——循环次数在推理时可调无需重新训练、无需换模型循环次数适用场景1 次追求最低单 Token 算力开销2 次默认准确率与算力的最佳平衡点4 次优先准确率尤其适合 SWE-bench、Terminal-Bench 等 Agent 任务官方建议默认从 2 次循环起步因为大部分精度收益来自第二次循环之后的边际收益递减。解剖 normalized-GPT 骨干4B 参数、72 层结构查看 config.json 可以看到 Dory1.0-4B 的身体骨架hidden_size 2560隐藏层维度num_hidden_layers 72总层数 16Input 40Recurrent 共享块 16Outputnum_attention_heads 16 / num_key_value_heads 4GQA 分组注意力KV 头只有 Q 头的 1/4显著压缩 KV 缓存n_recurrent_loops: 2默认循环 2 次即每个 Token 实际经过 16 40×2 16 112 层计算ngpt_alpha_init 0.05normalized-GPT 骨干的归一化初始化参数这里的normalized-GPTnGPT是 NVIDIA 提出的归一化 GPT 骨干通过更稳定的归一化方式提升深网训练稳定性并且 Dory 是原生在 NVFP4 4-bit 精度下预训练前 ~4.5T Token再切到 BF16 继续训练——这为后续 8-bit 的 MXFP8 量化版本打下了精度基础。混合注意力滑动窗口 全注意力如何分工打开 config.json 中的layer_types字段会发现一个清晰的间隔混合模式每 4 组注意力层 MLP 层里前 3 组是sliding_attention滑动窗口注意力第 4 组是full_attention全注意力周而复始。两者还配了不同的 RoPE 频率rope_parameters滑动窗口层rope_theta 10000窗口大小1024sliding_window: 1024——负责捕捉局部、细粒度的语义全注意力层rope_theta 10000000——超大的旋转位置编码基频专门为了支撑超长上下文的远距离依赖这个3:1 混合设计的意义在于大部分层只看 1024 窗口KV 缓存开销极低每隔几层插入一次全注意力负责把长程信息接力传递。再加上循环机制让全注意力层被重复执行局部信息得以跨轮次逐层聚合——这正是 Dory1.0-4B 能用较小参数规模稳定处理 256K 上下文的关键。循环 KV 缓存last-loop 模式普通循环模型每增加一次循环就要多存一份 KV 缓存显存随循环数线性膨胀。Dory1.0-4B 支持last-loop KV cachingrecurrent_kv_cache_mode: last_loop每个循环注意力层只保留一份缓存后续循环直接覆写。这样无论循环几次KV 缓存占用都与 1 次循环相同——给 256K 长上下文和高并发留足了显存。循环越多生成的 Token 越少循环带来的第二个惊喜是Token 效率额外的每 Token 算力被花在隐空间里的深度思考而不是更长的输出上。如上图所示相比 1 次循环k14 次循环在 Terminal-Bench 2.1 上输出 Token 减少到0.50 倍GDPval-AA-V2 上更是低至0.40 倍——同样答对题目生成的文字少了一大半端到端延迟和成本随之下降。256K 长上下文与 MXFP8 量化部署训练配方预训练 6T Token前 ~4.5T 用 NVFP4其余 BF16再用300B Token 专门做上下文扩展至 256K位置上限max_position_embeddings: 262144见 config.json本仓库版本MXFP8 量化W8A16权重组大小为 32group_size: 32词表 131072完整权重在 model.safetensors采样建议Temperature 1.0、Top_P 0.95见 generation_config.json模型提供 BF16 / MXFP8 / NVFP4 / GGUFQ5_K_M多种格式本仓库为 MXFP8 版在 DGX Spark 上比 BF16 快约1.7×部署上vLLM 可通过--max-model-len 262144启用完整 256K 上下文并用--hf-overrides {n_recurrent_loops: 2, recurrent_kv_cache_mode: per_loop}调整循环数与 KV 缓存模式llama.cpp 则通过--override-kv dory.num_loopsint:2设置。完整的启动命令与 Apple Silicon 构建流程详见 README.md 的 Quick Start Guide对话模板由 chat_template.jinja 提供支持工具调用与推理链解析。总结为什么值得关注参数效率4B 参数 × 2 次循环 ≈ 等效 112 层深度综合能力逼近数倍参数量的模型弹性算力1/2/4 次循环按需切换一个 Checkpoint 适配不同算力预算长上下文滑动窗口与全注意力混合 超大 RoPE 基频 300B Token 上下文扩展训练稳定支持 256K工程友好last-loop KV 缓存消除循环显存膨胀MXFP8/NVFP4 低精度部署开箱即用如果你想深入理解细节建议对照 README.md 的 Model Design 与 Benchmark 章节以及 config.json 中的layer_types、rope_parameters字段逐一验证本文提到的架构细节。赞分享人工智能大模型推理模型模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8点击查看免费下载相关推荐256K长上下文如何炼成Ornith-1.5-9B-OptiQ-4bit线性注意力混合架构深度拆解256K长上下文如何炼成Ornith 1.5 9B OptiQ 4bit线性注意力混合架构深度拆解 Ornith 1.5 9B OptiQ 4bit 是大模型推理模型模型量化本地部署Fara1.5-4B-OptiQ-4bit 深度解析线性注意力与全注意力混合架构如何撑住 256K 超长上下文Fara1.5 4B OptiQ 4bit 深度解析线性注意力与全注意力混合架构如何撑住 256K 超长上下文 Fara1.5 4B OptiQ 4bit 是大模型本地部署多模态AI Agent人工智能揭秘Qwen3.5-4B-w8a8核心架构3:1混合线性注意力、256K上下文与MTP投机解码揭秘Qwen3.5 4B w8a8核心架构3:1混合线性注意力、256K上下文与MTP投机解码 Qwen3.5 4B w8a8 是开源多模态大模型 Qwen3大模型模型量化本地部署Ascend上一篇CC Switch v3.19.1 技术解析DeepSeek 等三家中国 Codex 网关直连、官方模型目录镜像与四项关键缺陷修复下一篇Betterfox终极指南让你的Firefox浏览器速度提升31%的完整教程 创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
人工智能大模型推理模型模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8点击查看免费下载NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8 是 NVIDIA 推出的循环latent-recurrent大模型仅 4B 参数却凭借 normalized-GPT 架构、混合注意力机制与可调节的循环层数实现 256K 长上下文与弹性推理算力。这篇文章带你快速看懂 Dory1.0-4B 的架构设计、注意力机制与部署要点。什么是循环架构Looped LM传统 Transformer 是一次性的Token 从底层走到顶层每层只经过一遍。而 Dory1.0-4B 采用了共享层循环的思路模型层栈被划分为 Input、Recurrent 和 Output 三组中间的 Recurrent 块会被重复执行多次并且在每一轮循环中重新注入原始输入。上图展示循环次数对模型综合能力AA v4.3.2 估计分的影响k1 得 13.8 分k2 跃升至 17.7k4 达到 18.4超过多个数倍参数量的模型。这种设计的核心收益是用计算换智能参数不变但每个 Token 经过的网络深度成倍增加。更妙的是——循环次数在推理时可调无需重新训练、无需换模型循环次数适用场景1 次追求最低单 Token 算力开销2 次默认准确率与算力的最佳平衡点4 次优先准确率尤其适合 SWE-bench、Terminal-Bench 等 Agent 任务官方建议默认从 2 次循环起步因为大部分精度收益来自第二次循环之后的边际收益递减。解剖 normalized-GPT 骨干4B 参数、72 层结构查看 config.json 可以看到 Dory1.0-4B 的身体骨架hidden_size 2560隐藏层维度num_hidden_layers 72总层数 16Input 40Recurrent 共享块 16Outputnum_attention_heads 16 / num_key_value_heads 4GQA 分组注意力KV 头只有 Q 头的 1/4显著压缩 KV 缓存n_recurrent_loops: 2默认循环 2 次即每个 Token 实际经过 16 40×2 16 112 层计算ngpt_alpha_init 0.05normalized-GPT 骨干的归一化初始化参数这里的normalized-GPTnGPT是 NVIDIA 提出的归一化 GPT 骨干通过更稳定的归一化方式提升深网训练稳定性并且 Dory 是原生在 NVFP4 4-bit 精度下预训练前 ~4.5T Token再切到 BF16 继续训练——这为后续 8-bit 的 MXFP8 量化版本打下了精度基础。混合注意力滑动窗口 全注意力如何分工打开 config.json 中的layer_types字段会发现一个清晰的间隔混合模式每 4 组注意力层 MLP 层里前 3 组是sliding_attention滑动窗口注意力第 4 组是full_attention全注意力周而复始。两者还配了不同的 RoPE 频率rope_parameters滑动窗口层rope_theta 10000窗口大小1024sliding_window: 1024——负责捕捉局部、细粒度的语义全注意力层rope_theta 10000000——超大的旋转位置编码基频专门为了支撑超长上下文的远距离依赖这个3:1 混合设计的意义在于大部分层只看 1024 窗口KV 缓存开销极低每隔几层插入一次全注意力负责把长程信息接力传递。再加上循环机制让全注意力层被重复执行局部信息得以跨轮次逐层聚合——这正是 Dory1.0-4B 能用较小参数规模稳定处理 256K 上下文的关键。循环 KV 缓存last-loop 模式普通循环模型每增加一次循环就要多存一份 KV 缓存显存随循环数线性膨胀。Dory1.0-4B 支持last-loop KV cachingrecurrent_kv_cache_mode: last_loop每个循环注意力层只保留一份缓存后续循环直接覆写。这样无论循环几次KV 缓存占用都与 1 次循环相同——给 256K 长上下文和高并发留足了显存。循环越多生成的 Token 越少循环带来的第二个惊喜是Token 效率额外的每 Token 算力被花在隐空间里的深度思考而不是更长的输出上。如上图所示相比 1 次循环k14 次循环在 Terminal-Bench 2.1 上输出 Token 减少到0.50 倍GDPval-AA-V2 上更是低至0.40 倍——同样答对题目生成的文字少了一大半端到端延迟和成本随之下降。256K 长上下文与 MXFP8 量化部署训练配方预训练 6T Token前 ~4.5T 用 NVFP4其余 BF16再用300B Token 专门做上下文扩展至 256K位置上限max_position_embeddings: 262144见 config.json本仓库版本MXFP8 量化W8A16权重组大小为 32group_size: 32词表 131072完整权重在 model.safetensors采样建议Temperature 1.0、Top_P 0.95见 generation_config.json模型提供 BF16 / MXFP8 / NVFP4 / GGUFQ5_K_M多种格式本仓库为 MXFP8 版在 DGX Spark 上比 BF16 快约1.7×部署上vLLM 可通过--max-model-len 262144启用完整 256K 上下文并用--hf-overrides {n_recurrent_loops: 2, recurrent_kv_cache_mode: per_loop}调整循环数与 KV 缓存模式llama.cpp 则通过--override-kv dory.num_loopsint:2设置。完整的启动命令与 Apple Silicon 构建流程详见 README.md 的 Quick Start Guide对话模板由 chat_template.jinja 提供支持工具调用与推理链解析。总结为什么值得关注参数效率4B 参数 × 2 次循环 ≈ 等效 112 层深度综合能力逼近数倍参数量的模型弹性算力1/2/4 次循环按需切换一个 Checkpoint 适配不同算力预算长上下文滑动窗口与全注意力混合 超大 RoPE 基频 300B Token 上下文扩展训练稳定支持 256K工程友好last-loop KV 缓存消除循环显存膨胀MXFP8/NVFP4 低精度部署开箱即用如果你想深入理解细节建议对照 README.md 的 Model Design 与 Benchmark 章节以及 config.json 中的layer_types、rope_parameters字段逐一验证本文提到的架构细节。赞分享人工智能大模型推理模型模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8点击查看免费下载相关推荐256K长上下文如何炼成Ornith-1.5-9B-OptiQ-4bit线性注意力混合架构深度拆解256K长上下文如何炼成Ornith 1.5 9B OptiQ 4bit线性注意力混合架构深度拆解 Ornith 1.5 9B OptiQ 4bit 是大模型推理模型模型量化本地部署Fara1.5-4B-OptiQ-4bit 深度解析线性注意力与全注意力混合架构如何撑住 256K 超长上下文Fara1.5 4B OptiQ 4bit 深度解析线性注意力与全注意力混合架构如何撑住 256K 超长上下文 Fara1.5 4B OptiQ 4bit 是大模型本地部署多模态AI Agent人工智能揭秘Qwen3.5-4B-w8a8核心架构3:1混合线性注意力、256K上下文与MTP投机解码揭秘Qwen3.5 4B w8a8核心架构3:1混合线性注意力、256K上下文与MTP投机解码 Qwen3.5 4B w8a8 是开源多模态大模型 Qwen3大模型模型量化本地部署Ascend上一篇CC Switch v3.19.1 技术解析DeepSeek 等三家中国 Codex 网关直连、官方模型目录镜像与四项关键缺陷修复下一篇Betterfox终极指南让你的Firefox浏览器速度提升31%的完整教程 创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
