【免费下载链接】Hy-Memory-30B-A3B项目地址https://ai.gitcode.com/tencent_hunyuan/Hy-Memory-30B-A3B点击查看免费下载Hy-Memory-30B-A3B 是腾讯混元推出的紧凑型长期记忆写入模型约 3B 激活参数用于在 Mem0、MemOS、Hy-Memory 等外部记忆框架中决定记什么、怎么记、如何更新。本文带你完整拆解它的 128 专家 MoE 架构、3B 激活参数设计与 256K 长上下文的实现细节并附上跨框架评测表现与快速上手方法。上图展示了 Hy-Memory-30B-A3B 在四个记忆框架harness上的宏平均得分其中 EverMemOS 为训练中未见的留出框架模型平均分 55.49整体领先同级开源与闭源模型。一、它是什么专攻记忆写入的长期记忆模型大多数大模型负责回答问题而 Hy-Memory-30B-A3B 专门负责记忆系统中的写路径write path判断哪些对话信息值得保留用户事实、偏好、代码上下文等决定如何精准表达这些记忆当新证据出现时决定如何更新已有记忆库它的定位是可插拔的记忆写入器——可以直接替换 Mem0、MemOS、Hy-Memory覆盖 Chat、Working、Coding 三类场景中的通用 LLM甚至能零样本迁移到训练中完全没见过的 EverMemOS 框架上。二、架构拆解128 专家 MoE 与 3B 激活参数所有架构细节都在 config.json 中关键配置如下配置项数值含义num_experts128每个 MoE 层共 128 个专家num_experts_per_tok8每个 token 只激活 8 个专家moe_intermediate_size1536单个专家中间维度num_hidden_layers48总层数first_k_dense_replace1第 1 层为稠密层其余 47 层为 MoEhidden_size2048隐藏层维度num_attention_heads/num_key_value_heads32 / 4GQA 分组查询注意力max_position_embeddings262144支持 256K 上下文vocab_size120832词表大小几个值得注意的设计点1. 总参 30B激活约 3B的 MoE 结构。全模型共 300 多亿参数51 个权重分片但每个 token 只路由到 8 个专家实际计算量仅对应约 3B 激活参数——推理成本接近小型模型能力接近大模型。2. 专家路由细节。配置显示moe_router_use_sigmoid与moe_router_enable_expert_bias均为true即采用带专家偏置的 sigmoid 路由类似 DeepSeek-V3 的无辅助损失设计并配有num_shared_experts: 1共享专家兜底保证每个 token 都有基础容量。3. 注意力效率。32 个查询头共享 4 个 KV 头GQA配合qk_norm: true的 QK 归一化为长上下文稳定性服务。权重文件组织可参考 model.safetensors.index.json51 个model-000XX-of-00051.safetensors分片按层与专家切分总大小约 60GBbf16 精度。三、256K 长上下文如何实现config.json中max_position_embeddings: 262144即256K token上下文tokenizer_config.json 中model_max_length同为 262144两者严格对齐。对记忆写入模型而言长上下文意味着单次可处理超长对话历史、大型代码仓库上下文从而一次性抽取完整记忆而不必依赖粗暴的截断。位置编码采用 RoPErope_theta: 11158840.0见 config.json配合 GQA 与 QK 归一化共同支撑超长序列推理。四、两阶段训练OPD 蒸馏 记忆强化学习模型在与部署完全相同的框架环境中分两阶段训练详见 README.md 的 Two-Stage Training 章节Memory On-Policy DistillationOPD记忆在线策略蒸馏在学生模型自己写出的状态链上提供密集的 teacher 监督信号教会模型基本的记忆写入格式与规范。Attributed Memory Reinforcement Learning带归因的记忆强化学习以最终记忆库效果为导向做奖励归因按 chunk 粒度分配信用并把得分最高的记忆库滚动传递到下一个训练窗口。这种先蒸馏、后强化的方式让模型学会的不是泛泛的摘要而是写出的记忆能在真实框架中跑分更高。五、跨框架实测表现评测固定 harness 版本、提示词、检索配置与答题模型只更换记忆写入器在 LoCoMo、LongMemEval、PersonaMem-v2、Travel SPS、Shopping PS、Code Memory Bench 六项指标上打分记忆写入器Mem0Hy-MemoryMemOSEverMemOS留出平均Hy-Memory-30B-A3B54.0260.5550.5156.8955.49Claude Opus 553.4360.5350.5054.0454.62DeepSeek V4.1 Flash49.7360.2049.1755.4753.64Qwen3.6-35B-A3B47.5155.8747.3650.7550.37Qwen3-30B-A3B39.8145.6745.4446.5744.37亮点作为约 3B 激活的轻量模型它在四个框架上全部拿到第一尤其在未参与训练的 EverMemOS 上以 56.89 大幅领先验证了跨框架泛化能力。完整六指标明细见 README.md 的 Detailed Benchmark Results。六、快速上手vLLM 部署 OpenAI 兼容 API模型支持 vLLM已验证 v0.31.0部署通过--served-model-name hy-memory启动后即可用 OpenAI 兼容接口调用。最小示例from openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:8000/v1, api_keyEMPTY) response client.chat.completions.create( modelhy-memory, messages[ {role: system, content: Extract explicit user facts and preferences... Return only a JSON object with a memories list of strings.}, {role: user, content: My name is Alex. I live in Seattle and work as a software engineer.}, ], temperature0.0, max_tokens512, extra_body{chat_template_kwargs: {reasoning_effort: no_think}}, )提示通过reasoning_effort: no_think关闭思考模式可获得更低的记忆写入延迟对话模板定义见 chat_template.jinja。七、文件结构速览文件/目录说明config.json模型架构配置MoE、256K 上下文等全部参数model.safetensors.index.json51 个权重分片的索引映射tokenizer.json / tokenizer_config.json分词器与词表配置词表 120832chat_template.jinja对话渲染模板README.md模型卡训练流程、评测、QuickstartLICENSEApache-2.0 开源协议figures/fig3_cross_harness_colm.png跨框架评测得分对比图八、小结Hy-Memory-30B-A3B 证明了记忆写入可以是一个独立的模型任务128 选 8 的 MoE 架构让 30B 总参数只需约 3B 激活成本256K 长上下文保证超长对话不截断OPD 记忆强化学习两阶段训练则直接优化了真实框架中的记忆效果。如果你正在搭建长期记忆应用Chat、Agent、Coding 场景它几乎可以即插即用地替换掉你的记忆写入器。赞分享【免费下载链接】Hy-Memory-30B-A3B项目地址https://ai.gitcode.com/tencent_hunyuan/Hy-Memory-30B-A3B点击查看免费下载相关推荐小白也能看懂的Qwen3-30B-A3B128个专家、激活仅3B参数的高效MoE架构全解析小白也能看懂的Qwen3 30B A3B128个专家、激活仅3B参数的高效MoE架构全解析 Qwen3 30B A3B 是一款总参数 300 多亿、每个 to30B参数仅激活3B的秘密InternVL3.5-30B-A3B MoE专家路由机制源码级解析30B参数仅激活3B的秘密InternVL3.5 30B A3B MoE专家路由机制源码级解析 InternVL3.5 30B A3B Pretrained一张显卡就能跑30B 总参只激活 3BHy-Memory-30B-A3B 本地部署上手一张显卡就能跑30B 总参只激活 3BHy Memory 30B A3B 本地部署上手 在 Agent 应用越来越依赖长期记忆的当下一个尴尬的矛盾始终创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
【免费下载链接】Hy-Memory-30B-A3B项目地址https://ai.gitcode.com/tencent_hunyuan/Hy-Memory-30B-A3B点击查看免费下载Hy-Memory-30B-A3B 是腾讯混元推出的紧凑型长期记忆写入模型约 3B 激活参数用于在 Mem0、MemOS、Hy-Memory 等外部记忆框架中决定记什么、怎么记、如何更新。本文带你完整拆解它的 128 专家 MoE 架构、3B 激活参数设计与 256K 长上下文的实现细节并附上跨框架评测表现与快速上手方法。上图展示了 Hy-Memory-30B-A3B 在四个记忆框架harness上的宏平均得分其中 EverMemOS 为训练中未见的留出框架模型平均分 55.49整体领先同级开源与闭源模型。一、它是什么专攻记忆写入的长期记忆模型大多数大模型负责回答问题而 Hy-Memory-30B-A3B 专门负责记忆系统中的写路径write path判断哪些对话信息值得保留用户事实、偏好、代码上下文等决定如何精准表达这些记忆当新证据出现时决定如何更新已有记忆库它的定位是可插拔的记忆写入器——可以直接替换 Mem0、MemOS、Hy-Memory覆盖 Chat、Working、Coding 三类场景中的通用 LLM甚至能零样本迁移到训练中完全没见过的 EverMemOS 框架上。二、架构拆解128 专家 MoE 与 3B 激活参数所有架构细节都在 config.json 中关键配置如下配置项数值含义num_experts128每个 MoE 层共 128 个专家num_experts_per_tok8每个 token 只激活 8 个专家moe_intermediate_size1536单个专家中间维度num_hidden_layers48总层数first_k_dense_replace1第 1 层为稠密层其余 47 层为 MoEhidden_size2048隐藏层维度num_attention_heads/num_key_value_heads32 / 4GQA 分组查询注意力max_position_embeddings262144支持 256K 上下文vocab_size120832词表大小几个值得注意的设计点1. 总参 30B激活约 3B的 MoE 结构。全模型共 300 多亿参数51 个权重分片但每个 token 只路由到 8 个专家实际计算量仅对应约 3B 激活参数——推理成本接近小型模型能力接近大模型。2. 专家路由细节。配置显示moe_router_use_sigmoid与moe_router_enable_expert_bias均为true即采用带专家偏置的 sigmoid 路由类似 DeepSeek-V3 的无辅助损失设计并配有num_shared_experts: 1共享专家兜底保证每个 token 都有基础容量。3. 注意力效率。32 个查询头共享 4 个 KV 头GQA配合qk_norm: true的 QK 归一化为长上下文稳定性服务。权重文件组织可参考 model.safetensors.index.json51 个model-000XX-of-00051.safetensors分片按层与专家切分总大小约 60GBbf16 精度。三、256K 长上下文如何实现config.json中max_position_embeddings: 262144即256K token上下文tokenizer_config.json 中model_max_length同为 262144两者严格对齐。对记忆写入模型而言长上下文意味着单次可处理超长对话历史、大型代码仓库上下文从而一次性抽取完整记忆而不必依赖粗暴的截断。位置编码采用 RoPErope_theta: 11158840.0见 config.json配合 GQA 与 QK 归一化共同支撑超长序列推理。四、两阶段训练OPD 蒸馏 记忆强化学习模型在与部署完全相同的框架环境中分两阶段训练详见 README.md 的 Two-Stage Training 章节Memory On-Policy DistillationOPD记忆在线策略蒸馏在学生模型自己写出的状态链上提供密集的 teacher 监督信号教会模型基本的记忆写入格式与规范。Attributed Memory Reinforcement Learning带归因的记忆强化学习以最终记忆库效果为导向做奖励归因按 chunk 粒度分配信用并把得分最高的记忆库滚动传递到下一个训练窗口。这种先蒸馏、后强化的方式让模型学会的不是泛泛的摘要而是写出的记忆能在真实框架中跑分更高。五、跨框架实测表现评测固定 harness 版本、提示词、检索配置与答题模型只更换记忆写入器在 LoCoMo、LongMemEval、PersonaMem-v2、Travel SPS、Shopping PS、Code Memory Bench 六项指标上打分记忆写入器Mem0Hy-MemoryMemOSEverMemOS留出平均Hy-Memory-30B-A3B54.0260.5550.5156.8955.49Claude Opus 553.4360.5350.5054.0454.62DeepSeek V4.1 Flash49.7360.2049.1755.4753.64Qwen3.6-35B-A3B47.5155.8747.3650.7550.37Qwen3-30B-A3B39.8145.6745.4446.5744.37亮点作为约 3B 激活的轻量模型它在四个框架上全部拿到第一尤其在未参与训练的 EverMemOS 上以 56.89 大幅领先验证了跨框架泛化能力。完整六指标明细见 README.md 的 Detailed Benchmark Results。六、快速上手vLLM 部署 OpenAI 兼容 API模型支持 vLLM已验证 v0.31.0部署通过--served-model-name hy-memory启动后即可用 OpenAI 兼容接口调用。最小示例from openai import OpenAI client OpenAI(base_urlhttp://127.0.0.1:8000/v1, api_keyEMPTY) response client.chat.completions.create( modelhy-memory, messages[ {role: system, content: Extract explicit user facts and preferences... Return only a JSON object with a memories list of strings.}, {role: user, content: My name is Alex. I live in Seattle and work as a software engineer.}, ], temperature0.0, max_tokens512, extra_body{chat_template_kwargs: {reasoning_effort: no_think}}, )提示通过reasoning_effort: no_think关闭思考模式可获得更低的记忆写入延迟对话模板定义见 chat_template.jinja。七、文件结构速览文件/目录说明config.json模型架构配置MoE、256K 上下文等全部参数model.safetensors.index.json51 个权重分片的索引映射tokenizer.json / tokenizer_config.json分词器与词表配置词表 120832chat_template.jinja对话渲染模板README.md模型卡训练流程、评测、QuickstartLICENSEApache-2.0 开源协议figures/fig3_cross_harness_colm.png跨框架评测得分对比图八、小结Hy-Memory-30B-A3B 证明了记忆写入可以是一个独立的模型任务128 选 8 的 MoE 架构让 30B 总参数只需约 3B 激活成本256K 长上下文保证超长对话不截断OPD 记忆强化学习两阶段训练则直接优化了真实框架中的记忆效果。如果你正在搭建长期记忆应用Chat、Agent、Coding 场景它几乎可以即插即用地替换掉你的记忆写入器。赞分享【免费下载链接】Hy-Memory-30B-A3B项目地址https://ai.gitcode.com/tencent_hunyuan/Hy-Memory-30B-A3B点击查看免费下载相关推荐小白也能看懂的Qwen3-30B-A3B128个专家、激活仅3B参数的高效MoE架构全解析小白也能看懂的Qwen3 30B A3B128个专家、激活仅3B参数的高效MoE架构全解析 Qwen3 30B A3B 是一款总参数 300 多亿、每个 to30B参数仅激活3B的秘密InternVL3.5-30B-A3B MoE专家路由机制源码级解析30B参数仅激活3B的秘密InternVL3.5 30B A3B MoE专家路由机制源码级解析 InternVL3.5 30B A3B Pretrained一张显卡就能跑30B 总参只激活 3BHy-Memory-30B-A3B 本地部署上手一张显卡就能跑30B 总参只激活 3BHy Memory 30B A3B 本地部署上手 在 Agent 应用越来越依赖长期记忆的当下一个尴尬的矛盾始终创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
