采样也要精确MTPLX 拒绝采样与残差校正的数学原理全解析【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX 是一款面向 Apple Silicon 的本地大模型推理工具可以在 Mac 上以 125 tok/s 的速度运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 等模型并提供 OpenAI 与 Anthropic 兼容的本地服务。它最核心的技术之一就是用**拒绝采样Rejection Sampling 残差校正Residual Correction**驱动原生 MTP 推测解码——无论你把温度调到多高输出分布都与模型原声逐位精确一致而解码速度还能翻倍。这篇文章不贴大段代码只带你把背后的数学一步一步拆开。为什么推测解码必须用模型自己的口吻说话推测解码的通用思路是先让一个便宜的草稿环节快速写出几个候选 token再让主模型一次性批量验证。验证通过就白赚几个 token不通过就退回去重来。听起来很美好但有一个隐蔽的坑如果验证时用贪心 argmax取概率最大的那个你实际上偷换了模型的输出分布——模型本来有 30% 可能说 A现在却必然说 B。低温度下差异小高温、创意写作场景下差异会非常明显很多加速方案默认 temperature0 才敢做投机把采样场景直接排除在外。MTPLX 的立场是采样也要精确。它声称在任何 temperature / top-p / top-k 组合下都不做贪心捷径这靠的就是一套经典的数学构造。三步数学戏法拒绝采样与残差校正的完整原理设目标分布主模型的真实概率为P(t)草稿分布MTP 头猜出来的概率为Q(t)。对每一个草稿 tokent做三步第一步草稿模型大胆猜以概率 Q(t) 生成候选 token。这一步追求快允许猜错MTP 头一次可以批量出好几个候选验证时共享同一次前向传播。第二步按 min(1, P/Q) 接受或拒绝对草稿 tokent计算接受概率α(t) min(1, P(t) / Q(t))规则非常直观草稿认为 P 也认为P ≥ Q→必然接受白赚草稿比 P 更激进Q P→ 按比例打折接受多出来的那部分概率质量被拒绝。这一步来自 Leviathan 等人的拒绝采样定理接受率只取决于两个分布的比值草稿猜得越准接受率越高期望每步提交的 token 数就越多。第三步拒绝时从残差分布里补采被拒绝后不能凭空丢一个 token而是从残差分布重新采样R(t) ∝ max(P(t) − Q(t), 0)直觉把草稿已经覆盖掉的概率质量 P∧Q 划掉剩下 P 比 Q 高出来的部分归一化后正好补上拒绝造成的概率缺口。可以证明把接受和残差重采两条路加起来每个 token 的最终边缘概率恰好等于 P(t)——这就是任意温度下精确的数学来源。精确性在源码里是怎么守住的理论漂亮工程上魔鬼在细节。MTPLX 把整套原语放在 mtplx/sampling.py 中用 NumPy 写参考实现以便逐位校验组件职责位置acceptance_probability计算 α(t)min(1, P/Q)mtplx/sampling.pyresidual_distribution构造并归一化 (P−Q) 残差分布mtplx/sampling.pyverify_one_token接受/拒绝 残差重采完整决策mtplx/sampling.py后端无关封装供 Metal 内核调用的推测采样原语mtplx/speculative.py两个容易被忽略、但直接决定精确二字的细节1. 两侧分布必须用同一套采样语义过滤。温度缩放、top-p、top-k 必须对 P 和 Q 施加完全一致的顺序和规则MTPLX 镜像本地mlx_lm的 top-p 先于 top-k 顺序否则接受/拒绝的数学前提就不成立。这一逻辑在 mtplx/sampling.py。2. 数值故障宁可报错也不许静默出活。历史上 NaN/inf 的 logits 会悄悄坍缩成 token 0Qwen 词表里的!用户看到的是满屏感叹号而不是错误。现在任何一行 logits 出现非有限值都会在 mtplx/sampling.py 抛出带计数统计的明确异常且该请求不会写入缓存——精确性包括出故障时也要诚实。隐藏状态校正层治 MTP 头的递归漂移MTP 头连写多步时隐藏状态会随递归深度漂移草稿质量下降、接受率跟着掉。MTPLX 在 mtplx/correctors/ 里提供一组很小的离线校正器专门把递归隐藏状态拉回目标轨迹C0/C1 对角仿射校正diagonal_affine.py按深度做h scale·h bias参数极少、推理开销可忽略C2 低秩残差校正low_rank.py用小秩投影拟合残差方向表达力更强运行时还可以用blend把校正器朝无操作方向衰减mtplx/correctors/init.py在漂移修复和激进程度之间平滑取舍。关键点校正只作用于草稿侧的隐藏状态完全不碰精确验证器——草稿可以随便修验证那一侧永远保持原样数学保证不受影响。如何验证精确从数学预言机到真机对拍精确性不能靠嘴说MTPLX 给了三层证据数学预言机speculative_output_marginal 把所有可能的草稿 token 全部枚举、代入接受/残差规则后求和——如果实现正确最终边缘分布必须与目标分布逐位一致是一个可直接断言的小规模正确性工具单元测试接受率上限、残差分布归一化等性质在 tests/test_sampling.py 中逐条锁定真机对拍按 README 的记载MTPLX 曾在温度 1、top-p 0.95、top-k 20 下把快速路径与普通路径各采样 1000 次四 token 样本在 Flash Next 和 27B Quality 包上按 token id 逐一对比结果落在普通路径自身的噪声范围内。精确的代价速度反而是赚到的很多人以为精确要牺牲速度。MTPLX 的实测是反过来的因为 MTP 头与主模型同体、无需额外草稿模型占内存一次批量前向即可验证多个草稿解码速度约为普通解码的 2 倍——16 GB 的 M4 Mac mini 上 1.6xM5 Max 上 2.24x。下面是它解码内核的 census 统计可以看到 MTP 相关内核如mtp1x_linear_gated_delta…在计算量中的占比下面的 Metal 派发时间线则展示了编译路径下解码阶段的调度全貌GPU 工作连续、等待片段被压缩到毫秒级这正是验证吞吐翻倍的微观来源快速上手三步跑起来查看安装指南 docs/install.md 与快速上手 docs/quickstart.md在 Mac 上安装 MTPLX启动本地服务后用任意 OpenAI 兼容客户端直接连上示例脚本在 examples/curl-chat-completions.sh 和 examples/openai-python-client.py想验证采样行为把 temperature 调高、连发几轮长对话输出风格应与模型本体一致——这正是拒绝采样 残差校正承诺给你的东西。一句话总结MTPLX 的答案是加速和精确不是二选一。草稿负责快min(1, P/Q) 的接受规则负责不偷换分布(P−Q) 残差重采负责把缺口补平再加上双侧一致过滤、故障即报错和离线隐藏状态校正最终得到一个任意温度下逐位精确、解码还快一倍的推测解码采样器。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
采样也要精确MTPLX 拒绝采样与残差校正的数学原理全解析【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX 是一款面向 Apple Silicon 的本地大模型推理工具可以在 Mac 上以 125 tok/s 的速度运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 等模型并提供 OpenAI 与 Anthropic 兼容的本地服务。它最核心的技术之一就是用**拒绝采样Rejection Sampling 残差校正Residual Correction**驱动原生 MTP 推测解码——无论你把温度调到多高输出分布都与模型原声逐位精确一致而解码速度还能翻倍。这篇文章不贴大段代码只带你把背后的数学一步一步拆开。为什么推测解码必须用模型自己的口吻说话推测解码的通用思路是先让一个便宜的草稿环节快速写出几个候选 token再让主模型一次性批量验证。验证通过就白赚几个 token不通过就退回去重来。听起来很美好但有一个隐蔽的坑如果验证时用贪心 argmax取概率最大的那个你实际上偷换了模型的输出分布——模型本来有 30% 可能说 A现在却必然说 B。低温度下差异小高温、创意写作场景下差异会非常明显很多加速方案默认 temperature0 才敢做投机把采样场景直接排除在外。MTPLX 的立场是采样也要精确。它声称在任何 temperature / top-p / top-k 组合下都不做贪心捷径这靠的就是一套经典的数学构造。三步数学戏法拒绝采样与残差校正的完整原理设目标分布主模型的真实概率为P(t)草稿分布MTP 头猜出来的概率为Q(t)。对每一个草稿 tokent做三步第一步草稿模型大胆猜以概率 Q(t) 生成候选 token。这一步追求快允许猜错MTP 头一次可以批量出好几个候选验证时共享同一次前向传播。第二步按 min(1, P/Q) 接受或拒绝对草稿 tokent计算接受概率α(t) min(1, P(t) / Q(t))规则非常直观草稿认为 P 也认为P ≥ Q→必然接受白赚草稿比 P 更激进Q P→ 按比例打折接受多出来的那部分概率质量被拒绝。这一步来自 Leviathan 等人的拒绝采样定理接受率只取决于两个分布的比值草稿猜得越准接受率越高期望每步提交的 token 数就越多。第三步拒绝时从残差分布里补采被拒绝后不能凭空丢一个 token而是从残差分布重新采样R(t) ∝ max(P(t) − Q(t), 0)直觉把草稿已经覆盖掉的概率质量 P∧Q 划掉剩下 P 比 Q 高出来的部分归一化后正好补上拒绝造成的概率缺口。可以证明把接受和残差重采两条路加起来每个 token 的最终边缘概率恰好等于 P(t)——这就是任意温度下精确的数学来源。精确性在源码里是怎么守住的理论漂亮工程上魔鬼在细节。MTPLX 把整套原语放在 mtplx/sampling.py 中用 NumPy 写参考实现以便逐位校验组件职责位置acceptance_probability计算 α(t)min(1, P/Q)mtplx/sampling.pyresidual_distribution构造并归一化 (P−Q) 残差分布mtplx/sampling.pyverify_one_token接受/拒绝 残差重采完整决策mtplx/sampling.py后端无关封装供 Metal 内核调用的推测采样原语mtplx/speculative.py两个容易被忽略、但直接决定精确二字的细节1. 两侧分布必须用同一套采样语义过滤。温度缩放、top-p、top-k 必须对 P 和 Q 施加完全一致的顺序和规则MTPLX 镜像本地mlx_lm的 top-p 先于 top-k 顺序否则接受/拒绝的数学前提就不成立。这一逻辑在 mtplx/sampling.py。2. 数值故障宁可报错也不许静默出活。历史上 NaN/inf 的 logits 会悄悄坍缩成 token 0Qwen 词表里的!用户看到的是满屏感叹号而不是错误。现在任何一行 logits 出现非有限值都会在 mtplx/sampling.py 抛出带计数统计的明确异常且该请求不会写入缓存——精确性包括出故障时也要诚实。隐藏状态校正层治 MTP 头的递归漂移MTP 头连写多步时隐藏状态会随递归深度漂移草稿质量下降、接受率跟着掉。MTPLX 在 mtplx/correctors/ 里提供一组很小的离线校正器专门把递归隐藏状态拉回目标轨迹C0/C1 对角仿射校正diagonal_affine.py按深度做h scale·h bias参数极少、推理开销可忽略C2 低秩残差校正low_rank.py用小秩投影拟合残差方向表达力更强运行时还可以用blend把校正器朝无操作方向衰减mtplx/correctors/init.py在漂移修复和激进程度之间平滑取舍。关键点校正只作用于草稿侧的隐藏状态完全不碰精确验证器——草稿可以随便修验证那一侧永远保持原样数学保证不受影响。如何验证精确从数学预言机到真机对拍精确性不能靠嘴说MTPLX 给了三层证据数学预言机speculative_output_marginal 把所有可能的草稿 token 全部枚举、代入接受/残差规则后求和——如果实现正确最终边缘分布必须与目标分布逐位一致是一个可直接断言的小规模正确性工具单元测试接受率上限、残差分布归一化等性质在 tests/test_sampling.py 中逐条锁定真机对拍按 README 的记载MTPLX 曾在温度 1、top-p 0.95、top-k 20 下把快速路径与普通路径各采样 1000 次四 token 样本在 Flash Next 和 27B Quality 包上按 token id 逐一对比结果落在普通路径自身的噪声范围内。精确的代价速度反而是赚到的很多人以为精确要牺牲速度。MTPLX 的实测是反过来的因为 MTP 头与主模型同体、无需额外草稿模型占内存一次批量前向即可验证多个草稿解码速度约为普通解码的 2 倍——16 GB 的 M4 Mac mini 上 1.6xM5 Max 上 2.24x。下面是它解码内核的 census 统计可以看到 MTP 相关内核如mtp1x_linear_gated_delta…在计算量中的占比下面的 Metal 派发时间线则展示了编译路径下解码阶段的调度全貌GPU 工作连续、等待片段被压缩到毫秒级这正是验证吞吐翻倍的微观来源快速上手三步跑起来查看安装指南 docs/install.md 与快速上手 docs/quickstart.md在 Mac 上安装 MTPLX启动本地服务后用任意 OpenAI 兼容客户端直接连上示例脚本在 examples/curl-chat-completions.sh 和 examples/openai-python-client.py想验证采样行为把 temperature 调高、连发几轮长对话输出风格应与模型本体一致——这正是拒绝采样 残差校正承诺给你的东西。一句话总结MTPLX 的答案是加速和精确不是二选一。草稿负责快min(1, P/Q) 的接受规则负责不偷换分布(P−Q) 残差重采负责把缺口补平再加上双侧一致过滤、故障即报错和离线隐藏状态校正最终得到一个任意温度下逐位精确、解码还快一倍的推测解码采样器。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
