近日全球人工智能顶级学术会议NeurIPS 2026正式公布录用结果沐曦股份AI技术团队联合香港科技大学提出的大模型推理加速方案 SpecBlock成功入选主会Poster论文。同时该方法的全部实验流程均已在沐曦 GPU 平台同步复现。NeurIPS神经信息处理系统大会是人工智能与机器学习领域最具影响力的学术会议之一与 ICML、ICLR 并称“三大顶会”每年汇聚全球顶尖高校与科技巨头的前沿成果是学界与产业界衡量算法原创性与学术价值的重要标尺。SpecBlock入选该顶会意味着该方案的创新性已获得国际同行的严格评审认可对沐曦股份而言标志着公司在“芯片算法”协同创新上迈出了实质性一步。该方法的全部实验流程在沐曦GPU平台同步复现也为国产算力生态从硬件替代走向软硬协同创新提供了有力注脚。大模型竞争进入推理效率时代过去几年人工智能技术的快速发展主要由模型规模扩张、训练数据增长和算力投入驱动。随着大模型加速向智能Agent、企业智能服务、实时交互等实际应用场景渗透AI产业的竞争焦点正从模型能力的持续突破进一步延伸至推理效率、运行成本与规模化服务能力的综合竞争。然而传统大模型普遍采用逐Token自回归生成方式每生成一个Token都需要执行一次模型前向计算。在生成阶段Decode这一过程往往受到显存带宽限制频繁的模型权重访问难以充分发挥GPU的并行计算能力。随着模型规模扩大、推理请求量持续增长推理延迟、服务吞吐与算力成本正成为制约大模型规模化落地的关键瓶颈。面对这一挑战如何在保障模型能力与生成质量的前提下以更低的计算成本实现更高的Token生成效率已经成为大模型技术演进的重要方向。未来的大模型竞争不仅是模型能力的竞争更是推理效率与算力利用效率的竞争。谁能以更低成本、更高吞吐、更优时延释放大模型能力谁就更有机会在AI规模化应用中占据优势。推测解码成为大模型推理加速的关键技术随着大模型推理需求持续增长如何突破传统逐Token生成的效率瓶颈充分释放GPU计算能力已成为大模型推理优化的核心方向。以DeepSeek系列模型为代表的新一代大模型已经引入Multi-Token PredictionMTP多Token预测机制为推测解码提供高效的候选Token生成能力DSpark等前沿技术则进一步探索高效草稿生成与推理加速的实现路径。这些技术的发展共同印证了一个重要趋势大模型推理性能的突破不仅依赖算力规模的提升更依赖计算效率的优化让每一次模型计算产生更多有效Token。推测解码Speculative Decoding正是实现这一目标的关键技术之一。其核心思想是通过轻量级Draft模型提前生成多个候选Token再由Target模型在一次前向计算中并行验证从而将传统的逐Token生成转变为一次计算接受多个Token有效减少大模型串行调用次数提高GPU计算资源利用率实现推理吞吐与生成效率的显著提升。然而现有推测解码方法仍面临预测质量与计算成本难以兼顾的核心挑战自回归Draft方法 能够充分建模Token之间的依赖关系预测质量较高但依赖多轮串行计算Draft开销较大。并行Draft方法 通过一次前向计算预测多个Token显著降低Draft成本但由于缺乏充分的Token依赖建模容易导致预测质量和验证接受率下降。固定候选树策略 难以根据不同Token位置的预测难度动态分配验证预算限制了计算资源利用效率与整体加速收益。如何突破“高预测质量依赖高计算成本、低计算成本牺牲预测质量”的技术困境成为进一步提升推测解码性能的关键。SpecBlock 的切入点正是把这道“准确率与成本二选一”的难题改写成通过块级迭代生成与动态树搜索的协同设计寻求预测质量与计算成本之间的更优平衡。突破性能瓶颈实现业界领先的推理加速性能针对现有推测解码技术在预测质量、Draft计算成本与端到端推理吞吐之间难以兼顾的核心挑战沐曦股份AI技术团队联合香港科技大学提出新型推测解码方法SpecBlockBlock-Iterative Speculative Decoding with Dynamic Tree Drafting在高效草稿生成、动态搜索策略及在线自适应优化等方面取得创新突破。不同于传统自回归Draft方法依赖多轮串行计算也不同于完全并行Draft方法因缺Token依赖而牺牲预测质量SpecBlock创新性地提出块级迭代生成与动态树搜索相结合的技术路线兼顾草稿生成效率与预测准确性突破现有方法的性能瓶颈。SpecBlock主要通过四项关键技术实现协同优化Block-Iterative Drafting块级迭代生成从逐Token串行预测升级为块级生成一次Forward预测多个具有依赖关系的Token位置显著降低Draft调用开销。Layer-wise Shift Prefix Broadcast依赖增强机制强化Token之间的上下文信息传递在提高并行生成效率的同时保持较高预测质量。Rank-Guided Dynamic Tree动态候选树根据预测置信度自适应分配搜索分支将有限的验证预算投入更有价值的候选路径提高计算资源利用效率。Cost-Aware Online Adaptation成本感知在线优化根据模型验证反馈与实际吞吐收益动态选择模型更新策略进一步提升复杂场景下的持续推理效率。多模型、多任务实验结果表明SpecBlock展现出领先的推理性能。在沐曦C500通用GPU上的实测结果相较于EAGLE-3SpecBlock在Llama-3.1-8B和Qwen3-8B模型上的平均推理吞吐分别提升16.4%和14.4%Draft阶段耗时分别降低50.9%和38.4%。上述结果证明该方法不仅具备学术创新价值也具备明确的工程落地价值。基于沐曦通用GPU跑通全流程复现前沿AI技术的突破不仅在于算法创新更在于支撑创新成果从研究走向实践的完整算力与软件生态。此次SpecBlock研究不仅实现了推测解码算法层面的创新突破更依托沐曦通用GPU硬件平台与MACA软件生态打通了从算法设计、模型训练到推理部署、性能验证的完整技术链路形成覆盖“算法研发 → 模型训练 → 系统优化 → 推理部署 → 性能评测”的端到端研发与验证能力。在沐曦C500通用GPU平台的实测中SpecBlock展现出领先的推理加速性能相比EAGLE-3在Llama-3.1-8B和Qwen3-8B模型上的平均推理吞吐分别提升16.4%和14.4%。这一结果不仅验证了SpecBlock算法的先进性也进一步体现了沐曦通用GPU与MACA软件生态对复杂模型架构、先进推理算法及系统级性能优化的支撑能力。这项工作不只是一次算法创新更是对国产GPU与软件生态能否承载前沿AI研究的一次完整验证。从前沿算法到开源生态夯实国产AI创新底座此次SpecBlock研究是沐曦股份AI技术团队与香港科技大学深化产学研协同创新的重要成果不仅在大模型推理加速领域取得了领先的技术突破也进一步验证了国产GPU与自主软件生态支撑前沿AI研究的综合能力。通过将前沿算法研究、沐曦通用GPU与MACA软件生态深度融合SpecBlock实现了从技术创新、模型训练到推理优化的协同发展并通过代码开源推动研究成果向全球开发者社区开放促进先进推理技术的持续演进与应用落地。真正具有竞争力的AI基础设施不仅要能够高效运行先进模型更要能够支撑前沿算法的自主创新与持续突破。未来沐曦将继续深化与高校及产业伙伴的协同合作推动算法创新、系统软件与国产算力的深度融合加速前沿AI技术从科研探索走向产业实践为构建开放、高效、自主的下一代AI基础设施提供坚实支撑。论文名称SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting论文地址https://arxiv.org/pdf/2605.07243GitHub开源地址https://github.com/shiweijiezero/SpecBlock
近日全球人工智能顶级学术会议NeurIPS 2026正式公布录用结果沐曦股份AI技术团队联合香港科技大学提出的大模型推理加速方案 SpecBlock成功入选主会Poster论文。同时该方法的全部实验流程均已在沐曦 GPU 平台同步复现。NeurIPS神经信息处理系统大会是人工智能与机器学习领域最具影响力的学术会议之一与 ICML、ICLR 并称“三大顶会”每年汇聚全球顶尖高校与科技巨头的前沿成果是学界与产业界衡量算法原创性与学术价值的重要标尺。SpecBlock入选该顶会意味着该方案的创新性已获得国际同行的严格评审认可对沐曦股份而言标志着公司在“芯片算法”协同创新上迈出了实质性一步。该方法的全部实验流程在沐曦GPU平台同步复现也为国产算力生态从硬件替代走向软硬协同创新提供了有力注脚。大模型竞争进入推理效率时代过去几年人工智能技术的快速发展主要由模型规模扩张、训练数据增长和算力投入驱动。随着大模型加速向智能Agent、企业智能服务、实时交互等实际应用场景渗透AI产业的竞争焦点正从模型能力的持续突破进一步延伸至推理效率、运行成本与规模化服务能力的综合竞争。然而传统大模型普遍采用逐Token自回归生成方式每生成一个Token都需要执行一次模型前向计算。在生成阶段Decode这一过程往往受到显存带宽限制频繁的模型权重访问难以充分发挥GPU的并行计算能力。随着模型规模扩大、推理请求量持续增长推理延迟、服务吞吐与算力成本正成为制约大模型规模化落地的关键瓶颈。面对这一挑战如何在保障模型能力与生成质量的前提下以更低的计算成本实现更高的Token生成效率已经成为大模型技术演进的重要方向。未来的大模型竞争不仅是模型能力的竞争更是推理效率与算力利用效率的竞争。谁能以更低成本、更高吞吐、更优时延释放大模型能力谁就更有机会在AI规模化应用中占据优势。推测解码成为大模型推理加速的关键技术随着大模型推理需求持续增长如何突破传统逐Token生成的效率瓶颈充分释放GPU计算能力已成为大模型推理优化的核心方向。以DeepSeek系列模型为代表的新一代大模型已经引入Multi-Token PredictionMTP多Token预测机制为推测解码提供高效的候选Token生成能力DSpark等前沿技术则进一步探索高效草稿生成与推理加速的实现路径。这些技术的发展共同印证了一个重要趋势大模型推理性能的突破不仅依赖算力规模的提升更依赖计算效率的优化让每一次模型计算产生更多有效Token。推测解码Speculative Decoding正是实现这一目标的关键技术之一。其核心思想是通过轻量级Draft模型提前生成多个候选Token再由Target模型在一次前向计算中并行验证从而将传统的逐Token生成转变为一次计算接受多个Token有效减少大模型串行调用次数提高GPU计算资源利用率实现推理吞吐与生成效率的显著提升。然而现有推测解码方法仍面临预测质量与计算成本难以兼顾的核心挑战自回归Draft方法 能够充分建模Token之间的依赖关系预测质量较高但依赖多轮串行计算Draft开销较大。并行Draft方法 通过一次前向计算预测多个Token显著降低Draft成本但由于缺乏充分的Token依赖建模容易导致预测质量和验证接受率下降。固定候选树策略 难以根据不同Token位置的预测难度动态分配验证预算限制了计算资源利用效率与整体加速收益。如何突破“高预测质量依赖高计算成本、低计算成本牺牲预测质量”的技术困境成为进一步提升推测解码性能的关键。SpecBlock 的切入点正是把这道“准确率与成本二选一”的难题改写成通过块级迭代生成与动态树搜索的协同设计寻求预测质量与计算成本之间的更优平衡。突破性能瓶颈实现业界领先的推理加速性能针对现有推测解码技术在预测质量、Draft计算成本与端到端推理吞吐之间难以兼顾的核心挑战沐曦股份AI技术团队联合香港科技大学提出新型推测解码方法SpecBlockBlock-Iterative Speculative Decoding with Dynamic Tree Drafting在高效草稿生成、动态搜索策略及在线自适应优化等方面取得创新突破。不同于传统自回归Draft方法依赖多轮串行计算也不同于完全并行Draft方法因缺Token依赖而牺牲预测质量SpecBlock创新性地提出块级迭代生成与动态树搜索相结合的技术路线兼顾草稿生成效率与预测准确性突破现有方法的性能瓶颈。SpecBlock主要通过四项关键技术实现协同优化Block-Iterative Drafting块级迭代生成从逐Token串行预测升级为块级生成一次Forward预测多个具有依赖关系的Token位置显著降低Draft调用开销。Layer-wise Shift Prefix Broadcast依赖增强机制强化Token之间的上下文信息传递在提高并行生成效率的同时保持较高预测质量。Rank-Guided Dynamic Tree动态候选树根据预测置信度自适应分配搜索分支将有限的验证预算投入更有价值的候选路径提高计算资源利用效率。Cost-Aware Online Adaptation成本感知在线优化根据模型验证反馈与实际吞吐收益动态选择模型更新策略进一步提升复杂场景下的持续推理效率。多模型、多任务实验结果表明SpecBlock展现出领先的推理性能。在沐曦C500通用GPU上的实测结果相较于EAGLE-3SpecBlock在Llama-3.1-8B和Qwen3-8B模型上的平均推理吞吐分别提升16.4%和14.4%Draft阶段耗时分别降低50.9%和38.4%。上述结果证明该方法不仅具备学术创新价值也具备明确的工程落地价值。基于沐曦通用GPU跑通全流程复现前沿AI技术的突破不仅在于算法创新更在于支撑创新成果从研究走向实践的完整算力与软件生态。此次SpecBlock研究不仅实现了推测解码算法层面的创新突破更依托沐曦通用GPU硬件平台与MACA软件生态打通了从算法设计、模型训练到推理部署、性能验证的完整技术链路形成覆盖“算法研发 → 模型训练 → 系统优化 → 推理部署 → 性能评测”的端到端研发与验证能力。在沐曦C500通用GPU平台的实测中SpecBlock展现出领先的推理加速性能相比EAGLE-3在Llama-3.1-8B和Qwen3-8B模型上的平均推理吞吐分别提升16.4%和14.4%。这一结果不仅验证了SpecBlock算法的先进性也进一步体现了沐曦通用GPU与MACA软件生态对复杂模型架构、先进推理算法及系统级性能优化的支撑能力。这项工作不只是一次算法创新更是对国产GPU与软件生态能否承载前沿AI研究的一次完整验证。从前沿算法到开源生态夯实国产AI创新底座此次SpecBlock研究是沐曦股份AI技术团队与香港科技大学深化产学研协同创新的重要成果不仅在大模型推理加速领域取得了领先的技术突破也进一步验证了国产GPU与自主软件生态支撑前沿AI研究的综合能力。通过将前沿算法研究、沐曦通用GPU与MACA软件生态深度融合SpecBlock实现了从技术创新、模型训练到推理优化的协同发展并通过代码开源推动研究成果向全球开发者社区开放促进先进推理技术的持续演进与应用落地。真正具有竞争力的AI基础设施不仅要能够高效运行先进模型更要能够支撑前沿算法的自主创新与持续突破。未来沐曦将继续深化与高校及产业伙伴的协同合作推动算法创新、系统软件与国产算力的深度融合加速前沿AI技术从科研探索走向产业实践为构建开放、高效、自主的下一代AI基础设施提供坚实支撑。论文名称SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting论文地址https://arxiv.org/pdf/2605.07243GitHub开源地址https://github.com/shiweijiezero/SpecBlock
