头图由AI生成文 | 田渝编 | 沈校10月12日晚间微软董事长兼首席执行官萨提亚·纳德拉在社交媒体上公布了微软自研芯片的最新计划。2027年微软计划大规模部署Azure Maia 300。当日微软股价当天上涨1.14%至541.15美元市值重回4万亿美元。这个计划公布后引发不小的争论。乐观者认为微软正在向英伟达发起挑战。英伟达凭借GPU和CUDA生态掌握了AI计算基础设施成为AI时代的大赢家。OpenAI训练GPT系列模型微软运行Copilot服务全球大量企业部署生成式AI背后都离不开英伟达提供的计算能力。也有人觉得外界高估了自研芯片的影响。英伟达真正强大的地方在于围绕CUDA建立的完整生态任何挑战者都需要面对长期的软件积累。同样的自研战在国内早已打响但芯片造出来只是第一步。软件生态、模型适配、编译优化、集群调度和整个计算体系的运行效率同样决定一颗芯片能否真正进入应用。过去几年AI产业最大的变化是模型能力快速提升。随着ChatGPT、Copilot等产品进入商业应用阶段行业关注点开始发生变化。训练大模型需要大量计算资源训练完成后长期消耗成本的是推理。好比训练像建造一座工厂而推理像每天运行这座工厂。当数亿用户每天调用AI助手时计算成本会持续产生。微软目前拥有Azure云服务也是OpenAI的重要合作伙伴。微软公布的数据显示Azure年度收入已经突破1000亿美元。2026财年第四季度Microsoft Cloud收入达到593亿美元同比增长27%其中Azure及其他云服务收入增长43%。在应用侧Microsoft 365 Copilot的商业用户规模持续扩大付费用户数量已经超过3000万。Copilot、GitHub Copilot、Microsoft Foundry等产品在持续增加对AI推理算力的需求。换句话说微软造Maia 300是因为Azure正在承载越来越大的AI计算压力。2023年生成式AI爆发后英伟达H100等高端AI GPU成为全球科技公司的争夺对象。H100单卡价格一度达到2.5万至3万美元需求高峰期甚至出现交付周期延长的情况。对于普通企业来说一块GPU价格昂贵。对于微软、谷歌这样的云计算巨头真正的压力来自规模。谷歌用TPU支撑搜索、广告和AI服务亚马逊用Trainium和Inferentia支撑AWS。微软的Maia系列从2023年11月发布Maia 100算起已经走到第三代今年1月发布的Maia 200投入生产后正在替Copilot等微软服务承担实际负载Maia 300则瞄准2027年的大规模部署。从Maia 100到Maia 300不到三年迭代节奏在明显加快。三家的路径看似平行投入的性质已经不同自研芯片正在从可选项变成云厂商的标配。引用萨提亚·纳德拉发帖评论区下面的一句话“现在人人都在自己造芯片。淘金热的法则是先卖铁锹再卖造铁锹的工厂。”比喻有一定道理更准确的说法是云厂商卖的是铁匠铺的产能。现在他们做的事是亲自拿起锤子。Maia 300的设计重点集中解决AI计算过程中三个越来越明显的问题。第一减少数据搬运提高芯片利用率。大型AI模型运行时需要不断在计算单元和高速内存之间交换数据。如果数据传输效率不足计算核心就会等待利用率就会下降。微软为Maia 300设计的软件定义数据流架构就是针对这个问题。简单理解就是让芯片提前规划好数据应该在哪里停留、什么时候调用减少计算单元等待数据的时间。这也是为什么微软强调“每瓦有效计算能力”而不只是强调峰值算力。微软表示相比于领先的GPU系统可提供每兆瓦40%更多的AI token处理能力。第二高带宽内存让大模型处理更长上下文。未来的AI Agent需要同时读取企业数据库、大量文档、代码仓库、历史任务记录这要求芯片拥有更强的数据读取能力。Maia 300单颗加速器拥有18TB/s峰值内存带宽热设计功耗为950W。在机架级系统中96个Maia 300加速器可以提供27.6TB HBM容量以及1.7PB/s的聚合内存带宽。第三Chiplet芯粒架构降低高端芯片制造难度。过去大型芯片通常把所有功能集中在一块芯片中Maia 300将计算、内存控制和I/O模块分离提高设计灵活性并降低制造成本。其中计算芯粒采用台积电N2P先进制程这种方式能提高制造灵活性把最先进工艺集中在关键计算部分。除了关键的三点Maia 300还通过MXFP4等低精度计算格式降低模型运行时的计算和内存需求通过高速互连和AI优化网络协议提高多芯片协同效率通过96颗加速器组成的机架级系统提高数据中心整体吞吐能力。这些设计共同指向一个目标让AI计算从单颗芯片性能竞争转向整个系统效率竞争。这一竞争在中国市场表现得更加明显。近年来国产AI芯片产业形成了多条技术路线。华为昇腾在布局通用AI计算平台2019年发布了昇腾910和昇腾310两款AI处理器。随后又围绕MindSpore框架、CANN计算架构和Atlas硬件平台建立生态使AI芯片进入云计算、工业、能源等场景。寒武纪代表了专业AI芯片企业路线。思元系列AI芯片覆盖云端训练和推理场景相比于拥有大量业务场景的互联网企业寒武纪重点解决的是芯片性能和软件生态建设问题。百度和阿里则依托自身业务推动落地。百度将昆仑芯应用于搜索、智能云等AI业务阿里推出含光800推理芯片结合阿里云服务优化AI计算。这些企业希望建立不同于英伟达CUDA体系的国产算力路线。但随着大模型应用深入一个新的问题开始出现芯片有了如何真正跑起来一颗AI芯片进入商业应用需要经过多个环节。首先是底层硬件包括芯片架构、计算能力、内存带宽等。其次是软件生态包括编译器、开发框架、算子优化、模型适配。最后是实际应用企业需要能够将现有的大模型和业务系统迁移到新的计算平台上。任何一个环节不足都可能影响芯片的实际价值。所以近年来AI Infra人工智能基础设施成为新的关注方向。所谓AI Infra解决的是让芯片、模型、数据和应用之间形成高效连接。芯片提供算力软件决定效率基础设施决定这些算力能否被真正利用。成立于2023年的无问芯穹专注AI Infra领域。10月12日无问芯穹宣布完成23亿元C轮融资累计融资达到43亿元创下我国AI Infra融资记录。它关注的问题和全球AI产业趋势高度一致让不同芯片运行不同模型提升算力利用率降低企业部署AI的成本。同样的效率问题微软的解法在于它同时拥有模型、芯片和负载。芯片设计可以直接围绕自有负载反向优化。萨提亚·纳德拉把这叫作模型与芯片之间的闭环。Azure为企业提供云计算服务同时承载OpenAI模型、微软自研模型以及Copilot系列产品。比如训练大模型需要大量通用计算资源而Copilot等产品每天产生大量推理请求对延迟、成本和能耗更加敏感。Maia 300主要针对的就是这类长期运行的AI推理任务。自研芯片能够围绕自身业务重新设计。哪些任务交给GPU哪些任务交给Maia如何分配计算资源这些都可以由微软自己决定。不过微软现在还无法完全摆脱英伟达。目前Azure仍然大量提供英伟达GPU服务CUDA生态依然是AI开发的重要基础。更现实的情况是未来数据中心会同时存在多种计算平台英伟达GPU负责通用AI计算Maia负责微软优化后的AI工作负载不同芯片根据任务需求被调度使用。至少从微软自己的部署计划来看乐观者的判断还缺少一些证据。Maia 300针对的是微软自己定义的推理负载微软官方也明确表示自研芯片不会取代第三方供应。真正的变化在于采购关系的性质英伟达最大的客户之一正在把自己变成一个有分量的竞合者。
头图由AI生成文 | 田渝编 | 沈校10月12日晚间微软董事长兼首席执行官萨提亚·纳德拉在社交媒体上公布了微软自研芯片的最新计划。2027年微软计划大规模部署Azure Maia 300。当日微软股价当天上涨1.14%至541.15美元市值重回4万亿美元。这个计划公布后引发不小的争论。乐观者认为微软正在向英伟达发起挑战。英伟达凭借GPU和CUDA生态掌握了AI计算基础设施成为AI时代的大赢家。OpenAI训练GPT系列模型微软运行Copilot服务全球大量企业部署生成式AI背后都离不开英伟达提供的计算能力。也有人觉得外界高估了自研芯片的影响。英伟达真正强大的地方在于围绕CUDA建立的完整生态任何挑战者都需要面对长期的软件积累。同样的自研战在国内早已打响但芯片造出来只是第一步。软件生态、模型适配、编译优化、集群调度和整个计算体系的运行效率同样决定一颗芯片能否真正进入应用。过去几年AI产业最大的变化是模型能力快速提升。随着ChatGPT、Copilot等产品进入商业应用阶段行业关注点开始发生变化。训练大模型需要大量计算资源训练完成后长期消耗成本的是推理。好比训练像建造一座工厂而推理像每天运行这座工厂。当数亿用户每天调用AI助手时计算成本会持续产生。微软目前拥有Azure云服务也是OpenAI的重要合作伙伴。微软公布的数据显示Azure年度收入已经突破1000亿美元。2026财年第四季度Microsoft Cloud收入达到593亿美元同比增长27%其中Azure及其他云服务收入增长43%。在应用侧Microsoft 365 Copilot的商业用户规模持续扩大付费用户数量已经超过3000万。Copilot、GitHub Copilot、Microsoft Foundry等产品在持续增加对AI推理算力的需求。换句话说微软造Maia 300是因为Azure正在承载越来越大的AI计算压力。2023年生成式AI爆发后英伟达H100等高端AI GPU成为全球科技公司的争夺对象。H100单卡价格一度达到2.5万至3万美元需求高峰期甚至出现交付周期延长的情况。对于普通企业来说一块GPU价格昂贵。对于微软、谷歌这样的云计算巨头真正的压力来自规模。谷歌用TPU支撑搜索、广告和AI服务亚马逊用Trainium和Inferentia支撑AWS。微软的Maia系列从2023年11月发布Maia 100算起已经走到第三代今年1月发布的Maia 200投入生产后正在替Copilot等微软服务承担实际负载Maia 300则瞄准2027年的大规模部署。从Maia 100到Maia 300不到三年迭代节奏在明显加快。三家的路径看似平行投入的性质已经不同自研芯片正在从可选项变成云厂商的标配。引用萨提亚·纳德拉发帖评论区下面的一句话“现在人人都在自己造芯片。淘金热的法则是先卖铁锹再卖造铁锹的工厂。”比喻有一定道理更准确的说法是云厂商卖的是铁匠铺的产能。现在他们做的事是亲自拿起锤子。Maia 300的设计重点集中解决AI计算过程中三个越来越明显的问题。第一减少数据搬运提高芯片利用率。大型AI模型运行时需要不断在计算单元和高速内存之间交换数据。如果数据传输效率不足计算核心就会等待利用率就会下降。微软为Maia 300设计的软件定义数据流架构就是针对这个问题。简单理解就是让芯片提前规划好数据应该在哪里停留、什么时候调用减少计算单元等待数据的时间。这也是为什么微软强调“每瓦有效计算能力”而不只是强调峰值算力。微软表示相比于领先的GPU系统可提供每兆瓦40%更多的AI token处理能力。第二高带宽内存让大模型处理更长上下文。未来的AI Agent需要同时读取企业数据库、大量文档、代码仓库、历史任务记录这要求芯片拥有更强的数据读取能力。Maia 300单颗加速器拥有18TB/s峰值内存带宽热设计功耗为950W。在机架级系统中96个Maia 300加速器可以提供27.6TB HBM容量以及1.7PB/s的聚合内存带宽。第三Chiplet芯粒架构降低高端芯片制造难度。过去大型芯片通常把所有功能集中在一块芯片中Maia 300将计算、内存控制和I/O模块分离提高设计灵活性并降低制造成本。其中计算芯粒采用台积电N2P先进制程这种方式能提高制造灵活性把最先进工艺集中在关键计算部分。除了关键的三点Maia 300还通过MXFP4等低精度计算格式降低模型运行时的计算和内存需求通过高速互连和AI优化网络协议提高多芯片协同效率通过96颗加速器组成的机架级系统提高数据中心整体吞吐能力。这些设计共同指向一个目标让AI计算从单颗芯片性能竞争转向整个系统效率竞争。这一竞争在中国市场表现得更加明显。近年来国产AI芯片产业形成了多条技术路线。华为昇腾在布局通用AI计算平台2019年发布了昇腾910和昇腾310两款AI处理器。随后又围绕MindSpore框架、CANN计算架构和Atlas硬件平台建立生态使AI芯片进入云计算、工业、能源等场景。寒武纪代表了专业AI芯片企业路线。思元系列AI芯片覆盖云端训练和推理场景相比于拥有大量业务场景的互联网企业寒武纪重点解决的是芯片性能和软件生态建设问题。百度和阿里则依托自身业务推动落地。百度将昆仑芯应用于搜索、智能云等AI业务阿里推出含光800推理芯片结合阿里云服务优化AI计算。这些企业希望建立不同于英伟达CUDA体系的国产算力路线。但随着大模型应用深入一个新的问题开始出现芯片有了如何真正跑起来一颗AI芯片进入商业应用需要经过多个环节。首先是底层硬件包括芯片架构、计算能力、内存带宽等。其次是软件生态包括编译器、开发框架、算子优化、模型适配。最后是实际应用企业需要能够将现有的大模型和业务系统迁移到新的计算平台上。任何一个环节不足都可能影响芯片的实际价值。所以近年来AI Infra人工智能基础设施成为新的关注方向。所谓AI Infra解决的是让芯片、模型、数据和应用之间形成高效连接。芯片提供算力软件决定效率基础设施决定这些算力能否被真正利用。成立于2023年的无问芯穹专注AI Infra领域。10月12日无问芯穹宣布完成23亿元C轮融资累计融资达到43亿元创下我国AI Infra融资记录。它关注的问题和全球AI产业趋势高度一致让不同芯片运行不同模型提升算力利用率降低企业部署AI的成本。同样的效率问题微软的解法在于它同时拥有模型、芯片和负载。芯片设计可以直接围绕自有负载反向优化。萨提亚·纳德拉把这叫作模型与芯片之间的闭环。Azure为企业提供云计算服务同时承载OpenAI模型、微软自研模型以及Copilot系列产品。比如训练大模型需要大量通用计算资源而Copilot等产品每天产生大量推理请求对延迟、成本和能耗更加敏感。Maia 300主要针对的就是这类长期运行的AI推理任务。自研芯片能够围绕自身业务重新设计。哪些任务交给GPU哪些任务交给Maia如何分配计算资源这些都可以由微软自己决定。不过微软现在还无法完全摆脱英伟达。目前Azure仍然大量提供英伟达GPU服务CUDA生态依然是AI开发的重要基础。更现实的情况是未来数据中心会同时存在多种计算平台英伟达GPU负责通用AI计算Maia负责微软优化后的AI工作负载不同芯片根据任务需求被调度使用。至少从微软自己的部署计划来看乐观者的判断还缺少一些证据。Maia 300针对的是微软自己定义的推理负载微软官方也明确表示自研芯片不会取代第三方供应。真正的变化在于采购关系的性质英伟达最大的客户之一正在把自己变成一个有分量的竞合者。
