上海峰会开幕前我其实已经做好听一堆雷同PPT的心理准备毕竟AI芯片这两年已经被讲成算力翻倍、显存暴涨的爽文赛道。但真正在场边泡了几天之后发现风向明显变了大家不再热衷攀比峰值算力反而反复在聊存储带宽、先进封装、软件栈这些听起来没那么刺激、却是真正决定芯片好不好用的事。这篇不是峰会流水账。我打算把影响后续一年AI芯片走势的关键变化拆开捋一遍为什么存储墙变成了头号瓶颈Chiplet和先进封装怎么就从PPT走到了展台实物软件生态的分量第一次压过了硬件规格以及大模型从训练转向推理之后端侧AI芯片为什么突然变得比云端更值得盯。没去现场的人按这条线看基本能跟上接下来的所有头条。1. 算力叙事退场存储带宽成了峰会上的头号议题过去一年聊AI芯片几乎等于聊算力。但在这次峰会的论坛里越来越少见每秒多少万亿次浮点运算这种开场白取而代之的是对存储带宽、片上缓存、互联带宽的一连串追问。这不是话题倦怠而是AI芯片的设计方式正被物理规律重新校正。1.1 为什么算力数字会骗人存储墙背后的简单数学假设一颗AI芯片每秒能执行一千万亿次计算而它每计算一次都需要从显存里把权重和激活值搬进来。从HBM内存读一次数据所消耗的时间与能耗要比在计算单元里做一次乘加高出一个量级。不少架构师在现场分享时都提到同一个判断当前AI芯片里数据搬运花费的时间已经远远压过计算本身花费的时间很多芯片不是被算力卡住而是被等待数据卡住。这里有个底层的物理背景。过去几十年处理器设计的主旋律是把计算单元做得越来越快可存储器对外提供的带宽增长却明显滞后。大模型场景把这个矛盾放大了几十倍模型参数动辄百亿千亿每一次推理都要把这些参数从内存搬到计算单元。一旦搬运不过来再强的计算单元也只能空转。这也是为什么各家在峰会上介绍的HBM显存、片上SRAM、甚至存算一体的构想本质上都是同一件事——跟存储墙谈判。1.2 现场提问方式的改变从多少TOPS到每瓦带宽多少一个很直观的细节是分论坛问答环节里参会者问技术嘉宾的方式变了。以前大家会问这颗芯片算力到多少了现在更多人会追着问跑大模型时的模型利用率能到多少每瓦特提供多少有效带宽连续推理时功耗曲线会不会瞬间拉爆。这几个问题其实指向的是同一个东西峰值算力是纸面数字实际跑模型的效率才是用户感知到的真实性能。我特意统计了一下参会厂商PPT里露出的关键词频次带宽利用率功耗约束的出现频率明显超过了单纯的TFLOPs宣传。这说明行业已经从造一颗算力怪兽的目标转向让算力在真实负载里尽量不闲着的目标。对AI芯片下一步的判断第一条就该建立在这个认知上 算力不再稀缺算得过来才算数。1.3 数据搬运能耗占到五六成架构必须为流让路还有一个数字在峰会上被反复引用当前AI芯片在数据搬运上消耗的能量占总功耗的比例相当高很多场景下超过一半。这也是为什么新一代AI芯片普遍在往更靠近计算的存储结构走比如加大高带宽片上缓存、采用更激进的数据复用策略、把部分计算下沉到存储端。你可以把芯片想象成一个大厨房计算单元是灶台存储是冰箱。以前的思路是灶台越多越好现在发现厨师跑来跑去从冰箱拿食材的功夫比炒菜本身还费时间于是大家都在重新设计厨房动线。如果读到这里你只记住一件事那就是AI芯片下一步的核心指标不是算力而是数据到计算单元的流动效率。2. 先进封装和Chiplet不是概念而是已落地的物理事实峰会第三天有一场圆桌嘉宾背后几乎都放了封装结构示意图台下没人觉得突兀。三年前这个画面不太可能出现那时候大家还在争单芯片做大做强。现在Chiplet和先进封装终于从PPT走进了展台实物而且进展比多数人预想的扎实。2.1 为什么单芯片越做越大的路走到了头一套模型对显存容量和计算密度的需求增长太快理论上可以把GPU做大芯片解决。但硅片在面积变大时良率和成本会急剧恶化。一颗硕大的计算die只要上面有一两个制造缺陷整颗芯片只能报废。相比之下用多颗小芯片拼接每颗小芯片的良率都能做到很高组合起来既绕开了光罩尺寸的限制又获得了更大的计算面积和存储容量这是商业上的理性选择。更重要的是AI芯片功能的异构程度在快速上升。大算力计算单元需要搭配高带宽存储、高速互联接口、逻辑控制、电源管理这些模块如果全部塞进同一个工艺节点要么浪费、要么性能妥协。用不同工艺分别制造不同功能的chiplet再通过先进封装集成到一颗封装里是最优解。模拟类IP用成熟工艺存储用更合适的工艺计算核心用最新工艺各取所需。2.2 CoWoS和混合键合成为新的军备竞赛峰会现场被反复提到的一个词是CoWoS。它是一种把多颗die和存储堆叠在硅中介层上的封装方式几乎成了当前高端AI芯片的代名词。先进封装从后道工序变成决定系统性能的关键环节也改变了整个产业链的价值分布。以前大家觉得封装就是把芯片装进壳里现在封装本身成了性能的一部分直接决定带宽、功耗和集成度。更前沿的方向是混合键合。它把die之间的间距从几十微米压到几微米甚至更低带来更高的互连密度。有嘉宾打比方说这相当于把城市里的主干道全部换成了地铁人与人数据之间的通勤不再堵在路面。峰会上展示的测试样品已经能跑到相当高的良率虽然距离大规模量产还有一段距离但方向已经非常明确 未来的AI芯片不是造出来的而是拼出来的。2.3 电互连接近物理极限光的信号开始出现在路线图里当芯片和芯片之间的电气互连速率越爬越高功耗和距离之间的矛盾也逐渐显现。过去一年大家习惯用NVLink、InfiniBand这类高速互联来扩展集群但峰会上面向更大集群的讨论里光这个字出现的频率突然高了。硅光子和共封装光学不再只是学术报告里的未来话题多家厂商的路线图已经把它列入下一代集群方案。说到底大模型训练和推理都需要把数千颗AI芯片组合起来工作。电信号在铜线里传输时损耗随速率上升而急剧增加距离稍远就得用更大功率的信号补偿。光通信则天然适合长距离、高带宽的场景如果能直接封装到芯片附近就能在保持带宽的同时大幅降低互联功耗。这笔账在现场被反复算过算完之后大家的结论基本一致纯电互联的红利快吃完了光是一个躲不掉的方向。3. 软件栈的分量第一次超过了硬件规格如果只逛展台你很容易得出AI芯片性能爆炸的印象因为各家样卡都标着夸张的峰值算力。但如果你挤进展台后面听销售和技术人员接客就会发现另一个共同点所有硬件厂商都在被同一个问题追着跑——我的模型在你这个平台上好不好跑这个问题背后就是软件栈。3.1 硬件是骨架软件才是灵魂过去大家评价AI芯片会直接看TOPS、看功耗、看显存。但芯片最终要交给开发者用如果在上面跑一套大模型要改写大量算子、调两周半的参数那么再漂亮的硬件指标都要打折。峰会上有不止一位嘉宾把软件开发工具链和库比喻成芯片的灵魂没有它硬件只是一件昂贵又难用的摆设。这个理解其实是被市场教育出来的。有参加峰会的开发者分享了一个很真实的场景他们团队评估新芯片时第一步不是看峰值算力而是把当前的模型直接编译并让对方团队实测交付时间。如果半天之内能跑通并有性能报告才进入下一步如果连工具链都要现场打补丁再便宜也不选。这种采购逻辑正在倒逼所有芯片厂商把软件栈当作一级核心工程而不是硬件上市后的补课环节。3.2 通用编程框架的作用被重新评估ChatGPT时代给软件栈带来的一个新变量是通用编程框架的成熟。过去AI芯片厂商最喜欢讲我们兼容CUDA但现在CUDA生态本身成了所有追赶者必须翻越的一座高山。峰会上的多场讨论都指向同一个结论一门AI芯片的长期竞争力有一半要取决于它能在多大程度上让人的时间不被消耗。我注意到有两个趋势正在同时发生。一个是厂商在努力兼容主流开发框架尽量让模型无需大改就能迁移另一个是越来越多的厂商开始推出自己的编译器工具帮助开发者在特殊结构上榨出性能。但这也带来一个巨大的风险软件栈碎片化会让整个行业重演每张芯片都要学一套语法的老路。现场沟通下来多数长期开发者对碎片化非常警惕他们宁愿选一个生态最成熟的芯片也不愿意为一个暂时先进、生态空白的芯片承担风险。3.3 评估标准也变了从刷榜单到跑真实负载这次峰会上还有一个很有信息量的变化新产品宣传很少再单拎某一项榜单成绩说事了更多是提供一个能覆盖训练、推理、不同模型结构的综合性能对比并且会把功耗、显存、集群扩展都放进去。这本质上是对过去削足适履刷分乱象的一种纠偏。有大厂工程师私下跟我讲现在他们内部评估AI芯片会直接用一批真实模型的benchmark、吞吐和延迟的P99分位数再结合每瓦性能来打分。榜单很漂亮但没人在生产环境里用榜单衡量一台设备。所以软件栈的分量在此时此刻为什么这么重因为AI芯片已经进入性能过剩、体验不足的阶段。哪个平台能让开发者在最短时间内跑起来、调出性能、稳定上线哪个平台就会成为事实标准。4. 从训练卷到推理端侧AI芯片开始成为真正的第二战场过去峰会上的重头戏几乎全在云端谁家大模型训练卡更强、集群规模更大。但今年推理芯片和端侧AI芯片的展区明显比往年拥挤标题也从训练算力转向训推一体端云协同这类更务实的表述。这个转向不是概念游戏而是大模型商业化落地的必然结果。4.1 训练和推理的本质差异被重新设计的分水岭训练阶段是一次处理大批量数据模型结构固定允许高延迟所以更看重整体算力和并行能力。推理阶段则是每次来一个请求需要低延迟返回结果而且每次请求都要把整个模型权重过一遍。也就是说推理对存储带宽和单次请求延迟的敏感度远高于对峰值算力的敏感度。推理芯片因此出现了很多针对性设计更宽的内存带宽接口、更强的低精度算力支持、可变的芯片工作模式。峰会上多家芯片厂商不约而同地强调训推一体即在训练和推理场景之间快速切换。原因不复杂云端GPU既要应对训练任务又要扛住推理流量如果芯片只能训练不能高效推理或者只能推理不能训练算力资源池就没办法灵活调配。训推一体的本质是把算力商品做成算力资产调度系统。4.2 端侧的出现是因为足够小的模型开始变成现实端侧AI芯片能被重新重视背后其实还有一个小趋势模型的尺寸正在往两个方向分化。云端模型越来越大但在手机、PC、耳机、智能座舱这些场景里越来越多的应用开始使用数百亿参数以下的小模型再通过量化、剪枝、蒸馏等技术压到适合端侧推理的体积。这让端侧NPU第一次有了真正可落地的杀手级负载。端侧芯片和云端芯片的设计逻辑完全不同。端侧最大的约束是功耗和带宽不可能像云端芯片那样铺HBM和超大功耗预算必须在每瓦性能、内存占用、时延上精打细算。现场展示的一些端侧推理方案里芯片普遍采用混合精度计算、稀疏加速和专用NPU并行引擎的配合以实现在几瓦甚至几百毫瓦功耗内跑完推理任务。4.3 云和端开始分工AI芯片进入多形态时代另一个值得注意的动向是云侧和端侧不再是谁替代谁而是明确分工云侧负责大模型训练、复杂理解和长周期任务端侧负责轻量交互、隐私敏感场景和离线可用性。这种分工直接改变了对AI芯片形态的预期。以后我们可能同时需要巨型训练加速器、高性价比推理卡、大模型端侧芯片、专用传感器芯片几种形态各自迭代而不是一届峰会发布一款宇宙最强旗舰。对产业而言这其实是个好消息AI芯片的战场变宽了。以前只有少数几家能参与超大芯片竞争现在端侧、推理、汽车、家电每一个细分场景都有机会孕育出足够规模的市场也会让更多芯片公司找到适合自己的生态位。5. 给没来现场的人三点判断和几个长期跟踪信号说实话现场的很多细节无法通过文字完全还原。但回到AI芯片下一步往哪里走这个问题我可以非常明确地给出在峰会上反复得到印证的三个判断。第一个判断也是我认为最重要的 存储带宽密度和每瓦有效吞吐会取代纯算力成为未来评估AI芯片的核心标尺。下次再看到某款新芯片发布建议先别急着看TOPS数字优先问四个问题跑什么模型、功耗多少、推理延迟多少、工具链成熟吗这四个问题比一颗芯片贴了多少晶体管更能反映真实水平。第二个判断先进封装和Chiplet会吞掉更多性能空间。芯片厂商的比拼会越来越多发生在封装层面——谁家的互联密度更高、存储堆叠层数更多、散热方案更强谁就能率先推出性能翻倍的旗舰产品。硅中介层、桥接片、混合键合这些早期听起来像材料学名词的技术会逐渐成为和架构一样核心的竞争点。第三个判断软件生态是决定芯片生死的长期变量。短期靠硬件规格拿订单中期看软件栈成熟度长期拼的是开发者社区和编程框架兼容性。我会重点关注几个信号开源算子库的更新速度、第三方模型框架对新芯片的支持广度、以及开发者论坛上的实际提问数量。这些都比发布会上的参数表更诚实。峰会回来之后我自己也把评估芯片的思维模型更新了一遍。以前总觉得算力就是一切现在发现AI芯片的下一步从来不是单纯把晶体管做得更多而是把晶体管、存储、封装、软件、系统这盘棋真正串起来。谁能在能耗约束下把数据流动做到极致谁能让开发者在十分钟内跑起模型谁就能定义下一代AI芯片的形态。最后再分享一个个人观察今年峰会上最受欢迎的展台不是指标最夸张的那家而是demo演示区里排队体验真实模型推理的那家。参数是纸面的跑起来才是真的。以后追AI芯片动态少看点发布会PPT多看点真实负载下的功耗曲线方向会比别人清楚得多。
上海峰会开幕前我其实已经做好听一堆雷同PPT的心理准备毕竟AI芯片这两年已经被讲成算力翻倍、显存暴涨的爽文赛道。但真正在场边泡了几天之后发现风向明显变了大家不再热衷攀比峰值算力反而反复在聊存储带宽、先进封装、软件栈这些听起来没那么刺激、却是真正决定芯片好不好用的事。这篇不是峰会流水账。我打算把影响后续一年AI芯片走势的关键变化拆开捋一遍为什么存储墙变成了头号瓶颈Chiplet和先进封装怎么就从PPT走到了展台实物软件生态的分量第一次压过了硬件规格以及大模型从训练转向推理之后端侧AI芯片为什么突然变得比云端更值得盯。没去现场的人按这条线看基本能跟上接下来的所有头条。1. 算力叙事退场存储带宽成了峰会上的头号议题过去一年聊AI芯片几乎等于聊算力。但在这次峰会的论坛里越来越少见每秒多少万亿次浮点运算这种开场白取而代之的是对存储带宽、片上缓存、互联带宽的一连串追问。这不是话题倦怠而是AI芯片的设计方式正被物理规律重新校正。1.1 为什么算力数字会骗人存储墙背后的简单数学假设一颗AI芯片每秒能执行一千万亿次计算而它每计算一次都需要从显存里把权重和激活值搬进来。从HBM内存读一次数据所消耗的时间与能耗要比在计算单元里做一次乘加高出一个量级。不少架构师在现场分享时都提到同一个判断当前AI芯片里数据搬运花费的时间已经远远压过计算本身花费的时间很多芯片不是被算力卡住而是被等待数据卡住。这里有个底层的物理背景。过去几十年处理器设计的主旋律是把计算单元做得越来越快可存储器对外提供的带宽增长却明显滞后。大模型场景把这个矛盾放大了几十倍模型参数动辄百亿千亿每一次推理都要把这些参数从内存搬到计算单元。一旦搬运不过来再强的计算单元也只能空转。这也是为什么各家在峰会上介绍的HBM显存、片上SRAM、甚至存算一体的构想本质上都是同一件事——跟存储墙谈判。1.2 现场提问方式的改变从多少TOPS到每瓦带宽多少一个很直观的细节是分论坛问答环节里参会者问技术嘉宾的方式变了。以前大家会问这颗芯片算力到多少了现在更多人会追着问跑大模型时的模型利用率能到多少每瓦特提供多少有效带宽连续推理时功耗曲线会不会瞬间拉爆。这几个问题其实指向的是同一个东西峰值算力是纸面数字实际跑模型的效率才是用户感知到的真实性能。我特意统计了一下参会厂商PPT里露出的关键词频次带宽利用率功耗约束的出现频率明显超过了单纯的TFLOPs宣传。这说明行业已经从造一颗算力怪兽的目标转向让算力在真实负载里尽量不闲着的目标。对AI芯片下一步的判断第一条就该建立在这个认知上 算力不再稀缺算得过来才算数。1.3 数据搬运能耗占到五六成架构必须为流让路还有一个数字在峰会上被反复引用当前AI芯片在数据搬运上消耗的能量占总功耗的比例相当高很多场景下超过一半。这也是为什么新一代AI芯片普遍在往更靠近计算的存储结构走比如加大高带宽片上缓存、采用更激进的数据复用策略、把部分计算下沉到存储端。你可以把芯片想象成一个大厨房计算单元是灶台存储是冰箱。以前的思路是灶台越多越好现在发现厨师跑来跑去从冰箱拿食材的功夫比炒菜本身还费时间于是大家都在重新设计厨房动线。如果读到这里你只记住一件事那就是AI芯片下一步的核心指标不是算力而是数据到计算单元的流动效率。2. 先进封装和Chiplet不是概念而是已落地的物理事实峰会第三天有一场圆桌嘉宾背后几乎都放了封装结构示意图台下没人觉得突兀。三年前这个画面不太可能出现那时候大家还在争单芯片做大做强。现在Chiplet和先进封装终于从PPT走进了展台实物而且进展比多数人预想的扎实。2.1 为什么单芯片越做越大的路走到了头一套模型对显存容量和计算密度的需求增长太快理论上可以把GPU做大芯片解决。但硅片在面积变大时良率和成本会急剧恶化。一颗硕大的计算die只要上面有一两个制造缺陷整颗芯片只能报废。相比之下用多颗小芯片拼接每颗小芯片的良率都能做到很高组合起来既绕开了光罩尺寸的限制又获得了更大的计算面积和存储容量这是商业上的理性选择。更重要的是AI芯片功能的异构程度在快速上升。大算力计算单元需要搭配高带宽存储、高速互联接口、逻辑控制、电源管理这些模块如果全部塞进同一个工艺节点要么浪费、要么性能妥协。用不同工艺分别制造不同功能的chiplet再通过先进封装集成到一颗封装里是最优解。模拟类IP用成熟工艺存储用更合适的工艺计算核心用最新工艺各取所需。2.2 CoWoS和混合键合成为新的军备竞赛峰会现场被反复提到的一个词是CoWoS。它是一种把多颗die和存储堆叠在硅中介层上的封装方式几乎成了当前高端AI芯片的代名词。先进封装从后道工序变成决定系统性能的关键环节也改变了整个产业链的价值分布。以前大家觉得封装就是把芯片装进壳里现在封装本身成了性能的一部分直接决定带宽、功耗和集成度。更前沿的方向是混合键合。它把die之间的间距从几十微米压到几微米甚至更低带来更高的互连密度。有嘉宾打比方说这相当于把城市里的主干道全部换成了地铁人与人数据之间的通勤不再堵在路面。峰会上展示的测试样品已经能跑到相当高的良率虽然距离大规模量产还有一段距离但方向已经非常明确 未来的AI芯片不是造出来的而是拼出来的。2.3 电互连接近物理极限光的信号开始出现在路线图里当芯片和芯片之间的电气互连速率越爬越高功耗和距离之间的矛盾也逐渐显现。过去一年大家习惯用NVLink、InfiniBand这类高速互联来扩展集群但峰会上面向更大集群的讨论里光这个字出现的频率突然高了。硅光子和共封装光学不再只是学术报告里的未来话题多家厂商的路线图已经把它列入下一代集群方案。说到底大模型训练和推理都需要把数千颗AI芯片组合起来工作。电信号在铜线里传输时损耗随速率上升而急剧增加距离稍远就得用更大功率的信号补偿。光通信则天然适合长距离、高带宽的场景如果能直接封装到芯片附近就能在保持带宽的同时大幅降低互联功耗。这笔账在现场被反复算过算完之后大家的结论基本一致纯电互联的红利快吃完了光是一个躲不掉的方向。3. 软件栈的分量第一次超过了硬件规格如果只逛展台你很容易得出AI芯片性能爆炸的印象因为各家样卡都标着夸张的峰值算力。但如果你挤进展台后面听销售和技术人员接客就会发现另一个共同点所有硬件厂商都在被同一个问题追着跑——我的模型在你这个平台上好不好跑这个问题背后就是软件栈。3.1 硬件是骨架软件才是灵魂过去大家评价AI芯片会直接看TOPS、看功耗、看显存。但芯片最终要交给开发者用如果在上面跑一套大模型要改写大量算子、调两周半的参数那么再漂亮的硬件指标都要打折。峰会上有不止一位嘉宾把软件开发工具链和库比喻成芯片的灵魂没有它硬件只是一件昂贵又难用的摆设。这个理解其实是被市场教育出来的。有参加峰会的开发者分享了一个很真实的场景他们团队评估新芯片时第一步不是看峰值算力而是把当前的模型直接编译并让对方团队实测交付时间。如果半天之内能跑通并有性能报告才进入下一步如果连工具链都要现场打补丁再便宜也不选。这种采购逻辑正在倒逼所有芯片厂商把软件栈当作一级核心工程而不是硬件上市后的补课环节。3.2 通用编程框架的作用被重新评估ChatGPT时代给软件栈带来的一个新变量是通用编程框架的成熟。过去AI芯片厂商最喜欢讲我们兼容CUDA但现在CUDA生态本身成了所有追赶者必须翻越的一座高山。峰会上的多场讨论都指向同一个结论一门AI芯片的长期竞争力有一半要取决于它能在多大程度上让人的时间不被消耗。我注意到有两个趋势正在同时发生。一个是厂商在努力兼容主流开发框架尽量让模型无需大改就能迁移另一个是越来越多的厂商开始推出自己的编译器工具帮助开发者在特殊结构上榨出性能。但这也带来一个巨大的风险软件栈碎片化会让整个行业重演每张芯片都要学一套语法的老路。现场沟通下来多数长期开发者对碎片化非常警惕他们宁愿选一个生态最成熟的芯片也不愿意为一个暂时先进、生态空白的芯片承担风险。3.3 评估标准也变了从刷榜单到跑真实负载这次峰会上还有一个很有信息量的变化新产品宣传很少再单拎某一项榜单成绩说事了更多是提供一个能覆盖训练、推理、不同模型结构的综合性能对比并且会把功耗、显存、集群扩展都放进去。这本质上是对过去削足适履刷分乱象的一种纠偏。有大厂工程师私下跟我讲现在他们内部评估AI芯片会直接用一批真实模型的benchmark、吞吐和延迟的P99分位数再结合每瓦性能来打分。榜单很漂亮但没人在生产环境里用榜单衡量一台设备。所以软件栈的分量在此时此刻为什么这么重因为AI芯片已经进入性能过剩、体验不足的阶段。哪个平台能让开发者在最短时间内跑起来、调出性能、稳定上线哪个平台就会成为事实标准。4. 从训练卷到推理端侧AI芯片开始成为真正的第二战场过去峰会上的重头戏几乎全在云端谁家大模型训练卡更强、集群规模更大。但今年推理芯片和端侧AI芯片的展区明显比往年拥挤标题也从训练算力转向训推一体端云协同这类更务实的表述。这个转向不是概念游戏而是大模型商业化落地的必然结果。4.1 训练和推理的本质差异被重新设计的分水岭训练阶段是一次处理大批量数据模型结构固定允许高延迟所以更看重整体算力和并行能力。推理阶段则是每次来一个请求需要低延迟返回结果而且每次请求都要把整个模型权重过一遍。也就是说推理对存储带宽和单次请求延迟的敏感度远高于对峰值算力的敏感度。推理芯片因此出现了很多针对性设计更宽的内存带宽接口、更强的低精度算力支持、可变的芯片工作模式。峰会上多家芯片厂商不约而同地强调训推一体即在训练和推理场景之间快速切换。原因不复杂云端GPU既要应对训练任务又要扛住推理流量如果芯片只能训练不能高效推理或者只能推理不能训练算力资源池就没办法灵活调配。训推一体的本质是把算力商品做成算力资产调度系统。4.2 端侧的出现是因为足够小的模型开始变成现实端侧AI芯片能被重新重视背后其实还有一个小趋势模型的尺寸正在往两个方向分化。云端模型越来越大但在手机、PC、耳机、智能座舱这些场景里越来越多的应用开始使用数百亿参数以下的小模型再通过量化、剪枝、蒸馏等技术压到适合端侧推理的体积。这让端侧NPU第一次有了真正可落地的杀手级负载。端侧芯片和云端芯片的设计逻辑完全不同。端侧最大的约束是功耗和带宽不可能像云端芯片那样铺HBM和超大功耗预算必须在每瓦性能、内存占用、时延上精打细算。现场展示的一些端侧推理方案里芯片普遍采用混合精度计算、稀疏加速和专用NPU并行引擎的配合以实现在几瓦甚至几百毫瓦功耗内跑完推理任务。4.3 云和端开始分工AI芯片进入多形态时代另一个值得注意的动向是云侧和端侧不再是谁替代谁而是明确分工云侧负责大模型训练、复杂理解和长周期任务端侧负责轻量交互、隐私敏感场景和离线可用性。这种分工直接改变了对AI芯片形态的预期。以后我们可能同时需要巨型训练加速器、高性价比推理卡、大模型端侧芯片、专用传感器芯片几种形态各自迭代而不是一届峰会发布一款宇宙最强旗舰。对产业而言这其实是个好消息AI芯片的战场变宽了。以前只有少数几家能参与超大芯片竞争现在端侧、推理、汽车、家电每一个细分场景都有机会孕育出足够规模的市场也会让更多芯片公司找到适合自己的生态位。5. 给没来现场的人三点判断和几个长期跟踪信号说实话现场的很多细节无法通过文字完全还原。但回到AI芯片下一步往哪里走这个问题我可以非常明确地给出在峰会上反复得到印证的三个判断。第一个判断也是我认为最重要的 存储带宽密度和每瓦有效吞吐会取代纯算力成为未来评估AI芯片的核心标尺。下次再看到某款新芯片发布建议先别急着看TOPS数字优先问四个问题跑什么模型、功耗多少、推理延迟多少、工具链成熟吗这四个问题比一颗芯片贴了多少晶体管更能反映真实水平。第二个判断先进封装和Chiplet会吞掉更多性能空间。芯片厂商的比拼会越来越多发生在封装层面——谁家的互联密度更高、存储堆叠层数更多、散热方案更强谁就能率先推出性能翻倍的旗舰产品。硅中介层、桥接片、混合键合这些早期听起来像材料学名词的技术会逐渐成为和架构一样核心的竞争点。第三个判断软件生态是决定芯片生死的长期变量。短期靠硬件规格拿订单中期看软件栈成熟度长期拼的是开发者社区和编程框架兼容性。我会重点关注几个信号开源算子库的更新速度、第三方模型框架对新芯片的支持广度、以及开发者论坛上的实际提问数量。这些都比发布会上的参数表更诚实。峰会回来之后我自己也把评估芯片的思维模型更新了一遍。以前总觉得算力就是一切现在发现AI芯片的下一步从来不是单纯把晶体管做得更多而是把晶体管、存储、封装、软件、系统这盘棋真正串起来。谁能在能耗约束下把数据流动做到极致谁能让开发者在十分钟内跑起模型谁就能定义下一代AI芯片的形态。最后再分享一个个人观察今年峰会上最受欢迎的展台不是指标最夸张的那家而是demo演示区里排队体验真实模型推理的那家。参数是纸面的跑起来才是真的。以后追AI芯片动态少看点发布会PPT多看点真实负载下的功耗曲线方向会比别人清楚得多。
