年初有位朋友做边缘计算设备选型一开始列了个 AI 芯片候选清单拢共 57 款觉得已经覆盖得很全面了。结果调研越做越深发现同一个厂家在不同产品线、不同代际、甚至不同封装下都会分出好几款最后这份清单硬生生整理到了 120 多种光是去重和分类就花了两周。他跑来问我你说选个设备到底该看什么我发现这个问题比想象中复杂得多——因为单纯看算力跑分根本没有意义同一种架构在不同场景下的表现可能天差地别。这篇内容就是基于那份从 57 种扩展到 120 多种的调查过程展开的。我会把这 120 多款芯片拆开揉碎讲讲它们到底有什么区别、参数表上哪些数字能信、哪些数字纯属营销话术以及真正落到你手头的项目里该怎么建立一套自己的选型框架。适合正在做方案选型、预研评估或者单纯想搞明白 AI 硬件市场为什么这么碎的工程师和技术决策者看完你至少能比 90% 的人更清楚手里的器件该看什么、不该看什么。1. 一份清单从 57 变 120AI 芯片为什么会碎成这样很多非硬件背景的工程师第一次接触 AI 芯片市场时最大的困惑不是芯片怎么选而是为什么有这么多型号。他们可能以为 AI 芯片就是 GPU、NPU 两大类结果真正把市场翻一遍才发现光是那几家头部厂商的历年在售型号、不同功耗档位、不同精度侧重、不同接口封装就能排列组合出好几十款。更别提近几年冒出来的大量 AI 加速卡、边缘 NPU、端侧 SoC 内置算力单元以及国产替代背景下涌现的几十个品牌。当时我们统计的 57 款只是有名有姓、资料齐全的起步名单后面越挖越多逐步膨胀到 120 多种这个数字本身就很能说明问题。1.1 训练、推理、边缘、端侧四个战场各有各的玩法AI 芯片碎片化的第一个原因是应用场景的分裂。训练芯片和推理芯片不在一个维度上竞争云端的推理加速卡和边缘盒子里的 NPU 也不在一个维度上竞争手机 SoC 里挂的 AI 单元更是另一套逻辑。调查到第 80 款左右的时候我们不得不按场景归属做了一次强制分类才把混乱的清单理出脉络训练类芯片追求极致算力和互联带宽通常以集群形态出现单位是卡指标是 TFLOPS、显存带宽、互联拓扑能力。云端推理芯片针对已训练好的模型做在线服务看重吞吐量、延迟、功耗比对精度支持范围要求高。边缘/工控级芯片部署在摄像头、机器人、边缘服务器上功耗、体积、接口、工作温度都是硬约束算力反而不是第一位的。端侧 SoC/NPU集成在手机、平板、智能家居、可穿戴设备中往往以总算力 TOPS作为营销卖点但实际可用性受散热、内存带宽、软件生态的严重制约。这四类芯片对好的定义完全不同。你拿一个训练卡去评估边缘场景首先功耗和尺寸就不合格拿一个端侧 NPU 去算大模型推理内存带宽先卡死你。很多初学者选型出错不是因为看不懂参数而是把不同赛道的芯片混在一起对比自然得不出有效结论。1.2 国产芯片入场带来的同质化竞争放大效应从 57 款增加到 120 多款的过程中增量最明显的并不只是国外巨头而是大量国产 AI 芯片厂商。这些厂商有些做云端训练加速有些做边缘推理有些直接内置进安防、工控、车载设备里产品命名、参数表述、软件生态各自为政。更要命的是很多国产芯片在算力标称上互相对标你出 16 TOPS 我也出 16 TOPS你标 INT8 我也标 INT8但实际跑模型的效率差异非常大。这种同质化竞争让市场上出现了大量参数接近、实际表现两极分化的产品进一步加剧了选型的困难。我当时做的那份 120 多款清单里至少有 30 款属于参数看起来差不多但软件成熟度和工具链差异巨大的类型。如果不深入社区、不看实测光靠厂商提供的白皮书做判断很容易选到一款纸面数据完美、实际用起来想骂人的芯片。1.3 碎片化的背后没有一款芯片能覆盖所有场景说到底AI 芯片越来越碎的根本原因是没有任何单一架构能够在成本、功耗、性能、生态四个维度上同时赢得所有场景。GPU 架构通用性强但功耗高适合训练ASIC 架构效率高但灵活性差适合固定模型推理NPU 架构在端侧很香但通用计算能力弱FPGA 可以灵活重配但开发和量产成本相对尴尬。市场用脚投票的结果就是每个垂类赛道都养出了一批专用芯片于是清单越拉越长。从 57 写到 120 多不是我们闲得慌而是这个领域本来就已经细碎到这个程度了。2. 参数表上那些数字暴力算力为什么是最不值钱的信息很多刚从软件转过来的人看芯片第一个动作就是比 TOPS、TFLOPS、MAC 数量。我一开始也这样但做着做着就发现纯算力指标是最容易被厂商包装、也最容易误导决策的信息。你需要理解这些数字背后藏着多少水分和前提条件才有可能不看走眼。2.1 TOPS 的三重水分精度口径、稀疏率、实际利用率TOPSTera Operations Per Second看着挺唬人但它有一个巨大的隐藏前提——计算精度和稀疏性。以某款芯片为例INT8 精度下标称 30 TOPS但如果你跑 FP16 的模型算力直接减半甚至更多如果模型没有结构化稀疏那它标称的稀疏加速倍数就完全用不上再叠加实际运行中访存瓶颈、任务调度开销、散热降频等因素真实可利用的算力往往只有标称值的 20% 到 50%。这不是哪家厂商独有的问题而是整个行业的普遍现象。所以选型时不要只看一个 TOPS 数字要问三个问题这个标称是在什么精度下测的INT8、FP16、BF16 算力差好几倍。标称是否依赖稀疏加速我的模型能不能吃到这份红利持续运行下的实际算力是多少散热和功耗墙会不会直接让跑分缩水2.2 稠密算力 vs 稀疏算力理论峰值和有效算力不是一回事稠密算力是指所有计算单元都在做有效乘加运算时的峰值稀疏算力则是在跳过零值权重或激活值后能达到的加速效果。打个比方稠密算力相当于高速公路上所有车道都跑满车时的通行量稀疏算力则是某些车道可以飞过去时的夸张结果。厂商最喜欢把稀疏算力做得特别抢眼因为很多宣传场景不需要交代模型的稀疏度需求——你拿一个全稠密的模型过去稀疏加速单位完全是闲置的。对于实际项目我建议一律以稠密 INT8 或 FP16 算力作为对标基准把稀疏算力当作加分项而不是核心参考项。这样能有效过滤掉一批营销数字。2.3 Benchmark 的猫腻跑分模型和你真实模型的差距再往下挖一层即便算力数字是诚实的不同芯片对模型结构的适应性差异也很大。有的芯片对卷积优化做得极好但对 Transformer 类的矩阵乘非常拉胯有的芯片在小模型上能跑出接近峰值的利用率换个稍大一点的模型就内存爆炸。所以厂商给出的 Benchmark 只能证明它跑那个模型很强不能证明它跑你的模型也强。我在实际调研时习惯做法是找三到五个属于自己业务类型的代表模型例如如果是做 CV 的就选 ResNet 系列、YOLO 系列和一个 Transformer 检测头如果是做 LLM 推理的就选 7B 或 13B 参数的公开模型去查这些模型在该芯片社区里的实测数据或者直接申请开发板跑一遍。这个代价比硬件买错了重新来吧要低太多。2.4 内存带宽和片上 SRAM真正容易被忽略的算力天花板很多人在参数表上只盯着 TOPS却忽略了另一个决定性指标——内存带宽和片上缓存。AI 计算可以看成数据的搬运和计算如果搬运速度跟不上计算速度再高的算力也只能空转。举个实际例子某款边缘芯片标称 20 TOPS理论算力很可观但它的内存带宽只有 25GB/s跑一个稍微复杂一点的检测网络时算子大部分时间在等数据实测帧率低得可怜。片上 SRAM 的大小决定了你能把多少权重和激活值留在最靠近计算单元的地方。SRAM 越大对内存带宽的压力越小实际利用率越高。这也是为什么现在主流 AI 芯片在迭代时都在拼命加大 SRAM 容量而不是只堆算力。选型时建议把算力/带宽和算力/SRAM 容量两个比值拉出来对比能避开很多光鲜亮丽的坑。3. 比算力更关键的三张牌生态、互联、功耗墙算力只是入场券真正拉开体验差距的是生态成熟度、互联能力和功耗约束。这三样东西在参数表上往往只是一行小字甚至不写但它们往往决定了你的项目能做到什么程度。3.1 软件生态没有工具链的芯片等于废铁做 AI 芯片选型时我第一个看的从来不是算力而是交付物里包含哪些软件组件。一次完整的部署需要编译器、推理引擎、算子库、调试工具、性能分析工具以及最重要的——社区和教程。有的芯片硬件做得很不错但官方 SDK 文档几乎等于没有算子支持要靠自己写出了问题连个问的人都找不到。这种芯片就算白送给你人力成本也足以拖垮整个项目。反观那几家生态好的主流芯片基本是开箱即用模型转换工具能直接用常见模型有现成优化样例社区里有人踩过坑并给出了解决方案。我的个人经验是生态成熟度应该占选型决策的 40% 以上权重尤其是团队规模不大、没有专职芯片移植工程师的情况下。宁可硬件性能打个折也要选一个软件链路通畅的。衡量生态成熟度有几个很现实的维度从 PyTorch/TensorFlow 模型到芯片可执行文件中间需要几步有没有一键转换官方算子库能覆盖目标模型里多少比例的算子缺失的算子自己实现的难度有多大有没有活跃的开发者社区、官方论坛或 QQ 群/微信群芯片厂商提供哪些调试和性能剖析工具能不能找到性能瓶颈3.2 互联能力单卡强不如多卡协同好训练芯片高度重视互联带宽因为集群算力取决于短板效应——一张卡再强如果数据交换带宽跟不上整个集群的扩展效率就会断崖式下降。而在推理和边缘场景互联能力同样重要多卡级联、外接 AI 加速模块、与主控芯片的 PCIe/UART/SPI 通信速率都会决定系统上限。有一类很常见的低价云端推理卡单卡性价比看起来极高但互联协议是私有化的只能单卡使用不能做多卡横向扩展。如果你前期评估只看单卡上线后突然要扩容才发现根本组不了集群这个教训我见过不止一次。选型前建议先想想项目未来两年会不会有多卡并联的需求再决定互联值多少钱。3.3 功耗墙与散热约束性能释放的前提条件芯片的典型功耗和最大功耗之间往往差着一大截。很多板卡标称 12W 典型功耗、30W 峰值功耗实际持续跑算法负载时直奔 30W 去了——如果你的设备是密闭小型盒子没有任何主动散热那 30W 就是持续降频的节奏。我们曾经测过一款表面数据非常优秀的边缘盒子标称 26 TOPS实际装入无风环境后两分钟就热降频到 10 TOPS 左右这个落差直接让部署方案的算力预算崩了。所以在立项阶段就要弄清楚设备的工作环境是什么有没有风扇结构热阻多少目标功耗上限多少这些约束条件要先于算力确立。你可以反过来用功耗预算去反推芯片需求——比如设备只有 10W 的功耗余量给 AI 模块那么再强的高功耗芯片也没有意义直接看 TDP 在 5W-8W 的档位可以快速缩小选择范围。3.4 供货稳定性与生命周期长期项目的隐形风险这一点完全来自我在整理 120 多种芯片时的新发现。很多芯片看起来不错但细查它的供货状态和历史就会发现有的型号已经处于 EOL 边缘有的只对特定行业客户定向供货有的在缺芯周期里优先供给大客户小公司根本排不上队。有个选型导师告诉我一句话我非常认同选芯片不只是选性能是选一个愿意陪你走完产品生命周期的伙伴。因此在最终决策前务必确认三件事芯片是否处于大规模量产状态是否有多家代理商渠道可以采购厂商对该产品线的支持承诺年限是多少如果这三条里有两条是模糊的哪怕参数再诱人也要慎重再慎重。4. 分场景选型框架训练、云端推理、边缘、端侧各自怎么挑前面说的都是通用维度和原理到了实际决策阶段我们需要一套因地制宜的筛选框架。下面直接按四类场景给出我认为最合理的优先级排序和关键建议你可以把它当成一份抄作业清单。4.1 训练场景互联第一生态第二单卡算力第三训练芯片的选择逻辑和很多人想的相反单卡峰值算力反而不是第一位指标。训练集群的核心瓶颈通常是互联带宽和显存容量互联带宽决定了大模型分布式训练的扩展效率。通信占比越高卡间带宽越重要。显存容量决定能装下多大的模型、多大的 batch size。显存不足就得做梯度累积或模型并行训练效率会大打折扣。生态决定你踩坑的深度。训练框架的适配程度、分布式通信库的成熟度直接影响项目团队的产出效率。选型建议如果你的团队没有专职的底层性能优化工程师优先选生态最成熟的那几家如果预算有限、想尝试新兴训练芯片一定要先做小规模集群测试重点看 8 卡以上扩展效率是否接近线性。4.2 云端推理场景延迟、吞吐、功耗三要素动态平衡云端推理芯片评估起来比训练复杂因为线上业务对延迟的敏感度、请求的并发形态、模型动态批处理的能力都会影响最终选型。这里给出一个面向在线推理服务的决策清单延迟要求SLA 是几个毫秒需不需要用低延迟模式跑延迟敏感型服务不能盲目追求吞吐需要预留算力余量应对突发流量。动态批处理能力芯片能不能在运行时自动合并请求、提升 GPU/NPU 利用率有些芯片推理引擎支持动态 batch吞吐量能翻倍。多模型共存服务通常同时部署多个模型芯片是否支持多上下文并行切换模型的时间成本高不高功耗密度机房单机柜功率预算有限一个 PCIe 槽位能插的卡的总功耗不能超标。我当时调研时特别重视一个指标——每瓦每秒处理多少个请求这个指标综合了功耗和吞吐比单纯看 TOPS 实在得多。拿这个指标去横向对比几款主流推理卡你会发现有些标称很高的芯片在真实负载下排名骤降。4.3 边缘/工控场景接口兼容、温度范围、工具链一体化边缘场景的选型往往不是选最强而是选最合适。工程约束经常成为决定性因素工作温度范围工业现场可能是 -40℃ 到 85℃消费级芯片直接出局。主控接口兼容性边缘设备的 CPU 平台五花八门有的是 ARM、有的是 x86芯片支持的 PCIe 通道数、USB 版本、MIPI 接口能不能对上比算力更重要。实时性很多工控场景对推理延迟的确定性有要求普通 Linux 调度下抖动的 NPU 执行时间可能不合格。这类项目的选型建议是先定死接口和功耗再算算力。很多边缘设备的主板框架已经定型能塞进去的 AI 模块尺寸和接口类型是固定的这时候你能选择的芯片范围其实就很小了根本不需要在 120 多款里大海捞针。4.4 端侧 SoC 内置 NPU别被营销 TOPS 忽悠看实测能跑什么手机、平板、智能摄像头、带屏音箱这类端侧设备内置的 NPU是营销水分最重的领域。厂商发布会上喊出的 30 TOPS、50 TOPS 看着吓人但实际能跑到什么程度呢我们实测过一些设备重负载模型下 NPU 持续运行十几分钟就热降频实际可用算力可能只剩 40%加上内存带宽有限大模型根本装不进片上缓存主存读写的时间反而拖垮了整体延迟。对于端侧 SoC 选型我建议不要沉迷于 TOPS 数字而是直接问三个可验证的问题这颗 NPU 能不能在我的目标模型精度下达到实时帧率官方 SDK 对这个模型的支持程度怎么样有没有现成样例实际设备上持续运行一小时性能和温度是否稳定这些问题的答案只能在真机实测中获得。做端侧项目的朋友我强烈建议买一两台目标设备先跑真实的业务模型再做最终决策。5. 从 57 到 120一份调查用到的选型过滤漏斗说完了原理和框架我来复盘一下这份 120 多款芯片的调查方法本身。如果你也想建立自己的芯片知识库或选型库下面这套过滤漏斗可以直接拿去改。5.1 第一层按场景赛道强制分类第一轮从 57 款扩展到 120 多款后最先要做的是按场景分类训练类、云端推理类、边缘类、端侧类、以及其他特殊场景自动驾驶、安防 ISP 融合等。分类的目的不是给芯片贴标签而是避免跨赛道对比。比如一个做机器人主控的工程师只需要看边缘类的 30 多款其余 90 款直接忽略即可。分类之后再去重同一颗芯片对应多个型号不同封装、不同温度等级、不同供货形态的要归并成一条记录并标注各型号的差异点这样清单就不会虚胖。5.2 第二层用硬约束过滤在每一类内部先用硬性约束做第二层过滤功耗上限超过某阈值的直接剔除温度范围工业级 vs 商业级的分野接口形式PCIe、MIPI、USB、以太网口等生命周期状态已经是 EOL 或接近 EOL 的标记为高风险这个阶段的过滤速度非常快我自己整理时原本 35 款边缘芯片在这里就被砍掉了 12 款剩下的才是需要深入评估的种子选手。5.3 第三层参数明细表横评对通过硬约束的芯片建立统一的参数明细表横评以下字段精度、算力、带宽、SRAM、内存容量、功耗、封装、软件栈、工具链成熟度、参考价格带、量产状态、典型应用案例。这个表不求一步到位但字段必须先统一。整理这 120 多款时最耗时间的一步就是这个——不同厂商的资料口径差异很大有的标峰值功耗有的标典型功耗有的用 TOPS有的用 FLOPS有的用 GOPS单位不统一就得手动换算非常容易出错。5.4 第四层社区信息交叉验证参数表只能告诉你纸面信息社区和开发者论坛上的真实反馈才是落地信息。我当时交叉验证时主要看三类内容跑分实测是否有人复现官方声称的性能、踩坑记录有没有人分享工具链 bug 和解决方案、部署案例有没有人把这款芯片用到了实际产品中。一条芯片如果只有官方新闻稿、没有社区真实讨论我会直接把它标为低可信度候选。5.5 第五层实际测试与 Demo 验证过了前四层剩下的芯片数量通常不超过 5 款。最后一步是搞到开发板或者样片跑自己业务的代表性模型记录真实帧率/延迟/功耗。这个阶段耗时最长但也是唯一能一锤定音的环节。像我自己最后筛边缘芯片时硬件测出来的真实性能和纸面参数的差距可以达到一倍以上不实测根本没法放心。6. 整理完这 120 款后我总结出的五个选型铁律第 1 条没有万能芯片只有适合当前场景的芯片。别把时间浪费在哪款芯片全球第一这种问题上先把自己的应用场景、功耗预算、接口约束、软件能力通通搞清楚答案自己会浮出来。第 2 条生态权重永远高于纸面性能。芯片的算力再猛如果编译器连基本的算子都优化不好你的模型跑起来就是比别人慢反过来生态成熟的芯片哪怕性能打个八折成熟工具链和社区资源也能帮你把综合效率拉回来。第 3 条功耗墙决定真实算力。纸面 TOPS 是实验室里测出来的你的设备里因为散热和功耗限制实际能用的算力往往要按 50% 甚至更低去估算。建议在方案设计阶段就把散热余量算进去。第 4 条内存带宽和片上缓存是隐藏瓶颈。算力与带宽不匹配的芯片跑真实模型时会出现典型的计算等待数据现象。参数表上不要只看算力把每 TOPS 对应的带宽值算出来对比一下能筛掉不少坑。第 5 条没有任何 Benchmark 比得上你自己的模型实测。厂商给的跑分数据再好都不如你把自己最典型的几个模型跑一遍来得踏实。如果时间和预算有限至少也要找到可信的社区实测数据不能只凭参数表做决策。最后再分享一条个人习惯我每整理完一轮芯片清单都会留一个更新日期字段因为 AI 芯片市场变化太快了三个月前的信息可能已经过时。这份从 57 款扩展到 120 多款的调查文档现在已经变成了我持续维护的选型数据库每次接到新项目我只需要按照场景赛道的过滤漏斗重新跑一遍就能在半天内锁定几个真正的候选芯片而不是重新从零开始大海捞针。希望这套方法论对你也有用。
年初有位朋友做边缘计算设备选型一开始列了个 AI 芯片候选清单拢共 57 款觉得已经覆盖得很全面了。结果调研越做越深发现同一个厂家在不同产品线、不同代际、甚至不同封装下都会分出好几款最后这份清单硬生生整理到了 120 多种光是去重和分类就花了两周。他跑来问我你说选个设备到底该看什么我发现这个问题比想象中复杂得多——因为单纯看算力跑分根本没有意义同一种架构在不同场景下的表现可能天差地别。这篇内容就是基于那份从 57 种扩展到 120 多种的调查过程展开的。我会把这 120 多款芯片拆开揉碎讲讲它们到底有什么区别、参数表上哪些数字能信、哪些数字纯属营销话术以及真正落到你手头的项目里该怎么建立一套自己的选型框架。适合正在做方案选型、预研评估或者单纯想搞明白 AI 硬件市场为什么这么碎的工程师和技术决策者看完你至少能比 90% 的人更清楚手里的器件该看什么、不该看什么。1. 一份清单从 57 变 120AI 芯片为什么会碎成这样很多非硬件背景的工程师第一次接触 AI 芯片市场时最大的困惑不是芯片怎么选而是为什么有这么多型号。他们可能以为 AI 芯片就是 GPU、NPU 两大类结果真正把市场翻一遍才发现光是那几家头部厂商的历年在售型号、不同功耗档位、不同精度侧重、不同接口封装就能排列组合出好几十款。更别提近几年冒出来的大量 AI 加速卡、边缘 NPU、端侧 SoC 内置算力单元以及国产替代背景下涌现的几十个品牌。当时我们统计的 57 款只是有名有姓、资料齐全的起步名单后面越挖越多逐步膨胀到 120 多种这个数字本身就很能说明问题。1.1 训练、推理、边缘、端侧四个战场各有各的玩法AI 芯片碎片化的第一个原因是应用场景的分裂。训练芯片和推理芯片不在一个维度上竞争云端的推理加速卡和边缘盒子里的 NPU 也不在一个维度上竞争手机 SoC 里挂的 AI 单元更是另一套逻辑。调查到第 80 款左右的时候我们不得不按场景归属做了一次强制分类才把混乱的清单理出脉络训练类芯片追求极致算力和互联带宽通常以集群形态出现单位是卡指标是 TFLOPS、显存带宽、互联拓扑能力。云端推理芯片针对已训练好的模型做在线服务看重吞吐量、延迟、功耗比对精度支持范围要求高。边缘/工控级芯片部署在摄像头、机器人、边缘服务器上功耗、体积、接口、工作温度都是硬约束算力反而不是第一位的。端侧 SoC/NPU集成在手机、平板、智能家居、可穿戴设备中往往以总算力 TOPS作为营销卖点但实际可用性受散热、内存带宽、软件生态的严重制约。这四类芯片对好的定义完全不同。你拿一个训练卡去评估边缘场景首先功耗和尺寸就不合格拿一个端侧 NPU 去算大模型推理内存带宽先卡死你。很多初学者选型出错不是因为看不懂参数而是把不同赛道的芯片混在一起对比自然得不出有效结论。1.2 国产芯片入场带来的同质化竞争放大效应从 57 款增加到 120 多款的过程中增量最明显的并不只是国外巨头而是大量国产 AI 芯片厂商。这些厂商有些做云端训练加速有些做边缘推理有些直接内置进安防、工控、车载设备里产品命名、参数表述、软件生态各自为政。更要命的是很多国产芯片在算力标称上互相对标你出 16 TOPS 我也出 16 TOPS你标 INT8 我也标 INT8但实际跑模型的效率差异非常大。这种同质化竞争让市场上出现了大量参数接近、实际表现两极分化的产品进一步加剧了选型的困难。我当时做的那份 120 多款清单里至少有 30 款属于参数看起来差不多但软件成熟度和工具链差异巨大的类型。如果不深入社区、不看实测光靠厂商提供的白皮书做判断很容易选到一款纸面数据完美、实际用起来想骂人的芯片。1.3 碎片化的背后没有一款芯片能覆盖所有场景说到底AI 芯片越来越碎的根本原因是没有任何单一架构能够在成本、功耗、性能、生态四个维度上同时赢得所有场景。GPU 架构通用性强但功耗高适合训练ASIC 架构效率高但灵活性差适合固定模型推理NPU 架构在端侧很香但通用计算能力弱FPGA 可以灵活重配但开发和量产成本相对尴尬。市场用脚投票的结果就是每个垂类赛道都养出了一批专用芯片于是清单越拉越长。从 57 写到 120 多不是我们闲得慌而是这个领域本来就已经细碎到这个程度了。2. 参数表上那些数字暴力算力为什么是最不值钱的信息很多刚从软件转过来的人看芯片第一个动作就是比 TOPS、TFLOPS、MAC 数量。我一开始也这样但做着做着就发现纯算力指标是最容易被厂商包装、也最容易误导决策的信息。你需要理解这些数字背后藏着多少水分和前提条件才有可能不看走眼。2.1 TOPS 的三重水分精度口径、稀疏率、实际利用率TOPSTera Operations Per Second看着挺唬人但它有一个巨大的隐藏前提——计算精度和稀疏性。以某款芯片为例INT8 精度下标称 30 TOPS但如果你跑 FP16 的模型算力直接减半甚至更多如果模型没有结构化稀疏那它标称的稀疏加速倍数就完全用不上再叠加实际运行中访存瓶颈、任务调度开销、散热降频等因素真实可利用的算力往往只有标称值的 20% 到 50%。这不是哪家厂商独有的问题而是整个行业的普遍现象。所以选型时不要只看一个 TOPS 数字要问三个问题这个标称是在什么精度下测的INT8、FP16、BF16 算力差好几倍。标称是否依赖稀疏加速我的模型能不能吃到这份红利持续运行下的实际算力是多少散热和功耗墙会不会直接让跑分缩水2.2 稠密算力 vs 稀疏算力理论峰值和有效算力不是一回事稠密算力是指所有计算单元都在做有效乘加运算时的峰值稀疏算力则是在跳过零值权重或激活值后能达到的加速效果。打个比方稠密算力相当于高速公路上所有车道都跑满车时的通行量稀疏算力则是某些车道可以飞过去时的夸张结果。厂商最喜欢把稀疏算力做得特别抢眼因为很多宣传场景不需要交代模型的稀疏度需求——你拿一个全稠密的模型过去稀疏加速单位完全是闲置的。对于实际项目我建议一律以稠密 INT8 或 FP16 算力作为对标基准把稀疏算力当作加分项而不是核心参考项。这样能有效过滤掉一批营销数字。2.3 Benchmark 的猫腻跑分模型和你真实模型的差距再往下挖一层即便算力数字是诚实的不同芯片对模型结构的适应性差异也很大。有的芯片对卷积优化做得极好但对 Transformer 类的矩阵乘非常拉胯有的芯片在小模型上能跑出接近峰值的利用率换个稍大一点的模型就内存爆炸。所以厂商给出的 Benchmark 只能证明它跑那个模型很强不能证明它跑你的模型也强。我在实际调研时习惯做法是找三到五个属于自己业务类型的代表模型例如如果是做 CV 的就选 ResNet 系列、YOLO 系列和一个 Transformer 检测头如果是做 LLM 推理的就选 7B 或 13B 参数的公开模型去查这些模型在该芯片社区里的实测数据或者直接申请开发板跑一遍。这个代价比硬件买错了重新来吧要低太多。2.4 内存带宽和片上 SRAM真正容易被忽略的算力天花板很多人在参数表上只盯着 TOPS却忽略了另一个决定性指标——内存带宽和片上缓存。AI 计算可以看成数据的搬运和计算如果搬运速度跟不上计算速度再高的算力也只能空转。举个实际例子某款边缘芯片标称 20 TOPS理论算力很可观但它的内存带宽只有 25GB/s跑一个稍微复杂一点的检测网络时算子大部分时间在等数据实测帧率低得可怜。片上 SRAM 的大小决定了你能把多少权重和激活值留在最靠近计算单元的地方。SRAM 越大对内存带宽的压力越小实际利用率越高。这也是为什么现在主流 AI 芯片在迭代时都在拼命加大 SRAM 容量而不是只堆算力。选型时建议把算力/带宽和算力/SRAM 容量两个比值拉出来对比能避开很多光鲜亮丽的坑。3. 比算力更关键的三张牌生态、互联、功耗墙算力只是入场券真正拉开体验差距的是生态成熟度、互联能力和功耗约束。这三样东西在参数表上往往只是一行小字甚至不写但它们往往决定了你的项目能做到什么程度。3.1 软件生态没有工具链的芯片等于废铁做 AI 芯片选型时我第一个看的从来不是算力而是交付物里包含哪些软件组件。一次完整的部署需要编译器、推理引擎、算子库、调试工具、性能分析工具以及最重要的——社区和教程。有的芯片硬件做得很不错但官方 SDK 文档几乎等于没有算子支持要靠自己写出了问题连个问的人都找不到。这种芯片就算白送给你人力成本也足以拖垮整个项目。反观那几家生态好的主流芯片基本是开箱即用模型转换工具能直接用常见模型有现成优化样例社区里有人踩过坑并给出了解决方案。我的个人经验是生态成熟度应该占选型决策的 40% 以上权重尤其是团队规模不大、没有专职芯片移植工程师的情况下。宁可硬件性能打个折也要选一个软件链路通畅的。衡量生态成熟度有几个很现实的维度从 PyTorch/TensorFlow 模型到芯片可执行文件中间需要几步有没有一键转换官方算子库能覆盖目标模型里多少比例的算子缺失的算子自己实现的难度有多大有没有活跃的开发者社区、官方论坛或 QQ 群/微信群芯片厂商提供哪些调试和性能剖析工具能不能找到性能瓶颈3.2 互联能力单卡强不如多卡协同好训练芯片高度重视互联带宽因为集群算力取决于短板效应——一张卡再强如果数据交换带宽跟不上整个集群的扩展效率就会断崖式下降。而在推理和边缘场景互联能力同样重要多卡级联、外接 AI 加速模块、与主控芯片的 PCIe/UART/SPI 通信速率都会决定系统上限。有一类很常见的低价云端推理卡单卡性价比看起来极高但互联协议是私有化的只能单卡使用不能做多卡横向扩展。如果你前期评估只看单卡上线后突然要扩容才发现根本组不了集群这个教训我见过不止一次。选型前建议先想想项目未来两年会不会有多卡并联的需求再决定互联值多少钱。3.3 功耗墙与散热约束性能释放的前提条件芯片的典型功耗和最大功耗之间往往差着一大截。很多板卡标称 12W 典型功耗、30W 峰值功耗实际持续跑算法负载时直奔 30W 去了——如果你的设备是密闭小型盒子没有任何主动散热那 30W 就是持续降频的节奏。我们曾经测过一款表面数据非常优秀的边缘盒子标称 26 TOPS实际装入无风环境后两分钟就热降频到 10 TOPS 左右这个落差直接让部署方案的算力预算崩了。所以在立项阶段就要弄清楚设备的工作环境是什么有没有风扇结构热阻多少目标功耗上限多少这些约束条件要先于算力确立。你可以反过来用功耗预算去反推芯片需求——比如设备只有 10W 的功耗余量给 AI 模块那么再强的高功耗芯片也没有意义直接看 TDP 在 5W-8W 的档位可以快速缩小选择范围。3.4 供货稳定性与生命周期长期项目的隐形风险这一点完全来自我在整理 120 多种芯片时的新发现。很多芯片看起来不错但细查它的供货状态和历史就会发现有的型号已经处于 EOL 边缘有的只对特定行业客户定向供货有的在缺芯周期里优先供给大客户小公司根本排不上队。有个选型导师告诉我一句话我非常认同选芯片不只是选性能是选一个愿意陪你走完产品生命周期的伙伴。因此在最终决策前务必确认三件事芯片是否处于大规模量产状态是否有多家代理商渠道可以采购厂商对该产品线的支持承诺年限是多少如果这三条里有两条是模糊的哪怕参数再诱人也要慎重再慎重。4. 分场景选型框架训练、云端推理、边缘、端侧各自怎么挑前面说的都是通用维度和原理到了实际决策阶段我们需要一套因地制宜的筛选框架。下面直接按四类场景给出我认为最合理的优先级排序和关键建议你可以把它当成一份抄作业清单。4.1 训练场景互联第一生态第二单卡算力第三训练芯片的选择逻辑和很多人想的相反单卡峰值算力反而不是第一位指标。训练集群的核心瓶颈通常是互联带宽和显存容量互联带宽决定了大模型分布式训练的扩展效率。通信占比越高卡间带宽越重要。显存容量决定能装下多大的模型、多大的 batch size。显存不足就得做梯度累积或模型并行训练效率会大打折扣。生态决定你踩坑的深度。训练框架的适配程度、分布式通信库的成熟度直接影响项目团队的产出效率。选型建议如果你的团队没有专职的底层性能优化工程师优先选生态最成熟的那几家如果预算有限、想尝试新兴训练芯片一定要先做小规模集群测试重点看 8 卡以上扩展效率是否接近线性。4.2 云端推理场景延迟、吞吐、功耗三要素动态平衡云端推理芯片评估起来比训练复杂因为线上业务对延迟的敏感度、请求的并发形态、模型动态批处理的能力都会影响最终选型。这里给出一个面向在线推理服务的决策清单延迟要求SLA 是几个毫秒需不需要用低延迟模式跑延迟敏感型服务不能盲目追求吞吐需要预留算力余量应对突发流量。动态批处理能力芯片能不能在运行时自动合并请求、提升 GPU/NPU 利用率有些芯片推理引擎支持动态 batch吞吐量能翻倍。多模型共存服务通常同时部署多个模型芯片是否支持多上下文并行切换模型的时间成本高不高功耗密度机房单机柜功率预算有限一个 PCIe 槽位能插的卡的总功耗不能超标。我当时调研时特别重视一个指标——每瓦每秒处理多少个请求这个指标综合了功耗和吞吐比单纯看 TOPS 实在得多。拿这个指标去横向对比几款主流推理卡你会发现有些标称很高的芯片在真实负载下排名骤降。4.3 边缘/工控场景接口兼容、温度范围、工具链一体化边缘场景的选型往往不是选最强而是选最合适。工程约束经常成为决定性因素工作温度范围工业现场可能是 -40℃ 到 85℃消费级芯片直接出局。主控接口兼容性边缘设备的 CPU 平台五花八门有的是 ARM、有的是 x86芯片支持的 PCIe 通道数、USB 版本、MIPI 接口能不能对上比算力更重要。实时性很多工控场景对推理延迟的确定性有要求普通 Linux 调度下抖动的 NPU 执行时间可能不合格。这类项目的选型建议是先定死接口和功耗再算算力。很多边缘设备的主板框架已经定型能塞进去的 AI 模块尺寸和接口类型是固定的这时候你能选择的芯片范围其实就很小了根本不需要在 120 多款里大海捞针。4.4 端侧 SoC 内置 NPU别被营销 TOPS 忽悠看实测能跑什么手机、平板、智能摄像头、带屏音箱这类端侧设备内置的 NPU是营销水分最重的领域。厂商发布会上喊出的 30 TOPS、50 TOPS 看着吓人但实际能跑到什么程度呢我们实测过一些设备重负载模型下 NPU 持续运行十几分钟就热降频实际可用算力可能只剩 40%加上内存带宽有限大模型根本装不进片上缓存主存读写的时间反而拖垮了整体延迟。对于端侧 SoC 选型我建议不要沉迷于 TOPS 数字而是直接问三个可验证的问题这颗 NPU 能不能在我的目标模型精度下达到实时帧率官方 SDK 对这个模型的支持程度怎么样有没有现成样例实际设备上持续运行一小时性能和温度是否稳定这些问题的答案只能在真机实测中获得。做端侧项目的朋友我强烈建议买一两台目标设备先跑真实的业务模型再做最终决策。5. 从 57 到 120一份调查用到的选型过滤漏斗说完了原理和框架我来复盘一下这份 120 多款芯片的调查方法本身。如果你也想建立自己的芯片知识库或选型库下面这套过滤漏斗可以直接拿去改。5.1 第一层按场景赛道强制分类第一轮从 57 款扩展到 120 多款后最先要做的是按场景分类训练类、云端推理类、边缘类、端侧类、以及其他特殊场景自动驾驶、安防 ISP 融合等。分类的目的不是给芯片贴标签而是避免跨赛道对比。比如一个做机器人主控的工程师只需要看边缘类的 30 多款其余 90 款直接忽略即可。分类之后再去重同一颗芯片对应多个型号不同封装、不同温度等级、不同供货形态的要归并成一条记录并标注各型号的差异点这样清单就不会虚胖。5.2 第二层用硬约束过滤在每一类内部先用硬性约束做第二层过滤功耗上限超过某阈值的直接剔除温度范围工业级 vs 商业级的分野接口形式PCIe、MIPI、USB、以太网口等生命周期状态已经是 EOL 或接近 EOL 的标记为高风险这个阶段的过滤速度非常快我自己整理时原本 35 款边缘芯片在这里就被砍掉了 12 款剩下的才是需要深入评估的种子选手。5.3 第三层参数明细表横评对通过硬约束的芯片建立统一的参数明细表横评以下字段精度、算力、带宽、SRAM、内存容量、功耗、封装、软件栈、工具链成熟度、参考价格带、量产状态、典型应用案例。这个表不求一步到位但字段必须先统一。整理这 120 多款时最耗时间的一步就是这个——不同厂商的资料口径差异很大有的标峰值功耗有的标典型功耗有的用 TOPS有的用 FLOPS有的用 GOPS单位不统一就得手动换算非常容易出错。5.4 第四层社区信息交叉验证参数表只能告诉你纸面信息社区和开发者论坛上的真实反馈才是落地信息。我当时交叉验证时主要看三类内容跑分实测是否有人复现官方声称的性能、踩坑记录有没有人分享工具链 bug 和解决方案、部署案例有没有人把这款芯片用到了实际产品中。一条芯片如果只有官方新闻稿、没有社区真实讨论我会直接把它标为低可信度候选。5.5 第五层实际测试与 Demo 验证过了前四层剩下的芯片数量通常不超过 5 款。最后一步是搞到开发板或者样片跑自己业务的代表性模型记录真实帧率/延迟/功耗。这个阶段耗时最长但也是唯一能一锤定音的环节。像我自己最后筛边缘芯片时硬件测出来的真实性能和纸面参数的差距可以达到一倍以上不实测根本没法放心。6. 整理完这 120 款后我总结出的五个选型铁律第 1 条没有万能芯片只有适合当前场景的芯片。别把时间浪费在哪款芯片全球第一这种问题上先把自己的应用场景、功耗预算、接口约束、软件能力通通搞清楚答案自己会浮出来。第 2 条生态权重永远高于纸面性能。芯片的算力再猛如果编译器连基本的算子都优化不好你的模型跑起来就是比别人慢反过来生态成熟的芯片哪怕性能打个八折成熟工具链和社区资源也能帮你把综合效率拉回来。第 3 条功耗墙决定真实算力。纸面 TOPS 是实验室里测出来的你的设备里因为散热和功耗限制实际能用的算力往往要按 50% 甚至更低去估算。建议在方案设计阶段就把散热余量算进去。第 4 条内存带宽和片上缓存是隐藏瓶颈。算力与带宽不匹配的芯片跑真实模型时会出现典型的计算等待数据现象。参数表上不要只看算力把每 TOPS 对应的带宽值算出来对比一下能筛掉不少坑。第 5 条没有任何 Benchmark 比得上你自己的模型实测。厂商给的跑分数据再好都不如你把自己最典型的几个模型跑一遍来得踏实。如果时间和预算有限至少也要找到可信的社区实测数据不能只凭参数表做决策。最后再分享一条个人习惯我每整理完一轮芯片清单都会留一个更新日期字段因为 AI 芯片市场变化太快了三个月前的信息可能已经过时。这份从 57 款扩展到 120 多款的调查文档现在已经变成了我持续维护的选型数据库每次接到新项目我只需要按照场景赛道的过滤漏斗重新跑一遍就能在半天内锁定几个真正的候选芯片而不是重新从零开始大海捞针。希望这套方法论对你也有用。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
