做AI基础设施这几年被问得最多的一个问题就是ASIC到底是什么它凭什么能跑AI而且跑得比CPU和GPU还快不少人误以为ASIC是某种神秘的“AI专用黑科技”或者干脆把它和挖矿、定制硬件画等号。其实ASIC这个概念一点也不玄乎它就是专用集成电路Application-Specific Integrated Circuit芯片设计的终极“专卖店”模式。这篇文章我想用做工程的视角把它拆透先讲清楚ASIC的本质再回到AI计算的底层需求解释为什么AI负载天然适合ASIC化最后落到真实部署时会遇到的编译器、算子、性能评估等问题。无论你是刚接触芯片的新人还是正在评估AI硬件选型的技术负责人这篇文章都能给你一张能直接参考的认知地图。1. 先从“专用”两个字说起ASIC到底是什么1.1 通用芯片的反面当“全能”变成劣势要理解ASIC最好的办法是先看它的对立面——通用芯片。CPU就是“全能选手”你让它跑操作系统、做数据库查询、解压缩视频、渲染网页它都能干但每一件事都算不上极致。GPU则是“偏科选手”它当年为了图形渲染设计了大量并行计算单元后来发现这种架构跑科学计算、跑神经网络也挺好于是又成了AI加速的主力。通用芯片之所以“通用”是因为它在硬件层面做了一大堆“仲裁”工作。以CPU为例一条指令从取指到执行要经过译码、乱序执行、分支预测、缓存缺失处理等多个环节。这些环节占用了大量晶体管却并不直接产生计算结果。换句话说通用芯片把一大部分功耗和面积花在了“灵活应对各种可能的指令”上而不是“把特定计算算得最快”上。ASIC的思路完全不同。它针对某一类业务把电路固定下来不做多余的分支判断不追求“什么都能跑”只追求“这件事跑得极快、极省电”。这就像一条和面生产线为了确保流水线快速运转所有设备都是按面粉的特性定制的但你不会拿它去组装手机。专用意味着在设计阶段就放弃了无关能力换来了极致的计算密度。1.2 “硬连线”到底是什么意思指令与电路的差别很多文章提到ASIC时会说它“用逻辑电路直接实现算法”这个说法对新手很不友好。我想用“菜单点菜”和“中央厨房固定套餐”的类比来解释。CPU干活的方式是告诉它“去把排骨炖了”CPU内部的微码和调度器会根据你的指令协调多个执行单元去完成这一任务。每次任务都不一样菜单随时变CPU就得有一套能应对所有菜谱的厨房——锅碗瓢盆齐全但炒菜速度未必比得上专门做糖醋排骨的中央厨房。ASIC干活的逻辑则是这条芯片在设计阶段就把“糖醋排骨”的所有流程做成了固定的流水线。要经历哪些工序、每个时钟周期数据送到哪里、乘法累加单元怎么排列、数据从哪块内存读取都是预先焊接好的电路路径。没有指令译码没有调度开销数据一进来结果就直接“流”出来。这种“硬连线”式的实现让ASIC在执行特定算法时不仅延迟低能耗也低。统计上在相同工艺和相同面积的前提下ASIC的计算能效往往比通用CPU高出一到两个数量级这就是专用化最直接的红利。提示有个容易混淆的边界——FPGA现场可编程门阵列也常被用来做AI加速但FPGA属于“硬件可重构”它是由大量可配置逻辑块组成用户通过描述电路来“配置”芯片。FPGA灵活但单位面积的计算效率比ASIC低功耗也高。如果你只做小批量、算法频繁迭代的场景FPGA更合适如果是千万级出货量、算法已稳定ASIC几乎是必然归宿。1.3 同为“专用”为什么AI ASIC长得这么不一样你可能见过各种AI芯片有叫NPU的有叫TPU的有叫ISPAI加速单元的。不同厂商的AI ASIC架构并不相同有的侧重矩阵运算有的侧重视频编解码有的侧重传感器数据处理但它们都共享同样的设计哲学为某一类算法模型定制数据通路。AI ASIC之间的差异主要体现在算力单元结构、片上存储层次、数据流方式和精度支持上。比如有的芯片选择大阵列的乘累加单元有的芯片选择稀疏化加速有的芯片干脆把几个低精度算子做成了硬核IP。更关键的是它们的指令集往往极简只保留张量运算、激活函数、数据搬运等少量指令编译器把这些高级语言翻译成这些指令的过程就是整个系统真正“适配”的过程。2. AI计算到底难在哪为什么CPU和GPU不够用2.1 AI运算的真实构成剥开神经网络看本质很多人想到AI就是“很复杂的推理”但实际上主流深度学习模型的计算负载高度规律。以卷积神经网络为例绝大部分算力消耗在卷积层和全连接层这两类层的核心操作都是矩阵乘法与累加。Transformer大模型的算力大头也是矩阵乘法只不过变成了注意力矩阵Q乘K转置、分数乘V以及前馈网络中的两个大矩阵乘法。矩阵乘法在计算机里并不神秘A矩阵的一行和B矩阵的一列对应元素相乘再求和得到一个输出值。问题是神经网络的矩阵规模非常巨大动辄上千维一层的计算可能需要几十亿次乘加操作。更麻烦的是矩阵乘法追求的是数据复用同一个权重元素要被多个输入数据反复调用同一个输入数据也会被多个权重元素复用。这种“高密度、规律性强、数据复用度高”的负载对通用CPU而言极其不利。CPU的算力单元太少虽然频率高但并行度严重不足。GPU虽然并行度高但它的设计是为了图形学里“每个像素独立计算”的模式数据复用逻辑要依赖软件去调度片上存储管理复杂功耗自然高。2.2 三重瓶颈带宽、能耗和空洞AI计算会有三个非常具体的瓶颈。第一是带宽瓶颈。矩阵乘法需要从内存中读取海量数据如果数据搬运速度跟不上计算速度芯片只能空转等待。GPU的HBM高带宽内存就是为了缓解这个瓶颈但HBM成本高、工艺复杂。第二是能耗瓶颈。通用GPU里很大一部分能耗耗在控制逻辑、缓存一致性和调度上。你真正用于乘加计算的功耗占比专业上叫“有效算力功耗比”在GPU上并不乐观。大量电能变成了芯片的“管理工作”而不是实际的矩阵计算。第三是计算空洞。神经网络中并非所有元素都有价值剪枝后的模型大量权重为零如果硬件不支持跳过零值乘以零的计算就是纯粹的浪费。通用GPU的线程模型很难高效跳过这些空洞而ASIC可以在数据通路中直接加入“稀疏检测”逻辑识别零值并跳过乘法。这三个瓶颈本质上是“通用性”带来的代价。ASIC通过定制存储层次、定长数据通路、稀疏计算支持在这三个方向上都找到了“抠效率”的空间。2.3 一个类比快递分拣中心与百货商店再用一个生活化的类比来总结这部分CPU像一间百货商店你想买任何商品它都有但每次购物都要走完“找货架—排队—结账”全流程GPU像一个服装批发市场能同时容纳大量买手效率不错但市场管理复杂、运营成本高AI ASIC则像一个专用的快递分拣中心传送带、扫描仪、分拣口全都按包裹的尺寸和目的地设计好包裹进来后每个动作都精确高效。你不需要在这里买到牙膏但包裹分拣这件事它一定是全城最快的。这个类比想说明的是AI负载已经在形态上变得非常明确清楚了——主要是张量运算、固定模式的数据复用、低精度容忍度高。既然如此用通用芯片去“解释执行”这些模式本身就是一种资源浪费。3. AI ASIC是怎么把效率“抠”出来的3.1 矩阵运算单元让乘法器“连片”而不是“排队”AI ASIC最核心的部件通常叫Matrix Unit或者张量核心。以脉动阵列Systolic Array结构为例这是一组规则排列的乘加单元MAC每个单元只负责把输入数据乘上权重并累加然后将结果传递给下一个单元。数据像波浪一样在阵列中“流动”不需要反复存取中间结果。脉动阵列的“脉动”体现在数据节奏上输入激活从左侧流入权重从上方流入部分和结果向下流动。三个方向的数据流以固定节奏推进每个MAC单元每个时钟周期都能完成一次乘加计算密度极高。这对AI芯片非常重要因为卷积和矩阵乘法的数据复用模式恰好像这种“脉冲”式的流动。这种设计思路相较于指令流处理器省去了大量“取指-译码-乱序发射”的环节电源功耗也更低。用工程的话讲单位面积算力(TOPS/mm²)会非常漂亮。3.2 存储优先级的另类排序从寄存器堆到片上SRAMAI ASIC的存储设计比计算单元还重要这在很多初学者的直觉之外。因为AI计算是数据密集型任务数据摆放不合理再快的计算单元也只能闲置等待。通常AI ASIC会设计多层存储寄存器堆紧贴计算单元存当前时钟周期要使用的数据和权重再往上是高速SRAM作为“片内暂存区”通常叫做片上内存On-chip Memory或统一缓冲区Unified Buffer存放当前层可复用的激活值和权重分块最外层才是DDR或HBM存放完整模型参数和中间特征图。控制好数据流动的策略叫数据分块Tiling。简单说就是把大矩阵拆成小方块让每个小方块在片内“自给自足”避免频繁到主存搬运。实际工程中编译器会分析层形状、存储容量、循环顺序计算出最优分块方案。这部分是AI芯片竞争力的关键同一颗芯片编译器好坏算力可以差出好几分。3.3 精度取舍高招FP16、BF16与INT8的“够用就好”AI模型对数值误差的容忍度比传统数值计算高得多。训练中梯度更新本身就包含随机性推理中最终结果是概率分布或标签微小精度损失并不会影响结果。ASIC完全可以为此选择更低位宽的计算精度。例如FP16半精度浮点表示范围比FP32小但用来做神经网络的前向推理完全够用。BF16Brain Floating Point是Google Brain提出的有和FP32相同的指数位让训练更容易收敛只是尾数位变少了。INT8就需要更精心的量化但换来的是极高的吞吐。一个MAC单元若支持INT8理论上每个时钟周期可以完成两倍于FP16的数据运算芯片的面积效率也相应翻倍。做过量化部署的人都知道从FP32切到INT8模型的精度一般下降不会超过1%。这就是ASIC可发挥的空间针对AI负载可以牺牲部分精度换取密度与功耗。GPU虽然也支持INT8、FP16但其通用调度架构限制了这种精度的极致发挥。3.4 别把“算力”和“算法”绑死ASIC为什么不怕“过时”很多人担心ASIC太固定算法一更新芯片就废了。这个担忧有其道理但有点过于夸张。AI ASIC并不是把某个网络结构“烧死”在电路里而是把AI计算中最通用、最高频的算子逻辑矩阵乘法、卷积、激活、归一化做成硬件单元。只要新模型不脱离这个算子集合芯片仍然适用。Transformer兴起后过去的CNN芯片也能用原因是注意力机制的核心还是矩阵乘法与softmax只是图形变了。真正导致芯片“跟不上时代”的往往是算子完整度不够比如缺少某种特殊归一化算子或长序列支持。好的AI ASIC应该覆盖足够的算子库并通过编译器持续更新指令映射实现“硬件固定软件进化”。4. 从芯片到跑AI部署时你真正会碰到的三座山4.1 第一座山编译器与工具链拿到一块AI ASIC你没法像用GPU一样直接写CUDA代码然后立刻运行。芯片厂商会提供一套编译器工具链常见思路是你写PyTorch或TensorFlow代码导出为ONNX或厂商自定义的IR中间表示然后编译器把它解析成数据流图做算子匹配、内存规划、循环分块和指令调度最后生成芯片能跑的二进制。这里有个很容易翻车的点深度学习框架的算子粒度很粗一个卷积通常被拆为im2col加矩阵乘法。但ASIC硬件单元对数据布局有要求比如矩阵要按列主序还是行主序内存对齐是多少字节卷积的Padding如何隐式处理。编译器如果匹配不到硬件单元就会回退到“通用指令”性能瞬间下降几个数量级。所以评估ASIC时不能只看芯片参数必须实际跑一遍经典模型并监控是否所有算子在芯片上都有“硬实现”。4.2 第二座山框架适配与定制算子即便厂商提供PyTorch适配插件实际工程中还是会遇到很多自定义算子。例如你用了某个最新的注意力变体或者自定义了RoPE位置编码编译器可能不认识这个算子。结局往往是段错误、报错或者强制切到CPU实现那个速度会让你怀疑人生。规避方案有三条。第一尽量让模型结构贴近常见算子库把自定义部分拆成多个基础算子组合。第二利用厂商提供的C自定义算子接口手写一个符合硬件数据流的高效实现。第三实在不行把热点算子留在GPU上其他部分放在ASIC上跑做成异架构混合推理。这些操作需要你对芯片的编程模型有足够理解所以选ASIC不只是选芯片也等于选了一套编程范式。4.3 第三座山读懂一张AI芯片参数表厂商给出的TOPS数值很唬人但“理论算力”和“真实吞吐”的区别就像汽车宣传的额定马力与你在通勤路上的平均时速。看懂参数表有几个必须关注的细节参数正确理解方式TOPSINT8仅为理论峰值假设所有MAC单元每个周期满载且数据供应无限实际利用率通常能到50%已经很好重计算模式高的到70%以上内存带宽决定分块策略的天花板比TOPS更能决定最终性能算子覆盖率越接近100%越不容易踩回退坑能效比TOPS/W端侧设备最优先数据中心也要重视散热成本这几个数字背后需要辨识的坑是有些芯片疯狂提升主频提高TOPS但功耗跟随飙升严重制约部署密度有些芯片为了刷高利用率的benchmark针对特定模型形状做了过度优化换其他batch size性能掉一半。真实评估只有一个办法拿你自己的模型、自己的batch size、自己的输入分辨率放到目标板卡上实测。4.4 真正把ASIC“跑起来”的三种方式实践中AI ASIC的部署方式大致有三种你可以对号入座。第一种是云端推理加速卡。某数据中心会把多张AI加速卡以PCIe或OAM形态插入服务器通过TensorRT类似的SDK加载模型执行常规推理。这种方式适合高并发、低时延、批量处理固定业务的场景比如内容审核、图片分类。第二种是端侧AI芯片。手机、摄像头、智能音箱里的小型ASIC功耗通常在几瓦以内算力从几TOPS到几十TOPS不等。它们与CPU共享内存直接处理摄像头或麦克风的数据流。因为端侧芯片不能烧太多功耗能效比和算子覆盖率会被重点考察。第三种是训练加速器或半定制训练卡。训练场景的ASIC相对少见因为它涉及反向传播、梯度同步等更复杂的流程。近年来有厂商尝试把矩阵运算和通讯压缩硬化到芯片上获得了一定成功。但训练ASIC的门槛极高工程复杂度远超推理芯片选择时要格外谨慎。5. 常见误区和避坑经验5.1 误区一ASIC只适合大厂小团队用不上这个观念一半对一半错。ASIC的研制成本确实极高光罩费、流片费动辄上千万量不够根本摊不平。但AI推理ASIC的商业模式已经变了很多云厂商把AI加速卡以服务形式开放你按API调用推理不必直接购买芯片。这种情况下即使你的业务量只有每天几万次推理你也在实际使用ASIC红利。所以关键不是“要不要买ASIC”而是“要不要用ASIC计算服务”。业务初期的正确姿势是先用云服务验证等量级达到成千上万卡时再评估自购板卡或定制芯片的性价比。5.2 误区二只看TOPS不看带宽和利用率这是最常犯的错误。我曾经看过某块宣称260 TOPS的板卡跑一个轻量级模型时帧率还不如一块只标称100 TOPS的老卡。原因就是它的内存带宽只有前者的三分之一分块策略受限计算单元大量闲置。AI芯片的最终性能基本等同于带宽、片上存储、编译器质量以及算力单元密度在特定模型上的共振结果。任何单一指标都只是必要条件不是充分条件。5.3 误区三低精度就是质量差有些开发者的第一反应是INT8量化会导致产品掉点实际上在图像分类和人脸识别任务里INT8几乎不影响最终指标。很多ASIC还支持混合精度让网络不同层自行选择INT8或FP16。你需要做的是花一天时间用校准数据集做量化对比看真实业务指标而不是空想或者以浮点时代的经验做判断。5.4 我的实测心得拿“一条龙的例子”说明性能差异为了更直观我模拟了一个真实案例。假设要在同一个机房部署50路实时视频流分析每路视频每秒25帧模型是YOLOv7-tiny输入尺寸640x640单帧推理延迟要求小于33毫秒。用一块通用GPU卡部署实测单卡能承载大概33路视频流功耗320瓦。替换为一块推理ASIC板卡标称算力约80 TOPS INT8实际操作中单卡承载了50路功耗只有85瓦。由于业务方本来就要扩展新区域最终省下了整机、散热和电费预算。这个例子并非说GPU不行而是说固定模型、固定分辨率、大批量推理时ASIC的性价比优势可以得到充分体现。如果模型每周换结构通道数不定优化ASIC的时间成本反而可能导致掉坑。5.5 避坑清单从项目启动到验收如果是第一次做AI ASIC选型我建议按这份清单逐项过用自己的模型结构导出ONNX原型先做算子覆盖率测试。自己制作校准集实测INT8量化后的业务指标不要直接相信官方默认报告。固定batch size1的时延测试真实交互场景。单独压测多路并发场景观察吞吐曲线是否平稳。长时间跑稳定性测试记录热降频行为。测试编译器升级对模型性能的恢复程度判断其版本依赖风险。照这份清单走下来基本可以规避掉90%的低级选型错误。6. 未来AI ASIC会“卷”向哪里6.1 从单芯片到集群算力不再是单点游戏单颗ASIC的算力提升总归有物理极限但大规模集群可以在系统层面解决很多问题。未来的AI ASIC不只比单卡峰值还比卡间互联和集群调度。AI模型动辄百亿参数单芯片装不下必须切分到多卡。如果卡间互联带宽不足训练或超大模型推理就会被通信拖死。值得关注的是异构封装Chiplet会成为ASIC设计的分水岭。把计算晶粒、缓存晶粒、IO晶粒分别用不同工艺制造再通过先进封装集成既能提升良率又能降低成本还能把不同功能的专用模块灵活搭配。这本质上是一种“半定制”思路是ASIC设计在制造端的新形态。6.2 从硬编码到软硬协同编译器会越来越重要过去半导体的研究重心在工艺和架构未来的竞争重心会明显转向软件。我们见过太多“硬件很强但落地不佳”的AI芯片问题都出在编译器不够聪明。一个好的AI编译器要能做算子融合、自动分块、内存复用、异步调度。很多情况下性能提升靠的不是芯片本身而是编译器对图优化的一次成功“手术”。当前开源生态里已经出现了一些紧贴硬件的编译框架它们让芯片更接近“随时适配新模型”的理想状态。也就是说ASIC的“专用”不再意味着封闭而是在专用硬件之上建立一个足够灵活的编译体系。6.3 端侧爆发与边缘场景AI走出机房聊天助手、智能座舱、工业质检、可穿戴设备都在迫切要求低时延、低功耗、高隐私的本地AI能力。这些场景对成本极其敏感“每瓦特性能和每美元性能”比绝对算力更关键。未来的AI ASIC会追求做“更小但更准”的架构比如把稀疏计算、卷积剪枝策略进一步硬化在低比特量化上做文章甚至把传感器数据处理直接融合进芯片内部。当然ASIC不是万能的。算法完全不确定、模型三天两头换结构、出货量很小的场景仍然适合GPU或FPGA。我的个人经验是一切不谈“规模与稳定性”的专用化都是耍流氓。技术选型的本质是在不确定性中寻找最大确定性而ASIC最大的价值正是在一个足够确定的场景里把性价比和能效比推到一个别人难以企及的高度。最后分享一个我在多个项目中验证过的小建议不要因为某个ASIC“纸面性能”漂亮就为所有业务做迁移先找一两个算力需求最大、模型结构最稳定的业务启动小规模试点把性能、功耗、稳定性、编译器体验全部量化记录。这个试点过程会让你知道芯片厂商的售后响应是否及时也能最真实地评估这款ASIC是否符合“你”的业务场景。芯片没有绝对的好坏只有匹配不匹配。
做AI基础设施这几年被问得最多的一个问题就是ASIC到底是什么它凭什么能跑AI而且跑得比CPU和GPU还快不少人误以为ASIC是某种神秘的“AI专用黑科技”或者干脆把它和挖矿、定制硬件画等号。其实ASIC这个概念一点也不玄乎它就是专用集成电路Application-Specific Integrated Circuit芯片设计的终极“专卖店”模式。这篇文章我想用做工程的视角把它拆透先讲清楚ASIC的本质再回到AI计算的底层需求解释为什么AI负载天然适合ASIC化最后落到真实部署时会遇到的编译器、算子、性能评估等问题。无论你是刚接触芯片的新人还是正在评估AI硬件选型的技术负责人这篇文章都能给你一张能直接参考的认知地图。1. 先从“专用”两个字说起ASIC到底是什么1.1 通用芯片的反面当“全能”变成劣势要理解ASIC最好的办法是先看它的对立面——通用芯片。CPU就是“全能选手”你让它跑操作系统、做数据库查询、解压缩视频、渲染网页它都能干但每一件事都算不上极致。GPU则是“偏科选手”它当年为了图形渲染设计了大量并行计算单元后来发现这种架构跑科学计算、跑神经网络也挺好于是又成了AI加速的主力。通用芯片之所以“通用”是因为它在硬件层面做了一大堆“仲裁”工作。以CPU为例一条指令从取指到执行要经过译码、乱序执行、分支预测、缓存缺失处理等多个环节。这些环节占用了大量晶体管却并不直接产生计算结果。换句话说通用芯片把一大部分功耗和面积花在了“灵活应对各种可能的指令”上而不是“把特定计算算得最快”上。ASIC的思路完全不同。它针对某一类业务把电路固定下来不做多余的分支判断不追求“什么都能跑”只追求“这件事跑得极快、极省电”。这就像一条和面生产线为了确保流水线快速运转所有设备都是按面粉的特性定制的但你不会拿它去组装手机。专用意味着在设计阶段就放弃了无关能力换来了极致的计算密度。1.2 “硬连线”到底是什么意思指令与电路的差别很多文章提到ASIC时会说它“用逻辑电路直接实现算法”这个说法对新手很不友好。我想用“菜单点菜”和“中央厨房固定套餐”的类比来解释。CPU干活的方式是告诉它“去把排骨炖了”CPU内部的微码和调度器会根据你的指令协调多个执行单元去完成这一任务。每次任务都不一样菜单随时变CPU就得有一套能应对所有菜谱的厨房——锅碗瓢盆齐全但炒菜速度未必比得上专门做糖醋排骨的中央厨房。ASIC干活的逻辑则是这条芯片在设计阶段就把“糖醋排骨”的所有流程做成了固定的流水线。要经历哪些工序、每个时钟周期数据送到哪里、乘法累加单元怎么排列、数据从哪块内存读取都是预先焊接好的电路路径。没有指令译码没有调度开销数据一进来结果就直接“流”出来。这种“硬连线”式的实现让ASIC在执行特定算法时不仅延迟低能耗也低。统计上在相同工艺和相同面积的前提下ASIC的计算能效往往比通用CPU高出一到两个数量级这就是专用化最直接的红利。提示有个容易混淆的边界——FPGA现场可编程门阵列也常被用来做AI加速但FPGA属于“硬件可重构”它是由大量可配置逻辑块组成用户通过描述电路来“配置”芯片。FPGA灵活但单位面积的计算效率比ASIC低功耗也高。如果你只做小批量、算法频繁迭代的场景FPGA更合适如果是千万级出货量、算法已稳定ASIC几乎是必然归宿。1.3 同为“专用”为什么AI ASIC长得这么不一样你可能见过各种AI芯片有叫NPU的有叫TPU的有叫ISPAI加速单元的。不同厂商的AI ASIC架构并不相同有的侧重矩阵运算有的侧重视频编解码有的侧重传感器数据处理但它们都共享同样的设计哲学为某一类算法模型定制数据通路。AI ASIC之间的差异主要体现在算力单元结构、片上存储层次、数据流方式和精度支持上。比如有的芯片选择大阵列的乘累加单元有的芯片选择稀疏化加速有的芯片干脆把几个低精度算子做成了硬核IP。更关键的是它们的指令集往往极简只保留张量运算、激活函数、数据搬运等少量指令编译器把这些高级语言翻译成这些指令的过程就是整个系统真正“适配”的过程。2. AI计算到底难在哪为什么CPU和GPU不够用2.1 AI运算的真实构成剥开神经网络看本质很多人想到AI就是“很复杂的推理”但实际上主流深度学习模型的计算负载高度规律。以卷积神经网络为例绝大部分算力消耗在卷积层和全连接层这两类层的核心操作都是矩阵乘法与累加。Transformer大模型的算力大头也是矩阵乘法只不过变成了注意力矩阵Q乘K转置、分数乘V以及前馈网络中的两个大矩阵乘法。矩阵乘法在计算机里并不神秘A矩阵的一行和B矩阵的一列对应元素相乘再求和得到一个输出值。问题是神经网络的矩阵规模非常巨大动辄上千维一层的计算可能需要几十亿次乘加操作。更麻烦的是矩阵乘法追求的是数据复用同一个权重元素要被多个输入数据反复调用同一个输入数据也会被多个权重元素复用。这种“高密度、规律性强、数据复用度高”的负载对通用CPU而言极其不利。CPU的算力单元太少虽然频率高但并行度严重不足。GPU虽然并行度高但它的设计是为了图形学里“每个像素独立计算”的模式数据复用逻辑要依赖软件去调度片上存储管理复杂功耗自然高。2.2 三重瓶颈带宽、能耗和空洞AI计算会有三个非常具体的瓶颈。第一是带宽瓶颈。矩阵乘法需要从内存中读取海量数据如果数据搬运速度跟不上计算速度芯片只能空转等待。GPU的HBM高带宽内存就是为了缓解这个瓶颈但HBM成本高、工艺复杂。第二是能耗瓶颈。通用GPU里很大一部分能耗耗在控制逻辑、缓存一致性和调度上。你真正用于乘加计算的功耗占比专业上叫“有效算力功耗比”在GPU上并不乐观。大量电能变成了芯片的“管理工作”而不是实际的矩阵计算。第三是计算空洞。神经网络中并非所有元素都有价值剪枝后的模型大量权重为零如果硬件不支持跳过零值乘以零的计算就是纯粹的浪费。通用GPU的线程模型很难高效跳过这些空洞而ASIC可以在数据通路中直接加入“稀疏检测”逻辑识别零值并跳过乘法。这三个瓶颈本质上是“通用性”带来的代价。ASIC通过定制存储层次、定长数据通路、稀疏计算支持在这三个方向上都找到了“抠效率”的空间。2.3 一个类比快递分拣中心与百货商店再用一个生活化的类比来总结这部分CPU像一间百货商店你想买任何商品它都有但每次购物都要走完“找货架—排队—结账”全流程GPU像一个服装批发市场能同时容纳大量买手效率不错但市场管理复杂、运营成本高AI ASIC则像一个专用的快递分拣中心传送带、扫描仪、分拣口全都按包裹的尺寸和目的地设计好包裹进来后每个动作都精确高效。你不需要在这里买到牙膏但包裹分拣这件事它一定是全城最快的。这个类比想说明的是AI负载已经在形态上变得非常明确清楚了——主要是张量运算、固定模式的数据复用、低精度容忍度高。既然如此用通用芯片去“解释执行”这些模式本身就是一种资源浪费。3. AI ASIC是怎么把效率“抠”出来的3.1 矩阵运算单元让乘法器“连片”而不是“排队”AI ASIC最核心的部件通常叫Matrix Unit或者张量核心。以脉动阵列Systolic Array结构为例这是一组规则排列的乘加单元MAC每个单元只负责把输入数据乘上权重并累加然后将结果传递给下一个单元。数据像波浪一样在阵列中“流动”不需要反复存取中间结果。脉动阵列的“脉动”体现在数据节奏上输入激活从左侧流入权重从上方流入部分和结果向下流动。三个方向的数据流以固定节奏推进每个MAC单元每个时钟周期都能完成一次乘加计算密度极高。这对AI芯片非常重要因为卷积和矩阵乘法的数据复用模式恰好像这种“脉冲”式的流动。这种设计思路相较于指令流处理器省去了大量“取指-译码-乱序发射”的环节电源功耗也更低。用工程的话讲单位面积算力(TOPS/mm²)会非常漂亮。3.2 存储优先级的另类排序从寄存器堆到片上SRAMAI ASIC的存储设计比计算单元还重要这在很多初学者的直觉之外。因为AI计算是数据密集型任务数据摆放不合理再快的计算单元也只能闲置等待。通常AI ASIC会设计多层存储寄存器堆紧贴计算单元存当前时钟周期要使用的数据和权重再往上是高速SRAM作为“片内暂存区”通常叫做片上内存On-chip Memory或统一缓冲区Unified Buffer存放当前层可复用的激活值和权重分块最外层才是DDR或HBM存放完整模型参数和中间特征图。控制好数据流动的策略叫数据分块Tiling。简单说就是把大矩阵拆成小方块让每个小方块在片内“自给自足”避免频繁到主存搬运。实际工程中编译器会分析层形状、存储容量、循环顺序计算出最优分块方案。这部分是AI芯片竞争力的关键同一颗芯片编译器好坏算力可以差出好几分。3.3 精度取舍高招FP16、BF16与INT8的“够用就好”AI模型对数值误差的容忍度比传统数值计算高得多。训练中梯度更新本身就包含随机性推理中最终结果是概率分布或标签微小精度损失并不会影响结果。ASIC完全可以为此选择更低位宽的计算精度。例如FP16半精度浮点表示范围比FP32小但用来做神经网络的前向推理完全够用。BF16Brain Floating Point是Google Brain提出的有和FP32相同的指数位让训练更容易收敛只是尾数位变少了。INT8就需要更精心的量化但换来的是极高的吞吐。一个MAC单元若支持INT8理论上每个时钟周期可以完成两倍于FP16的数据运算芯片的面积效率也相应翻倍。做过量化部署的人都知道从FP32切到INT8模型的精度一般下降不会超过1%。这就是ASIC可发挥的空间针对AI负载可以牺牲部分精度换取密度与功耗。GPU虽然也支持INT8、FP16但其通用调度架构限制了这种精度的极致发挥。3.4 别把“算力”和“算法”绑死ASIC为什么不怕“过时”很多人担心ASIC太固定算法一更新芯片就废了。这个担忧有其道理但有点过于夸张。AI ASIC并不是把某个网络结构“烧死”在电路里而是把AI计算中最通用、最高频的算子逻辑矩阵乘法、卷积、激活、归一化做成硬件单元。只要新模型不脱离这个算子集合芯片仍然适用。Transformer兴起后过去的CNN芯片也能用原因是注意力机制的核心还是矩阵乘法与softmax只是图形变了。真正导致芯片“跟不上时代”的往往是算子完整度不够比如缺少某种特殊归一化算子或长序列支持。好的AI ASIC应该覆盖足够的算子库并通过编译器持续更新指令映射实现“硬件固定软件进化”。4. 从芯片到跑AI部署时你真正会碰到的三座山4.1 第一座山编译器与工具链拿到一块AI ASIC你没法像用GPU一样直接写CUDA代码然后立刻运行。芯片厂商会提供一套编译器工具链常见思路是你写PyTorch或TensorFlow代码导出为ONNX或厂商自定义的IR中间表示然后编译器把它解析成数据流图做算子匹配、内存规划、循环分块和指令调度最后生成芯片能跑的二进制。这里有个很容易翻车的点深度学习框架的算子粒度很粗一个卷积通常被拆为im2col加矩阵乘法。但ASIC硬件单元对数据布局有要求比如矩阵要按列主序还是行主序内存对齐是多少字节卷积的Padding如何隐式处理。编译器如果匹配不到硬件单元就会回退到“通用指令”性能瞬间下降几个数量级。所以评估ASIC时不能只看芯片参数必须实际跑一遍经典模型并监控是否所有算子在芯片上都有“硬实现”。4.2 第二座山框架适配与定制算子即便厂商提供PyTorch适配插件实际工程中还是会遇到很多自定义算子。例如你用了某个最新的注意力变体或者自定义了RoPE位置编码编译器可能不认识这个算子。结局往往是段错误、报错或者强制切到CPU实现那个速度会让你怀疑人生。规避方案有三条。第一尽量让模型结构贴近常见算子库把自定义部分拆成多个基础算子组合。第二利用厂商提供的C自定义算子接口手写一个符合硬件数据流的高效实现。第三实在不行把热点算子留在GPU上其他部分放在ASIC上跑做成异架构混合推理。这些操作需要你对芯片的编程模型有足够理解所以选ASIC不只是选芯片也等于选了一套编程范式。4.3 第三座山读懂一张AI芯片参数表厂商给出的TOPS数值很唬人但“理论算力”和“真实吞吐”的区别就像汽车宣传的额定马力与你在通勤路上的平均时速。看懂参数表有几个必须关注的细节参数正确理解方式TOPSINT8仅为理论峰值假设所有MAC单元每个周期满载且数据供应无限实际利用率通常能到50%已经很好重计算模式高的到70%以上内存带宽决定分块策略的天花板比TOPS更能决定最终性能算子覆盖率越接近100%越不容易踩回退坑能效比TOPS/W端侧设备最优先数据中心也要重视散热成本这几个数字背后需要辨识的坑是有些芯片疯狂提升主频提高TOPS但功耗跟随飙升严重制约部署密度有些芯片为了刷高利用率的benchmark针对特定模型形状做了过度优化换其他batch size性能掉一半。真实评估只有一个办法拿你自己的模型、自己的batch size、自己的输入分辨率放到目标板卡上实测。4.4 真正把ASIC“跑起来”的三种方式实践中AI ASIC的部署方式大致有三种你可以对号入座。第一种是云端推理加速卡。某数据中心会把多张AI加速卡以PCIe或OAM形态插入服务器通过TensorRT类似的SDK加载模型执行常规推理。这种方式适合高并发、低时延、批量处理固定业务的场景比如内容审核、图片分类。第二种是端侧AI芯片。手机、摄像头、智能音箱里的小型ASIC功耗通常在几瓦以内算力从几TOPS到几十TOPS不等。它们与CPU共享内存直接处理摄像头或麦克风的数据流。因为端侧芯片不能烧太多功耗能效比和算子覆盖率会被重点考察。第三种是训练加速器或半定制训练卡。训练场景的ASIC相对少见因为它涉及反向传播、梯度同步等更复杂的流程。近年来有厂商尝试把矩阵运算和通讯压缩硬化到芯片上获得了一定成功。但训练ASIC的门槛极高工程复杂度远超推理芯片选择时要格外谨慎。5. 常见误区和避坑经验5.1 误区一ASIC只适合大厂小团队用不上这个观念一半对一半错。ASIC的研制成本确实极高光罩费、流片费动辄上千万量不够根本摊不平。但AI推理ASIC的商业模式已经变了很多云厂商把AI加速卡以服务形式开放你按API调用推理不必直接购买芯片。这种情况下即使你的业务量只有每天几万次推理你也在实际使用ASIC红利。所以关键不是“要不要买ASIC”而是“要不要用ASIC计算服务”。业务初期的正确姿势是先用云服务验证等量级达到成千上万卡时再评估自购板卡或定制芯片的性价比。5.2 误区二只看TOPS不看带宽和利用率这是最常犯的错误。我曾经看过某块宣称260 TOPS的板卡跑一个轻量级模型时帧率还不如一块只标称100 TOPS的老卡。原因就是它的内存带宽只有前者的三分之一分块策略受限计算单元大量闲置。AI芯片的最终性能基本等同于带宽、片上存储、编译器质量以及算力单元密度在特定模型上的共振结果。任何单一指标都只是必要条件不是充分条件。5.3 误区三低精度就是质量差有些开发者的第一反应是INT8量化会导致产品掉点实际上在图像分类和人脸识别任务里INT8几乎不影响最终指标。很多ASIC还支持混合精度让网络不同层自行选择INT8或FP16。你需要做的是花一天时间用校准数据集做量化对比看真实业务指标而不是空想或者以浮点时代的经验做判断。5.4 我的实测心得拿“一条龙的例子”说明性能差异为了更直观我模拟了一个真实案例。假设要在同一个机房部署50路实时视频流分析每路视频每秒25帧模型是YOLOv7-tiny输入尺寸640x640单帧推理延迟要求小于33毫秒。用一块通用GPU卡部署实测单卡能承载大概33路视频流功耗320瓦。替换为一块推理ASIC板卡标称算力约80 TOPS INT8实际操作中单卡承载了50路功耗只有85瓦。由于业务方本来就要扩展新区域最终省下了整机、散热和电费预算。这个例子并非说GPU不行而是说固定模型、固定分辨率、大批量推理时ASIC的性价比优势可以得到充分体现。如果模型每周换结构通道数不定优化ASIC的时间成本反而可能导致掉坑。5.5 避坑清单从项目启动到验收如果是第一次做AI ASIC选型我建议按这份清单逐项过用自己的模型结构导出ONNX原型先做算子覆盖率测试。自己制作校准集实测INT8量化后的业务指标不要直接相信官方默认报告。固定batch size1的时延测试真实交互场景。单独压测多路并发场景观察吞吐曲线是否平稳。长时间跑稳定性测试记录热降频行为。测试编译器升级对模型性能的恢复程度判断其版本依赖风险。照这份清单走下来基本可以规避掉90%的低级选型错误。6. 未来AI ASIC会“卷”向哪里6.1 从单芯片到集群算力不再是单点游戏单颗ASIC的算力提升总归有物理极限但大规模集群可以在系统层面解决很多问题。未来的AI ASIC不只比单卡峰值还比卡间互联和集群调度。AI模型动辄百亿参数单芯片装不下必须切分到多卡。如果卡间互联带宽不足训练或超大模型推理就会被通信拖死。值得关注的是异构封装Chiplet会成为ASIC设计的分水岭。把计算晶粒、缓存晶粒、IO晶粒分别用不同工艺制造再通过先进封装集成既能提升良率又能降低成本还能把不同功能的专用模块灵活搭配。这本质上是一种“半定制”思路是ASIC设计在制造端的新形态。6.2 从硬编码到软硬协同编译器会越来越重要过去半导体的研究重心在工艺和架构未来的竞争重心会明显转向软件。我们见过太多“硬件很强但落地不佳”的AI芯片问题都出在编译器不够聪明。一个好的AI编译器要能做算子融合、自动分块、内存复用、异步调度。很多情况下性能提升靠的不是芯片本身而是编译器对图优化的一次成功“手术”。当前开源生态里已经出现了一些紧贴硬件的编译框架它们让芯片更接近“随时适配新模型”的理想状态。也就是说ASIC的“专用”不再意味着封闭而是在专用硬件之上建立一个足够灵活的编译体系。6.3 端侧爆发与边缘场景AI走出机房聊天助手、智能座舱、工业质检、可穿戴设备都在迫切要求低时延、低功耗、高隐私的本地AI能力。这些场景对成本极其敏感“每瓦特性能和每美元性能”比绝对算力更关键。未来的AI ASIC会追求做“更小但更准”的架构比如把稀疏计算、卷积剪枝策略进一步硬化在低比特量化上做文章甚至把传感器数据处理直接融合进芯片内部。当然ASIC不是万能的。算法完全不确定、模型三天两头换结构、出货量很小的场景仍然适合GPU或FPGA。我的个人经验是一切不谈“规模与稳定性”的专用化都是耍流氓。技术选型的本质是在不确定性中寻找最大确定性而ASIC最大的价值正是在一个足够确定的场景里把性价比和能效比推到一个别人难以企及的高度。最后分享一个我在多个项目中验证过的小建议不要因为某个ASIC“纸面性能”漂亮就为所有业务做迁移先找一两个算力需求最大、模型结构最稳定的业务启动小规模试点把性能、功耗、稳定性、编译器体验全部量化记录。这个试点过程会让你知道芯片厂商的售后响应是否及时也能最真实地评估这款ASIC是否符合“你”的业务场景。芯片没有绝对的好坏只有匹配不匹配。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
