1. 边缘端 AI 算力选型的底层逻辑1.1 为什么“从场景反推芯片”才是正确姿势做边缘 AI 项目最容易踩的坑就是先选芯片再想场景。我见过太多团队上来就说“我们要用 RK3588”或者“上 Jetson Orin”结果板子画完、BSP 调通才发现模型跑不动、功耗压不住、成本兜不住。芯片选型不是选手机不是跑分越高越好而是要在算力、功耗、成本、生态、供货周期这五个维度里找到那个刚好匹配你场景的平衡点。“从场景反推芯片”的核心思路是先把你到底要解决什么问题想清楚再倒推需要什么样的算力、什么样的接口、什么样的功耗预算最后才落到具体型号。这就像装修房子你得先想清楚住几口人、要不要书房、厨房用不用开放式再去挑瓷砖和家具而不是先买了一张两米的大餐桌结果发现餐厅根本放不下。边缘端和云端最大的区别在于约束条件完全不同。云端可以堆 GPU、堆内存、堆带宽电费贵一点无所谓散热有专业机房。边缘端不行你可能是一个巴掌大的工控盒可能是一台电池供电的巡检设备可能装在高温高湿的车间里可能要求七年不断电运行。这些约束直接决定了你能选什么芯片而不是反过来。1.2 边缘 AI 算力的四个核心约束维度我把边缘端选型的约束归纳为四个维度每个维度都会直接砍掉一批候选芯片。算力需求你要跑什么模型是 MobileNet 这种轻量级分类网络还是 YOLOv8 这种检测网络还是 Segment Anything 这种大模型模型的计算量FLOPs和参数量直接决定了你需要多少 TOPS。注意厂商标称的 TOPS 往往是 INT8 峰值算力实际有效算力可能只有标称值的 30% 到 60%这个折扣必须提前打进去。功耗预算你的设备是插电还是电池插电的话整机功耗可以放到 10W 到 30W电池供电的话可能只有 1W 到 5W。功耗不仅影响续航还影响散热设计。一个 15W 的芯片在密闭金属盒里表面温度可以轻松超过 70 度这时候你就得考虑加散热片甚至风扇而风扇又会带来灰尘和寿命问题。成本约束这里说的不只是芯片单价而是整机 BOM 成本。一颗 RK3588 可能比一颗 ESP32 贵几十倍但它能跑的东西 ESP32 根本跑不了。反过来如果你的场景只需要做关键词唤醒那用 ESP32-S3 就够了没必要上 Linux 方案。成本还要考虑内存、存储、电源管理、PCB 层数这些连带成本。生态与供货这个维度最容易被忽视但往往最致命。芯片的 SDK 是否完善社区是否活跃文档是否齐全供货周期是否稳定我见过一个项目选了某款小众 AI 芯片结果 SDK 里连个完整的 demo 都没有驱动还要自己写项目直接延期三个月。供货周期在当下环境下尤其重要消费级芯片和工业级芯片的供货策略完全不同。1.3 场景分类先给你的项目归个类在具体选型之前先给你的场景归个类。我通常把边缘 AI 场景分成四类场景类型典型应用算力需求功耗预算推荐芯片层级微控制器级关键词唤醒、简单手势识别 1 TOPS 1WESP32-S3、STM32N6轻量级 Linux人脸识别、二维码识别1-3 TOPS2-8WRK3566、T113中量级边缘多路视频分析、YOLO 检测6-16 TOPS5-20WRK3588、Jetson Orin Nano重量级边缘大模型推理、多传感器融合20-100 TOPS15-60WJetson Orin NX、地平线征程这个分类不是绝对的但能帮你快速缩小范围。比如你的场景是智能门锁上的人脸识别那基本就在轻量级 Linux 这一档RK3566 或者 T113 就够用没必要看 RK3588。如果你的场景是工厂里的多路摄像头缺陷检测那至少是中量级RK3588 或者 Orin Nano 起步。2. 主流边缘 AI 芯片深度拆解2.1 微控制器级ESP32-S3 与 STM32N6ESP32-S3 是我在微控制器级边缘 AI 里最常推荐的芯片。它带向量指令扩展能跑一些轻量级的神经网络比如关键词唤醒、简单的手势识别、异常振动检测。价格便宜生态成熟ESP-IDF 里直接有 TensorFlow Lite Micro 的支持上手门槛很低。但 ESP32-S3 的算力天花板很明显。它的向量指令是 128 位的主频 240MHz实际能跑的模型非常有限。我实测下来一个 50KB 左右的 keyword spotting 模型可以跑到实时但稍微大一点的图像分类模型就力不从心了。所以如果你的场景需要处理图像ESP32-S3 基本可以排除。STM32N6 是 ST 新出的带 NPU 的 MCU算力标称 600 GOPS比 ESP32-S3 高一个数量级。它的优势在于 ST 的生态和工业级可靠性适合那些需要 MCU 实时性又需要一定 AI 算力的场景比如电机异常检测、简单视觉引导。但它的价格比 ESP32-S3 贵不少而且 NPU 的工具链还在完善中模型部署的便利性不如 ESP32-S3。注意MCU 级 AI 芯片的“算力”和 Linux 级芯片的“算力”不是一回事。MCU 通常没有外部 DDR模型和权重都放在片内 Flash 或 SRAM 里所以模型大小受限于片内存储。选型时一定要先确认你的模型能不能塞进去。2.2 轻量级 LinuxRK3566 与全志 T113RK3566 是瑞芯微的一款中低端 SoC四核 A55带 0.8 TOPS 的 NPU。它的定位很清晰需要 Linux 系统、需要一定 AI 算力、但预算和功耗都受限的场景。比如智能售货柜的商品识别、门禁的人脸识别、工业设备的状态监测。我实测过 RK3566 跑 YOLOv5s输入 640x640INT8 量化后大概能跑到 15 到 20 FPS。这个性能对于单路视频分析是够用的但多路就不行了。它的功耗控制得不错整机可以做到 3W 到 5W不需要主动散热。价格也很有竞争力核心板大概在几十到一百多人民币这个区间。全志 T113 是另一个选择双核 A7带 0.1 TOPS 左右的 NPU严格说更像 DSP 加速。它的优势是便宜、功耗低适合那些 AI 算力需求很轻、但需要 Linux 和显示输出的场景。比如简单的二维码识别、OCR 文字提取。但它的 NPU 工具链不如瑞芯微成熟模型转换可能会遇到一些坑。2.3 中量级边缘RK3588 与 Jetson Orin NanoRK3588 是这两年的明星芯片八核四核 A76 四核 A55带 6 TOPS NPU支持 8K 视频编解码接口丰富。它几乎成了中量级边缘 AI 的默认选择。我实测跑 YOLOv8sINT8 量化640x640 输入可以跑到 30 FPS 以上。跑多路视频分析比如 4 路 1080P 的 YOLOv5s也能做到每路 15 FPS 左右。RK3588 的优势在于性价比和生态。它的 SDK 相对完善RKNN 工具链支持主流框架的模型转换社区资料也多。但它的坑也不少NPU 的算子支持不是全量的某些自定义算子需要 CPU 回退会拖慢速度内存带宽在多路视频分析时可能成为瓶颈发热量不小满载需要散热片甚至风扇。Jetson Orin Nano 是 NVIDIA 的边缘计算平台算力 20 TOPS 到 40 TOPS取决于功耗模式CUDA 生态无敌。如果你的模型里有大量自定义算子或者你需要用 TensorRT 做极致优化Orin Nano 是更好的选择。但它的价格比 RK3588 贵不少功耗也更高而且供货周期受国际形势影响较大。对比项RK3588Jetson Orin NanoNPU 算力6 TOPS20-40 TOPSCPU4xA76 4xA556x A78AE内存LPDDR4/5LPDDR5功耗5-15W7-25W价格低高生态RKNN中等CUDA/TensorRT强供货稳定波动2.4 重量级边缘Jetson Orin NX 与地平线征程Jetson Orin NX 算力 70 TOPS 到 100 TOPS可以跑更大的模型比如 ViT、BERT 甚至一些轻量级的大语言模型。它的功耗在 10W 到 25W 之间需要主动散热。适合那些需要多传感器融合、高精度检测、或者大模型推理的边缘场景。地平线征程系列是国产车规级 AI 芯片算力从几 TOPS 到上百 TOPS。它的优势在于车规认证和国产化需求适合车载和工业场景。但它的工具链和生态相对封闭开发门槛较高一般需要原厂或代理商深度支持。提示重量级边缘芯片的选型除了算力一定要关注内存带宽和视频编解码能力。很多场景瓶颈不在 NPU 算力而在数据搬运速度。3. 从场景到芯片的实操推演3.1 案例一智能门锁人脸识别场景描述电池供电的智能门锁需要人脸识别解锁要求续航半年以上成本控制在 200 元以内。先拆约束电池供电功耗预算极低整机待机功耗要控制在毫瓦级唤醒后峰值功耗也不能太高。人脸识别模型通常是轻量级的比如 MobileFaceNet算力需求在 0.5 TOPS 以下。成本 200 元以内意味着芯片单价不能超过 50 元。倒推芯片MCU 级芯片跑不动人脸识别排除。轻量级 Linux 里RK3566 功耗偏高整机很难做到电池供电半年。全志 T113 的 NPU 算力太弱跑人脸识别帧率不够。这时候要看带 NPU 的低功耗 MCU比如 STM32N6或者专用的 AI 视觉芯片。实际选型这类场景我通常会推荐带 NPU 的低功耗 MCU 或者专用视觉芯片配合红外唤醒。STM32N6 的 600 GOPS 算力跑轻量级人脸识别是够的功耗可以做到毫瓦级待机、百毫瓦级运行。但它的价格偏高可能需要权衡。另一个思路是用 ESP32-S3 做唤醒和简单识别复杂识别上传到网关但这样又引入了网络依赖。3.2 案例二工厂多路视频缺陷检测场景描述工厂产线4 路 1080P 摄像头实时检测产品表面缺陷要求 30 FPS插电供电工控机箱散热。先拆约束4 路 1080P 30 FPS每路需要跑一个检测模型。假设用 YOLOv5s单路需要 2 TOPS 左右的有效算力4 路就是 8 TOPS。插电供电功耗可以放到 30W 到 60W。工控机箱可以用主动散热。倒推芯片RK3588 的 6 TOPS 标称算力实际有效算力大概 3 TOPS 到 4 TOPS跑 4 路 YOLOv5s 会比较吃力可能需要降帧或者降分辨率。Jetson Orin Nano 的 20 TOPS 到 40 TOPS 算力跑 4 路 YOLOv5s 绰绰有余甚至可以用更大的模型。但 Orin Nano 的价格和供货是需要考虑的因素。实际选型如果成本敏感且可以接受降帧RK3588 加优化比如模型剪枝、输入分辨率降到 416可以做到 4 路 15 FPS 到 20 FPS。如果要求严格 30 FPS 且模型不能降Jetson Orin Nano 更稳妥。我实测过 Orin Nano 跑 4 路 YOLOv5sTensorRT 优化后每路可以到 40 FPS 以上还有余量。3.3 案例三农业无人机病虫害巡检场景描述无人机搭载摄像头实时识别作物病虫害电池供电整机功耗预算 10W 以内重量敏感。先拆约束电池供电功耗 10W 以内。无人机载重敏感芯片和散热方案的重量要轻。病虫害识别模型通常是分类网络算力需求在 1 TOPS 到 3 TOPS。倒推芯片RK3566 的功耗和算力比较匹配整机可以做到 5W 左右重量也轻。Jetson Orin Nano 功耗偏高重量也大不太适合。ESP32-S3 算力不够跑不动图像分类。所以 RK3566 或者类似的低功耗 SoC 是合理选择。实际选型RK3566 加轻量级分类模型输入 224x224可以做到实时识别。如果算力不够可以考虑用 RK3566 做预处理和简单识别复杂识别回传到地面站。但无人机场景通常要求实时所以本地算力要够。3.4 选型决策流程图文字版我把上面的推演过程整理成一个文字版的决策流程方便你对照自己的场景第一步确定供电方式。电池供电且功耗预算小于 2W看 MCU 级芯片电池供电但功耗预算 2W 到 10W看轻量级 Linux插电供电看中量级或重量级。第二步确定模型类型。分类网络如 MobileNet算力需求低检测网络如 YOLO算力需求中等分割网络或大模型算力需求高。第三步确定路数和帧率。单路低帧率算力需求低多路高帧率算力需求成倍增加。第四步确定成本和供货。成本敏感且供货要稳优先国产芯片生态要求高且预算充足考虑 NVIDIA 方案。第五步确认工具链和算子支持。把你的模型转一遍看目标芯片的 NPU 是否支持所有算子不支持的部分会不会成为瓶颈。4. 选型中的常见坑与排查技巧4.1 算力标称值的陷阱厂商标称的 TOPS 通常是 INT8 峰值算力是在理想条件下的理论值。实际有效算力受内存带宽、算子支持、模型结构影响可能只有标称值的 30% 到 60%。我见过一个项目芯片标称 4 TOPS结果实际跑模型只有 1 TOPS 的有效算力因为模型里的某些算子不支持 NPU 加速回退到 CPU 后成了瓶颈。排查方法在选型阶段一定要拿你的实际模型去目标芯片上跑一遍。不要只看厂商的 benchmark那些 benchmark 通常是精心优化过的。你可以找代理商或者原厂要 demo 板自己转模型、自己测。如果条件不允许至少要看芯片的算子支持列表确认你的模型里有没有不支持的算子。4.2 内存带宽的隐形瓶颈很多人在选型时只看 NPU 算力忽略了内存带宽。多路视频分析场景数据搬运量很大内存带宽不够的话NPU 算力再高也发挥不出来。比如 RK3588 的 LPDDR4 带宽是 32GB/s 左右跑 4 路 1080P 视频分析时内存带宽可能成为瓶颈。排查方法估算你的场景需要多少内存带宽。一路 1080P 30 FPS 的 RGB 视频原始数据量是 1920x1080x3x30 约 186MB/s。如果模型需要多帧输入或者多路并行带宽需求会成倍增加。选型时确认芯片的内存带宽是否足够。4.3 工具链成熟度的隐性成本芯片的 NPU 算力再高如果工具链不成熟模型转换各种报错算子不支持量化掉精度那实际落地成本会非常高。我见过一个项目选了某款小众 AI 芯片结果模型转换工具只支持 Caffe不支持 PyTorch团队不得不先把 PyTorch 模型转成 Caffe再转成芯片格式中间各种踩坑项目延期两个月。排查方法选型时优先考虑工具链成熟的芯片。瑞芯微的 RKNN、NVIDIA 的 TensorRT、地平线的工具链都是相对成熟的。如果选小众芯片一定要确认工具链是否支持你的训练框架是否有完整的模型转换 demo社区是否有成功案例。4.4 供货周期与生命周期消费级芯片和工业级芯片的供货策略完全不同。消费级芯片可能两年就停产工业级芯片通常保证五年到十年的供货。边缘 AI 项目往往要求长期稳定运行如果芯片停产重新选型、重新设计、重新认证的成本非常高。排查方法选型时确认芯片的生命周期状态。如果是量产项目优先选择工业级或车规级芯片确认原厂或代理商的供货承诺。同时关注芯片的替代方案万一停产有没有 pin-to-pin 兼容的替代品。4.5 常见问题速查表问题现象可能原因排查方向模型跑不动算力不足或算子不支持检查 NPU 算子支持列表确认有效算力帧率不达标内存带宽瓶颈或 CPU 瓶颈用 profiler 看各环节耗时精度下降严重量化损失或算子回退尝试混合量化检查回退算子发热严重功耗超预算或散热不足测实际功耗优化散热方案模型转换报错工具链不支持确认工具链版本和算子支持供货不稳定芯片生命周期问题确认供货承诺准备替代方案提示选型阶段多花一周时间做验证比量产阶段发现问题再改板子成本低得多。我个人的习惯是任何新芯片先买 demo 板把实际模型跑通测功耗、测帧率、测发热全部达标再进入硬件设计。5. 实操心得与经验总结5.1 先做减法再做加法选型最容易犯的错是“贪多”。看到一颗芯片算力高、接口多、生态好就想用它。但边缘端的核心约束是功耗和成本算力过剩意味着功耗和成本浪费。我通常的做法是先按最低需求选一颗芯片跑通场景如果性能不够再往上加。而不是一上来就选最高配然后发现功耗压不住、成本超预算。比如一个简单的 OCR 识别场景很多人上来就选 RK3588其实 RK3566 甚至 T113 就够了。省下来的功耗和成本可以用来优化其他部分。5.2 功耗估算要留余量芯片手册上的功耗通常是典型值实际运行时的峰值功耗可能高很多。比如一颗标称 5W 的芯片满载时可能冲到 10W 以上。电源设计要按峰值功耗来散热设计也要按峰值功耗来。我通常会在标称功耗基础上留 50% 到 100% 的余量。另外功耗不仅来自芯片本身还有 DDR、Flash、电源管理芯片、外设。整机功耗估算要把这些都算进去。一个常见的错误是只算 SoC 功耗结果整机功耗超标电源适配器带不动。5.3 散热设计要提前考虑边缘设备的散热条件往往很差。密闭金属盒、高温车间、户外阳光直射这些都会让芯片温度飙升。芯片温度过高会触发降频性能直接打折。我见过一个项目实验室跑得好好的装到现场后因为散热不良帧率掉了一半。散热设计要在选型阶段就考虑。如果芯片功耗超过 5W就要考虑加散热片。超过 10W可能要加风扇。风扇有寿命和灰尘问题能不用就不用。如果必须用风扇选品质好的并且设计可更换的结构。5.4 模型优化比芯片选型更重要很多人把希望寄托在芯片上觉得算力不够就换更好的芯片。但实际上模型优化往往能带来更大的收益。一个经过剪枝、量化、蒸馏的模型算力需求可能只有原始模型的十分之一。我做过一个项目原始模型需要 4 TOPS 算力经过优化后只需要 0.5 TOPS直接让芯片选型降了一档。模型优化的手段包括剪枝去掉冗余权重、量化FP32 转 INT8、蒸馏用大模型教小模型、结构搜索NAS。这些手段组合使用效果非常明显。选型之前先问问自己模型优化做到极致了吗5.5 生态比算力更值得投资一颗芯片的生态包括 SDK、文档、社区、代理商支持。生态好的芯片开发效率高踩坑少。生态差的芯片算力再高开发成本也会吃掉所有优势。我个人的经验是优先选择生态成熟的芯片哪怕算力低一点。因为算力不够可以优化模型生态不好只能自己填坑。瑞芯微的 RKNN 生态在国内是相对成熟的资料多社区活跃。NVIDIA 的 CUDA 生态是全球最强的但价格和供货是问题。地平线的生态相对封闭但车规场景有优势。选型时根据你的团队能力和场景需求来权衡。5.6 最后分享一个选型检查清单我在每次选型时都会过一遍这个清单确保没有遗漏算力实际模型的有效算力是否达标算子是否全支持功耗整机峰值功耗是否在预算内散热方案是否可行成本芯片加内存加存储加电源的 BOM 成本是否达标生态工具链是否成熟社区是否有成功案例文档是否齐全供货芯片生命周期是否满足项目要求供货周期是否稳定接口摄像头、网络、显示、USB 等接口是否满足需求尺寸芯片封装和散热方案是否满足设备尺寸要求认证是否需要工业级或车规级认证芯片是否已通过这个清单看起来简单但每一项都可能成为项目的致命伤。我见过因为接口不够改板子的因为供货问题换芯片的因为认证不通过重新选型的。选型阶段多花时间量产阶段少踩坑。这个内容后续还可以这样扩展针对每个芯片层级做详细的模型部署实操教程包括模型转换、量化、性能调优的具体步骤。也可以针对特定场景比如多路视频分析、大模型边缘推理做端到端的方案设计。
1. 边缘端 AI 算力选型的底层逻辑1.1 为什么“从场景反推芯片”才是正确姿势做边缘 AI 项目最容易踩的坑就是先选芯片再想场景。我见过太多团队上来就说“我们要用 RK3588”或者“上 Jetson Orin”结果板子画完、BSP 调通才发现模型跑不动、功耗压不住、成本兜不住。芯片选型不是选手机不是跑分越高越好而是要在算力、功耗、成本、生态、供货周期这五个维度里找到那个刚好匹配你场景的平衡点。“从场景反推芯片”的核心思路是先把你到底要解决什么问题想清楚再倒推需要什么样的算力、什么样的接口、什么样的功耗预算最后才落到具体型号。这就像装修房子你得先想清楚住几口人、要不要书房、厨房用不用开放式再去挑瓷砖和家具而不是先买了一张两米的大餐桌结果发现餐厅根本放不下。边缘端和云端最大的区别在于约束条件完全不同。云端可以堆 GPU、堆内存、堆带宽电费贵一点无所谓散热有专业机房。边缘端不行你可能是一个巴掌大的工控盒可能是一台电池供电的巡检设备可能装在高温高湿的车间里可能要求七年不断电运行。这些约束直接决定了你能选什么芯片而不是反过来。1.2 边缘 AI 算力的四个核心约束维度我把边缘端选型的约束归纳为四个维度每个维度都会直接砍掉一批候选芯片。算力需求你要跑什么模型是 MobileNet 这种轻量级分类网络还是 YOLOv8 这种检测网络还是 Segment Anything 这种大模型模型的计算量FLOPs和参数量直接决定了你需要多少 TOPS。注意厂商标称的 TOPS 往往是 INT8 峰值算力实际有效算力可能只有标称值的 30% 到 60%这个折扣必须提前打进去。功耗预算你的设备是插电还是电池插电的话整机功耗可以放到 10W 到 30W电池供电的话可能只有 1W 到 5W。功耗不仅影响续航还影响散热设计。一个 15W 的芯片在密闭金属盒里表面温度可以轻松超过 70 度这时候你就得考虑加散热片甚至风扇而风扇又会带来灰尘和寿命问题。成本约束这里说的不只是芯片单价而是整机 BOM 成本。一颗 RK3588 可能比一颗 ESP32 贵几十倍但它能跑的东西 ESP32 根本跑不了。反过来如果你的场景只需要做关键词唤醒那用 ESP32-S3 就够了没必要上 Linux 方案。成本还要考虑内存、存储、电源管理、PCB 层数这些连带成本。生态与供货这个维度最容易被忽视但往往最致命。芯片的 SDK 是否完善社区是否活跃文档是否齐全供货周期是否稳定我见过一个项目选了某款小众 AI 芯片结果 SDK 里连个完整的 demo 都没有驱动还要自己写项目直接延期三个月。供货周期在当下环境下尤其重要消费级芯片和工业级芯片的供货策略完全不同。1.3 场景分类先给你的项目归个类在具体选型之前先给你的场景归个类。我通常把边缘 AI 场景分成四类场景类型典型应用算力需求功耗预算推荐芯片层级微控制器级关键词唤醒、简单手势识别 1 TOPS 1WESP32-S3、STM32N6轻量级 Linux人脸识别、二维码识别1-3 TOPS2-8WRK3566、T113中量级边缘多路视频分析、YOLO 检测6-16 TOPS5-20WRK3588、Jetson Orin Nano重量级边缘大模型推理、多传感器融合20-100 TOPS15-60WJetson Orin NX、地平线征程这个分类不是绝对的但能帮你快速缩小范围。比如你的场景是智能门锁上的人脸识别那基本就在轻量级 Linux 这一档RK3566 或者 T113 就够用没必要看 RK3588。如果你的场景是工厂里的多路摄像头缺陷检测那至少是中量级RK3588 或者 Orin Nano 起步。2. 主流边缘 AI 芯片深度拆解2.1 微控制器级ESP32-S3 与 STM32N6ESP32-S3 是我在微控制器级边缘 AI 里最常推荐的芯片。它带向量指令扩展能跑一些轻量级的神经网络比如关键词唤醒、简单的手势识别、异常振动检测。价格便宜生态成熟ESP-IDF 里直接有 TensorFlow Lite Micro 的支持上手门槛很低。但 ESP32-S3 的算力天花板很明显。它的向量指令是 128 位的主频 240MHz实际能跑的模型非常有限。我实测下来一个 50KB 左右的 keyword spotting 模型可以跑到实时但稍微大一点的图像分类模型就力不从心了。所以如果你的场景需要处理图像ESP32-S3 基本可以排除。STM32N6 是 ST 新出的带 NPU 的 MCU算力标称 600 GOPS比 ESP32-S3 高一个数量级。它的优势在于 ST 的生态和工业级可靠性适合那些需要 MCU 实时性又需要一定 AI 算力的场景比如电机异常检测、简单视觉引导。但它的价格比 ESP32-S3 贵不少而且 NPU 的工具链还在完善中模型部署的便利性不如 ESP32-S3。注意MCU 级 AI 芯片的“算力”和 Linux 级芯片的“算力”不是一回事。MCU 通常没有外部 DDR模型和权重都放在片内 Flash 或 SRAM 里所以模型大小受限于片内存储。选型时一定要先确认你的模型能不能塞进去。2.2 轻量级 LinuxRK3566 与全志 T113RK3566 是瑞芯微的一款中低端 SoC四核 A55带 0.8 TOPS 的 NPU。它的定位很清晰需要 Linux 系统、需要一定 AI 算力、但预算和功耗都受限的场景。比如智能售货柜的商品识别、门禁的人脸识别、工业设备的状态监测。我实测过 RK3566 跑 YOLOv5s输入 640x640INT8 量化后大概能跑到 15 到 20 FPS。这个性能对于单路视频分析是够用的但多路就不行了。它的功耗控制得不错整机可以做到 3W 到 5W不需要主动散热。价格也很有竞争力核心板大概在几十到一百多人民币这个区间。全志 T113 是另一个选择双核 A7带 0.1 TOPS 左右的 NPU严格说更像 DSP 加速。它的优势是便宜、功耗低适合那些 AI 算力需求很轻、但需要 Linux 和显示输出的场景。比如简单的二维码识别、OCR 文字提取。但它的 NPU 工具链不如瑞芯微成熟模型转换可能会遇到一些坑。2.3 中量级边缘RK3588 与 Jetson Orin NanoRK3588 是这两年的明星芯片八核四核 A76 四核 A55带 6 TOPS NPU支持 8K 视频编解码接口丰富。它几乎成了中量级边缘 AI 的默认选择。我实测跑 YOLOv8sINT8 量化640x640 输入可以跑到 30 FPS 以上。跑多路视频分析比如 4 路 1080P 的 YOLOv5s也能做到每路 15 FPS 左右。RK3588 的优势在于性价比和生态。它的 SDK 相对完善RKNN 工具链支持主流框架的模型转换社区资料也多。但它的坑也不少NPU 的算子支持不是全量的某些自定义算子需要 CPU 回退会拖慢速度内存带宽在多路视频分析时可能成为瓶颈发热量不小满载需要散热片甚至风扇。Jetson Orin Nano 是 NVIDIA 的边缘计算平台算力 20 TOPS 到 40 TOPS取决于功耗模式CUDA 生态无敌。如果你的模型里有大量自定义算子或者你需要用 TensorRT 做极致优化Orin Nano 是更好的选择。但它的价格比 RK3588 贵不少功耗也更高而且供货周期受国际形势影响较大。对比项RK3588Jetson Orin NanoNPU 算力6 TOPS20-40 TOPSCPU4xA76 4xA556x A78AE内存LPDDR4/5LPDDR5功耗5-15W7-25W价格低高生态RKNN中等CUDA/TensorRT强供货稳定波动2.4 重量级边缘Jetson Orin NX 与地平线征程Jetson Orin NX 算力 70 TOPS 到 100 TOPS可以跑更大的模型比如 ViT、BERT 甚至一些轻量级的大语言模型。它的功耗在 10W 到 25W 之间需要主动散热。适合那些需要多传感器融合、高精度检测、或者大模型推理的边缘场景。地平线征程系列是国产车规级 AI 芯片算力从几 TOPS 到上百 TOPS。它的优势在于车规认证和国产化需求适合车载和工业场景。但它的工具链和生态相对封闭开发门槛较高一般需要原厂或代理商深度支持。提示重量级边缘芯片的选型除了算力一定要关注内存带宽和视频编解码能力。很多场景瓶颈不在 NPU 算力而在数据搬运速度。3. 从场景到芯片的实操推演3.1 案例一智能门锁人脸识别场景描述电池供电的智能门锁需要人脸识别解锁要求续航半年以上成本控制在 200 元以内。先拆约束电池供电功耗预算极低整机待机功耗要控制在毫瓦级唤醒后峰值功耗也不能太高。人脸识别模型通常是轻量级的比如 MobileFaceNet算力需求在 0.5 TOPS 以下。成本 200 元以内意味着芯片单价不能超过 50 元。倒推芯片MCU 级芯片跑不动人脸识别排除。轻量级 Linux 里RK3566 功耗偏高整机很难做到电池供电半年。全志 T113 的 NPU 算力太弱跑人脸识别帧率不够。这时候要看带 NPU 的低功耗 MCU比如 STM32N6或者专用的 AI 视觉芯片。实际选型这类场景我通常会推荐带 NPU 的低功耗 MCU 或者专用视觉芯片配合红外唤醒。STM32N6 的 600 GOPS 算力跑轻量级人脸识别是够的功耗可以做到毫瓦级待机、百毫瓦级运行。但它的价格偏高可能需要权衡。另一个思路是用 ESP32-S3 做唤醒和简单识别复杂识别上传到网关但这样又引入了网络依赖。3.2 案例二工厂多路视频缺陷检测场景描述工厂产线4 路 1080P 摄像头实时检测产品表面缺陷要求 30 FPS插电供电工控机箱散热。先拆约束4 路 1080P 30 FPS每路需要跑一个检测模型。假设用 YOLOv5s单路需要 2 TOPS 左右的有效算力4 路就是 8 TOPS。插电供电功耗可以放到 30W 到 60W。工控机箱可以用主动散热。倒推芯片RK3588 的 6 TOPS 标称算力实际有效算力大概 3 TOPS 到 4 TOPS跑 4 路 YOLOv5s 会比较吃力可能需要降帧或者降分辨率。Jetson Orin Nano 的 20 TOPS 到 40 TOPS 算力跑 4 路 YOLOv5s 绰绰有余甚至可以用更大的模型。但 Orin Nano 的价格和供货是需要考虑的因素。实际选型如果成本敏感且可以接受降帧RK3588 加优化比如模型剪枝、输入分辨率降到 416可以做到 4 路 15 FPS 到 20 FPS。如果要求严格 30 FPS 且模型不能降Jetson Orin Nano 更稳妥。我实测过 Orin Nano 跑 4 路 YOLOv5sTensorRT 优化后每路可以到 40 FPS 以上还有余量。3.3 案例三农业无人机病虫害巡检场景描述无人机搭载摄像头实时识别作物病虫害电池供电整机功耗预算 10W 以内重量敏感。先拆约束电池供电功耗 10W 以内。无人机载重敏感芯片和散热方案的重量要轻。病虫害识别模型通常是分类网络算力需求在 1 TOPS 到 3 TOPS。倒推芯片RK3566 的功耗和算力比较匹配整机可以做到 5W 左右重量也轻。Jetson Orin Nano 功耗偏高重量也大不太适合。ESP32-S3 算力不够跑不动图像分类。所以 RK3566 或者类似的低功耗 SoC 是合理选择。实际选型RK3566 加轻量级分类模型输入 224x224可以做到实时识别。如果算力不够可以考虑用 RK3566 做预处理和简单识别复杂识别回传到地面站。但无人机场景通常要求实时所以本地算力要够。3.4 选型决策流程图文字版我把上面的推演过程整理成一个文字版的决策流程方便你对照自己的场景第一步确定供电方式。电池供电且功耗预算小于 2W看 MCU 级芯片电池供电但功耗预算 2W 到 10W看轻量级 Linux插电供电看中量级或重量级。第二步确定模型类型。分类网络如 MobileNet算力需求低检测网络如 YOLO算力需求中等分割网络或大模型算力需求高。第三步确定路数和帧率。单路低帧率算力需求低多路高帧率算力需求成倍增加。第四步确定成本和供货。成本敏感且供货要稳优先国产芯片生态要求高且预算充足考虑 NVIDIA 方案。第五步确认工具链和算子支持。把你的模型转一遍看目标芯片的 NPU 是否支持所有算子不支持的部分会不会成为瓶颈。4. 选型中的常见坑与排查技巧4.1 算力标称值的陷阱厂商标称的 TOPS 通常是 INT8 峰值算力是在理想条件下的理论值。实际有效算力受内存带宽、算子支持、模型结构影响可能只有标称值的 30% 到 60%。我见过一个项目芯片标称 4 TOPS结果实际跑模型只有 1 TOPS 的有效算力因为模型里的某些算子不支持 NPU 加速回退到 CPU 后成了瓶颈。排查方法在选型阶段一定要拿你的实际模型去目标芯片上跑一遍。不要只看厂商的 benchmark那些 benchmark 通常是精心优化过的。你可以找代理商或者原厂要 demo 板自己转模型、自己测。如果条件不允许至少要看芯片的算子支持列表确认你的模型里有没有不支持的算子。4.2 内存带宽的隐形瓶颈很多人在选型时只看 NPU 算力忽略了内存带宽。多路视频分析场景数据搬运量很大内存带宽不够的话NPU 算力再高也发挥不出来。比如 RK3588 的 LPDDR4 带宽是 32GB/s 左右跑 4 路 1080P 视频分析时内存带宽可能成为瓶颈。排查方法估算你的场景需要多少内存带宽。一路 1080P 30 FPS 的 RGB 视频原始数据量是 1920x1080x3x30 约 186MB/s。如果模型需要多帧输入或者多路并行带宽需求会成倍增加。选型时确认芯片的内存带宽是否足够。4.3 工具链成熟度的隐性成本芯片的 NPU 算力再高如果工具链不成熟模型转换各种报错算子不支持量化掉精度那实际落地成本会非常高。我见过一个项目选了某款小众 AI 芯片结果模型转换工具只支持 Caffe不支持 PyTorch团队不得不先把 PyTorch 模型转成 Caffe再转成芯片格式中间各种踩坑项目延期两个月。排查方法选型时优先考虑工具链成熟的芯片。瑞芯微的 RKNN、NVIDIA 的 TensorRT、地平线的工具链都是相对成熟的。如果选小众芯片一定要确认工具链是否支持你的训练框架是否有完整的模型转换 demo社区是否有成功案例。4.4 供货周期与生命周期消费级芯片和工业级芯片的供货策略完全不同。消费级芯片可能两年就停产工业级芯片通常保证五年到十年的供货。边缘 AI 项目往往要求长期稳定运行如果芯片停产重新选型、重新设计、重新认证的成本非常高。排查方法选型时确认芯片的生命周期状态。如果是量产项目优先选择工业级或车规级芯片确认原厂或代理商的供货承诺。同时关注芯片的替代方案万一停产有没有 pin-to-pin 兼容的替代品。4.5 常见问题速查表问题现象可能原因排查方向模型跑不动算力不足或算子不支持检查 NPU 算子支持列表确认有效算力帧率不达标内存带宽瓶颈或 CPU 瓶颈用 profiler 看各环节耗时精度下降严重量化损失或算子回退尝试混合量化检查回退算子发热严重功耗超预算或散热不足测实际功耗优化散热方案模型转换报错工具链不支持确认工具链版本和算子支持供货不稳定芯片生命周期问题确认供货承诺准备替代方案提示选型阶段多花一周时间做验证比量产阶段发现问题再改板子成本低得多。我个人的习惯是任何新芯片先买 demo 板把实际模型跑通测功耗、测帧率、测发热全部达标再进入硬件设计。5. 实操心得与经验总结5.1 先做减法再做加法选型最容易犯的错是“贪多”。看到一颗芯片算力高、接口多、生态好就想用它。但边缘端的核心约束是功耗和成本算力过剩意味着功耗和成本浪费。我通常的做法是先按最低需求选一颗芯片跑通场景如果性能不够再往上加。而不是一上来就选最高配然后发现功耗压不住、成本超预算。比如一个简单的 OCR 识别场景很多人上来就选 RK3588其实 RK3566 甚至 T113 就够了。省下来的功耗和成本可以用来优化其他部分。5.2 功耗估算要留余量芯片手册上的功耗通常是典型值实际运行时的峰值功耗可能高很多。比如一颗标称 5W 的芯片满载时可能冲到 10W 以上。电源设计要按峰值功耗来散热设计也要按峰值功耗来。我通常会在标称功耗基础上留 50% 到 100% 的余量。另外功耗不仅来自芯片本身还有 DDR、Flash、电源管理芯片、外设。整机功耗估算要把这些都算进去。一个常见的错误是只算 SoC 功耗结果整机功耗超标电源适配器带不动。5.3 散热设计要提前考虑边缘设备的散热条件往往很差。密闭金属盒、高温车间、户外阳光直射这些都会让芯片温度飙升。芯片温度过高会触发降频性能直接打折。我见过一个项目实验室跑得好好的装到现场后因为散热不良帧率掉了一半。散热设计要在选型阶段就考虑。如果芯片功耗超过 5W就要考虑加散热片。超过 10W可能要加风扇。风扇有寿命和灰尘问题能不用就不用。如果必须用风扇选品质好的并且设计可更换的结构。5.4 模型优化比芯片选型更重要很多人把希望寄托在芯片上觉得算力不够就换更好的芯片。但实际上模型优化往往能带来更大的收益。一个经过剪枝、量化、蒸馏的模型算力需求可能只有原始模型的十分之一。我做过一个项目原始模型需要 4 TOPS 算力经过优化后只需要 0.5 TOPS直接让芯片选型降了一档。模型优化的手段包括剪枝去掉冗余权重、量化FP32 转 INT8、蒸馏用大模型教小模型、结构搜索NAS。这些手段组合使用效果非常明显。选型之前先问问自己模型优化做到极致了吗5.5 生态比算力更值得投资一颗芯片的生态包括 SDK、文档、社区、代理商支持。生态好的芯片开发效率高踩坑少。生态差的芯片算力再高开发成本也会吃掉所有优势。我个人的经验是优先选择生态成熟的芯片哪怕算力低一点。因为算力不够可以优化模型生态不好只能自己填坑。瑞芯微的 RKNN 生态在国内是相对成熟的资料多社区活跃。NVIDIA 的 CUDA 生态是全球最强的但价格和供货是问题。地平线的生态相对封闭但车规场景有优势。选型时根据你的团队能力和场景需求来权衡。5.6 最后分享一个选型检查清单我在每次选型时都会过一遍这个清单确保没有遗漏算力实际模型的有效算力是否达标算子是否全支持功耗整机峰值功耗是否在预算内散热方案是否可行成本芯片加内存加存储加电源的 BOM 成本是否达标生态工具链是否成熟社区是否有成功案例文档是否齐全供货芯片生命周期是否满足项目要求供货周期是否稳定接口摄像头、网络、显示、USB 等接口是否满足需求尺寸芯片封装和散热方案是否满足设备尺寸要求认证是否需要工业级或车规级认证芯片是否已通过这个清单看起来简单但每一项都可能成为项目的致命伤。我见过因为接口不够改板子的因为供货问题换芯片的因为认证不通过重新选型的。选型阶段多花时间量产阶段少踩坑。这个内容后续还可以这样扩展针对每个芯片层级做详细的模型部署实操教程包括模型转换、量化、性能调优的具体步骤。也可以针对特定场景比如多路视频分析、大模型边缘推理做端到端的方案设计。
