发布时间:2026/7/26 0:03:36
[具身智能-651]:RDK X5 算法应用开发与Model Zoo 使用说明,通俗易懂 RDK X5 算法应用开发 Model Zoo 通俗讲解一、先说人话理解整套流程我们电脑上用 PyTorch 训练出来的神经网络模型YOLO、目标检测等不能直接放到 RDK X5 的 BPU 上运行。 就像Word 文档不能直接在手机上打开需要转格式AI 模型同理PC 训练的浮点模型→ 经过地平线工具量化、编译生成专属.hbm文件才能给 BPU 执行推理。Model Zoo 官方现成工具箱地瓜机器人官方整理好的仓库 里面放好了常用检测 / 分类模型、配套转换脚本、开发板上直接运行的Demo 代码。 不用从零写模型预处理、BPU 调用、NMS后处理拿来改一改就能用。二、分清两台设备分工重中之重很多人混淆PC 电脑Ubuntu Docker OE 工具链任务模型编译、量化。 软件hb_mapper模型编译器 作用把 ONNX 模型 → 转换成.hbmBPU 能识别的程序包 ⚠️编译器只能在 PC 运行RDK开发板没有编译工具RDK X5 开发板任务运行推理加载.hbm模型接收图片调用 BPU 做目标检测、输出识别结果。三、Model Zoo 里面都有什么仓库名称rdk_model_zoo每个模型文件夹固定分成三块model_exportPC 电脑使用yaml 配置文件、编译脚本用来生成 hbm 模型cpp /pyRDK 开发板运行C、Python 两套推理示例代码README写清楚编译步骤、模型输入尺寸、参数。支持模型YOLOv5/v8/v11、FCOS、图像分类、实例分割、OCR 文字识别等。四、两种使用方式按需选择方式 1快速验证新手演示首选不用 PC 编译在 Model Zoo 对应模型目录下载官方已经编译完成的.hbm文件通过 scp/U 盘把 hbm 传到 RDK X5在开发板运行自带 python/cpp demo直接测试 AI 检测效果。适用场景功能演示、方案验证、快速看效果。方式 2自研模型部署产品开发正式流程如果你自己训练了 YOLO 等模型完整步骤PC 上把训练好的模型导出成ONNX启动地平线 OE Docker 环境复制 Model Zoo 里的 yaml 模板修改参数重点RDK X5 架构写bayes-e使用hb_mapper命令做量化、编译产出.hbm将 hbm 传到开发板修改 Model Zoo 的推理代码适配自己模型运行测试。核心优化点机器人项目必看编译 yaml 里开启input_type_rt: nv12模型直接接收 NV12 图像。可以和 MIPI 相机 ISP 输出对接不需要 CPU 做图像格式转换硬件流水线零拷贝延迟最低。五、和前面学的五大多媒体 Demo 怎么配合五大 demo 负责获取图像相机、本地视频、网络 RTSP Model Zoo 代码负责 AI 识别。 两者通过分流器 splitter拼接组成机器人标准视觉链路链路 1MIPI 相机实时目标检测vio_capture 采集 NV12 画面 → 分流器 → 分支 1vio2display HDMI 画面预览 → 分支 2送入 Model Zoo YOLO 模型BPU 检测目标 → 检测框通过硬件 OSD 叠加到画面上链路 2网络 IPC 摄像头 AI 识别rtsp2display 拉取网络视频 → 硬件解码得到 NV12 → 分流 → 一路 HDMI 预览一路送入 BPU 做检测链路 3本地录像智能分析decode2display 播放 h265 视频文件 → 解码 NV12 → 分流推理一句话总结多媒体 Demo 负责拿到画面Model Zoo 代码负责看懂画面里的物体。六、开发完整流程极简版PC训练模型 → 导出 ONNX → hb_mapper 编译 → 得到 hbm ↓拷贝 RDK X5运行推理程序加载 hbm → 获取图像 → BPU 推理 → 解析检测结果七、高频踩坑通俗说明❌ 不要尝试在 RDK 开发板执行 hb_mapper 板子只能跑模型不能编译模型编译必须 PC Docker。❌ 分支选错 下载 Model Zoo 后必须切换rdk_x5分支直接拉 main 分支代码不兼容 X5。❌ 架构参数写错 RDK X5march: bayes-eRDK X3 是 bernoulli2两者不能混用。❌ 图像格式不匹配 模型编译成 NV12 输入代码却送 RGB 图片识别完全失效。❌ 工具链版本不一致 PC 端 OE 工具版本 和 开发板 TROS/hobot_dnn 版本差距太大hbm 模型运行报错。八、精简总结Model Zoo 是地瓜机器人提供的算法开源仓库内置大量预适配 RDK 的视觉模型和推理代码。 算法部署分为两步在 PC 电脑 Docker 环境使用 hb_mapper 工具把训练好的模型编译为 BPU 识别的 hbm 模型再把 hbm 文件放到 RDK X5 开发板调用 BPU 执行 AI 推理。 我们可以将 Model Zoo 推理代码和 vio_capture、rtsp2display 等多媒体示例结合实现相机、视频流一边画面预览、一边实时目标检测构成机器人完整视觉感知系统。

相关新闻

2026/7/26 0:03:36

PDF合并与动态水印的工程化方案:2026国内免费工具实测对比

一、背景与测试方案 在实际项目交付中,PDF文件合并与版权保护水印的叠加是一个高频但容易被低估的技术需求。典型的处理链路涉及:多源PDF的文件流合并、页面级水印渲染(含透明度混合与图层叠加)、输出文件体积控制。看似简单的操作…

2026/7/26 1:24:06

影刀RPA 随机数与模拟数据生成:测试数据准备

影刀RPA 随机数与模拟数据生成:测试数据准备 作者:林焱 开发RPA流程时,经常需要测试数据来验证流程是否正常——测试表单填写需要随机姓名和手机号、测试数据处理需要随机数量的数据行、测试文件操作需要随机文件名。 手动造数据太慢&#…

2026/7/26 1:24:06

无监督多智能体强化学习理论与工程实践

1. 无监督多智能体强化学习的前沿探索2025年NIPS会议这篇论文的标题直接指向了强化学习领域最具挑战性的方向之一。无监督多智能体强化学习(Unsupervised MARL)要解决的核心问题是:在没有外部奖励信号的情况下,如何让多个智能体通…

2026/7/26 1:24:06

AI论文写作工具PaperXie:从选题到格式的全流程辅助

1. 项目概述本科毕业论文写作是每个大学生必须经历的重要学术考验。从选题开题到最终答辩,整个过程往往需要耗费数月时间,涉及文献检索、数据收集、论文撰写、格式调整等多个环节。传统写作模式下,学生容易陷入资料查找效率低下、写作思路不清…

2026/7/26 1:24:06

影刀RPA 长流程的模块化拆分原则与实战

影刀RPA 长流程的模块化拆分原则与实战 作者:林焱 什么情况用这个 你打开一个三个月前写的流程,发现它有80个步骤、15个Python节点、嵌套了6层IF和3层循环。现在要改里面一个判断条件,你找了20分钟才找到那个IF块在哪。更可怕的是——改了之…

2026/7/26 1:19:06

PSO优化LightGBM分位数回归在金融风控与预测中的应用

1. 项目背景与核心价值 在金融风控、电力负荷预测、商品价格波动等实际场景中,传统均值回归模型往往难以捕捉极端值的影响。而分位数回归(Quantile Regression)通过估计条件分位数函数,能够全面描述预测目标的分布特征。当结合粒子…

2026/7/26 0:03:36

PDF合并与动态水印的工程化方案:2026国内免费工具实测对比

一、背景与测试方案 在实际项目交付中,PDF文件合并与版权保护水印的叠加是一个高频但容易被低估的技术需求。典型的处理链路涉及:多源PDF的文件流合并、页面级水印渲染(含透明度混合与图层叠加)、输出文件体积控制。看似简单的操作…

2026/7/26 0:03:36

PDF合并与动态水印的工程化方案:2026国内免费工具实测对比

一、背景与测试方案 在实际项目交付中,PDF文件合并与版权保护水印的叠加是一个高频但容易被低估的技术需求。典型的处理链路涉及:多源PDF的文件流合并、页面级水印渲染(含透明度混合与图层叠加)、输出文件体积控制。看似简单的操作…

2026/7/25 0:59:36

3个高效策略:快速掌握Axure中文界面配置

3个高效策略:快速掌握Axure中文界面配置 【免费下载链接】axure-cn Chinese language file for Axure RP. Axure RP 简体中文语言包。支持 Axure 11、10、9。不定期更新。 项目地址: https://gitcode.com/gh_mirrors/ax/axure-cn 还在为Axure RP的英文界面感…