在树莓派与虚拟 IoT 设备上调用 IoT Edge 图像分类器水果质量检测端侧推理实战IoT-For-Beginners【免费下载链接】IoT-For-Beginners12 Weeks, 24 Lessons, IoT for All!项目地址: https://gitcode.com/GitHub_Trending/io/IoT-For-Beginners本篇技术指南围绕微软开源课程 IoT-For-Beginners 中《在边缘运行水果检测器》4-manufacturing 第 3 课的树莓派/虚拟 IoT 设备分支展开讲解如何将物联网设备从把图片上传云端分类切换到调用本网络内 IoT Edge 设备上托管的图像分类器。读完本文你将掌握 IoT Edge 分类器的 REST 调用地址格式、为什么必须用 REST API 替代 Custom Vision Python SDK、如何改造app.py完成端侧推理以及如何解读返回的 JSON 预测结果。文档定位与适用范围本文对应的原始文档为 translations/da/4-manufacturing/lessons/3-run-fruit-detector-edge/single-board-computer.md英文原版位于 single-board-computer.md。它是本课使用你的 IoT Edge 设备环节的硬件分支指南适用于两类设备树莓派Raspberry Pi使用真实 PiCamera 拍摄并分类图片虚拟 IoT 设备Virtual IoT device通过 CounterFit 模拟摄像头在本机运行代码。同一课程下还有面向 Wio Terminal 的独立指南 wio-terminal.md以及创建承载 IoT Edge 的云端虚拟机的 vm-iotedge.md。本指南的前置条件是已完成本课前半部分——在 IoT Hub 注册 IoT Edge 设备、将 Custom Vision 训练出的分类器导出为容器、推送至容器注册表、并通过部署清单下发到边缘设备且ImageClassifier模块处于运行状态验证方法见 README.md 的 Verify the classifier is running 一节。核心概念Edge 分类器的调用地址与 REST 接口上一课2-check-fruit-from-device中IoT 设备把摄像头拍到的图片经互联网发送到 Custom Vision 云端服务进行分类这种做法存在延迟、费用与隐私三方面问题。本课的做法是把分类器以容器形式部署到本网络内的 IoT Edge 设备上让图片在局域网内完成推理。一旦ImageClassifier模块在边缘设备上运行它就通过容器暴露的 REST API 提供服务。文档明确给出调用地址格式http://IP address or name/image其中IP address or name替换为运行 IoT Edge 的计算机的 IP 地址或主机名。例如在 IoT Edge 设备本机上测试时可直接使用localhosthttp://localhost/image说明该容器同时会通过createOptions中的PortBindings把容器内80/tcp端口映射到宿主机的80端口因此上述 URL 中的/image路径即容器内 Web 服务暴露的推理端点。完整的部署清单可参考仓库中的 deployment.json。为什么必须改用 REST API 调用文档特别强调了一个关键约束Python-biblioteket til Custom Vision fungerer kun med modeller, der er hostet i skyen, ikke med modeller hostet på IoT Edge.Custom Vision 的 Python 库只适用于云端托管的模型不适用于托管在 IoT Edge 上的模型。也就是说上一课使用的azure.cognitiveservices.vision.customvision.prediction与msrest.authentication这两个依赖在此处不再适用必须改用通用的requests库直接发起 HTTP POST 请求。这在源码中得到了印证——仓库中两个修改完成版的 pi/app.py 与 virtual-iot-device/app.py 均只保留io、requests、time与摄像头相关导入不再出现任何 Custom Vision SDK 导入。另一个与云端调用截然不同的点是调用 Edge 分类器无需Prediction-Key。因为请求不会打到 Azure 公共端点而是在内部网络中完成安全交由内网策略负责而不是依赖公共端点加 API Key。操作任务改造 app.py 调用 IoT Edge 分类器以下步骤严格继承自关联文档的任务清单并结合仓库源码给出了每一步的落点与说明。第 1 步打开项目并激活环境在 VS Code 中打开fruit-quality-detector项目如果使用虚拟 IoT 设备确保虚拟环境.venv已激活。第 2 步移除 Custom Vision 相关导入打开app.py删除来自azure.cognitiveservices.vision.customvision.prediction和msrest.authentication的 import 语句。第 3 步添加 requests 导入在文件顶部添加import requests第 4 步删除云端分类代码删除图片保存之后的所有代码即从image_file.write(image.read())之后一直到文件末尾的全部内容。这意味着原本构建预测请求、携带Prediction-Key、调用云端端点并打印结果的逻辑全部移除。第 5 步追加 Edge 分类调用代码将以下代码追加到文件末尾prediction_url URL headers { Content-Type : application/octet-stream } image.seek(0) response requests.post(prediction_url, headersheaders, dataimage) results response.json() for prediction in results[predictions]: print(f{prediction[tagName]}:\t{prediction[probability] * 100:.2f}%)将URL替换为你的分类器地址形如http://IP address or name/image。这段代码的含义是代码行作用prediction_url URL指向 IoT Edge 设备上分类器容器的 REST 端点headers {Content-Type: application/octet-stream}声明请求体为原始二进制流图片字节image.seek(0)将图片缓冲区的读写指针重置到开头确保发送完整图片数据requests.post(prediction_url, headersheaders, dataimage)以图片二进制内容作为请求体发起 REST POST 请求response.json()将响应解码为 JSON 结构for prediction in results[predictions]遍历分类结果按标签打印百分比概率第 6 步运行并观察控制台输出运行代码将摄像头对准水果虚拟设备则让水果出现在 CounterFit 的 Web 摄像头画面中。控制台输出类似(.venv) ➜ fruit-quality-detector python app.py ripe: 56.84% unripe: 43.16%每一行对应一个标签ripe/unripe及其置信度百分比。源码佐证两份完整版 app.py仓库中提供了两个硬件分支的最终完整代码可直接对照参考树莓派版code-classify/pi/fruit-quality-detector/app.py虚拟设备版code-classify/virtual-iot-device/fruit-quality-detector/app.py树莓派版完整代码如下其核心思路与文档描述完全一致import io import requests import time from picamera import PiCamera camera PiCamera() camera.resolution (640, 480) camera.rotation 0 time.sleep(2) image io.BytesIO() camera.capture(image, jpeg) image.seek(0) with open(image.jpg, wb) as image_file: image_file.write(image.read()) prediction_url URL headers { Content-Type : application/octet-stream } image.seek(0) response requests.post(prediction_url, headersheaders, dataimage) results response.json() for prediction in results[predictions]: print(f{prediction[tagName]}:\t{prediction[probability] * 100:.2f}%)从源码结构可以看出两个值得注意的细节camera.resolution (640, 480)将拍摄分辨率设为 640×480图片以 JPEG 格式捕获到io.BytesIO内存缓冲区随后既落盘保存为image.jpg又复用同一缓冲区作为 POST 请求体通过seek(0)重置指针图片同时以文件形式保存方便本地核对拍摄内容但这并不是调用分类器所必需的步骤。虚拟设备版virtual-iot-device/app.py的差异仅在于设备初始化部分它使用CounterFitConnection.init(127.0.0.1, 5000)连接 CounterFit 仿真服务并通过counterfit_shims_picamera的PiCamera替代真实摄像头从image.seek(0)之后的分类调用逻辑与树莓派版完全一致。部署上下文分类器是如何跑到 Edge 上的虽然本指南聚焦如何使用 Edge 分类器但理解调用地址的由来有助于排查问题。整条部署链路见 README.md 的 Prepare your container for deployment 与 Deploy your container 两节为在 Custom Vision 门户将项目域名切换为Food (compact)并重新训练导出为 DockerFile 容器使用docker build --platform platform -t Container registry name.azurecr.io/classifier:v1 .构建镜像树莓派目标平台为linux/armhf其余为linux/amd64使用docker push推送至 Azure Container Registry编写部署清单 deployment.json其中ImageClassifier模块的镜像地址为Container registry name.azurecr.io/classifier:v1并通过createOptions暴露80/tcp端口执行az iot edge set-modules --device-id fruit-quality-detector-edge --content deployment.json --hub-name hub_name下发模块在边缘设备上使用iotedge list确认ImageClassifier、edgeAgent、edgeHub三个模块均为running状态。调用地址http://IP address or name/image正是步骤 4 中映射到宿主机80端口的容器 REST 端点。在正式改造app.py之前可以先用 curl 做一次冒烟测试curl --location \ --request POST http://IP address or name/image \ --header Content-Type: image/png \ --data-binary file_Name返回的 JSON 中predictions数组即为app.py中遍历打印的数据来源例如{ predictions: [ { probability: 0.9995615482330322, tagName: ripe }, { probability: 0.0004384400090202689, tagName: unripe } ] }与 Wio Terminal 方案的差异对照同一任务在 Wio TerminalArduino 平台上的改法见 wio-terminal.md反映了硬件差异带来的关键区别项目树莓派/虚拟设备PythonWio TerminalC/Arduino通信库requestsPythonWiFiClient替代WiFiClientSecure证书无删除config.h中的CERTIFICATE预测密钥无删除config.h中的PREDICTION_KEY及Prediction-Key请求头调用方式requests.post发送图片字节classifyImage函数内 POST 到PREDICTION_URL两者的共同点是因为 Edge 分类器走 HTTP而非 HTTPS均不再需要 TLS 证书与云端 API Key。端侧推理的取舍与重训练注意事项使用 Edge 分类器后有一个容易被忽略的行为变化Edge 上分类过的图片不会回传云端。因此 Custom Vision 门户的Predictions标签页里看不到这些推理样本模型也就无法像纯云端方案那样自动积累标注素材用于再训练。这既是隐私与离线能力的优势图片不出内网、无网也能工作也是模型持续改进的代价——需要另行设计图片采集与人工复分类的机制来补充训练集。从整体架构看这正体现了边缘计算在速度、远程可用性、成本、隐私、兼容设备接入等方面的收益以及其在弹性伸缩、冗余可靠性、运维维护上的劣势详见 README.md 的 Edge computing 一节。实际 IoT 系统通常按需混合使用云与边缘。小结通过本指南的改造你的fruit-quality-detector程序已经完成从云端推理到边缘推理的切换Custom Vision 分类器以容器形式驻留在 IoT Edge 设备上IoT 设备仅需把图片 POST 到http://IP address or name/image即可在局域网内获得ripe/unripe的概率结果。整个改动只涉及删除 SDK 依赖、引入requests、替换调用地址三步却换来了更低的延迟、更省的云资源开销与更好的数据隐私。相关完整代码可进一步查看 code-classify/pi 与 code-classify/virtual-iot-device部署清单参考 code-deployment/deployment/deployment.json。【免费下载链接】IoT-For-Beginners12 Weeks, 24 Lessons, IoT for All!项目地址: https://gitcode.com/GitHub_Trending/io/IoT-For-Beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
在树莓派与虚拟 IoT 设备上调用 IoT Edge 图像分类器水果质量检测端侧推理实战IoT-For-Beginners【免费下载链接】IoT-For-Beginners12 Weeks, 24 Lessons, IoT for All!项目地址: https://gitcode.com/GitHub_Trending/io/IoT-For-Beginners本篇技术指南围绕微软开源课程 IoT-For-Beginners 中《在边缘运行水果检测器》4-manufacturing 第 3 课的树莓派/虚拟 IoT 设备分支展开讲解如何将物联网设备从把图片上传云端分类切换到调用本网络内 IoT Edge 设备上托管的图像分类器。读完本文你将掌握 IoT Edge 分类器的 REST 调用地址格式、为什么必须用 REST API 替代 Custom Vision Python SDK、如何改造app.py完成端侧推理以及如何解读返回的 JSON 预测结果。文档定位与适用范围本文对应的原始文档为 translations/da/4-manufacturing/lessons/3-run-fruit-detector-edge/single-board-computer.md英文原版位于 single-board-computer.md。它是本课使用你的 IoT Edge 设备环节的硬件分支指南适用于两类设备树莓派Raspberry Pi使用真实 PiCamera 拍摄并分类图片虚拟 IoT 设备Virtual IoT device通过 CounterFit 模拟摄像头在本机运行代码。同一课程下还有面向 Wio Terminal 的独立指南 wio-terminal.md以及创建承载 IoT Edge 的云端虚拟机的 vm-iotedge.md。本指南的前置条件是已完成本课前半部分——在 IoT Hub 注册 IoT Edge 设备、将 Custom Vision 训练出的分类器导出为容器、推送至容器注册表、并通过部署清单下发到边缘设备且ImageClassifier模块处于运行状态验证方法见 README.md 的 Verify the classifier is running 一节。核心概念Edge 分类器的调用地址与 REST 接口上一课2-check-fruit-from-device中IoT 设备把摄像头拍到的图片经互联网发送到 Custom Vision 云端服务进行分类这种做法存在延迟、费用与隐私三方面问题。本课的做法是把分类器以容器形式部署到本网络内的 IoT Edge 设备上让图片在局域网内完成推理。一旦ImageClassifier模块在边缘设备上运行它就通过容器暴露的 REST API 提供服务。文档明确给出调用地址格式http://IP address or name/image其中IP address or name替换为运行 IoT Edge 的计算机的 IP 地址或主机名。例如在 IoT Edge 设备本机上测试时可直接使用localhosthttp://localhost/image说明该容器同时会通过createOptions中的PortBindings把容器内80/tcp端口映射到宿主机的80端口因此上述 URL 中的/image路径即容器内 Web 服务暴露的推理端点。完整的部署清单可参考仓库中的 deployment.json。为什么必须改用 REST API 调用文档特别强调了一个关键约束Python-biblioteket til Custom Vision fungerer kun med modeller, der er hostet i skyen, ikke med modeller hostet på IoT Edge.Custom Vision 的 Python 库只适用于云端托管的模型不适用于托管在 IoT Edge 上的模型。也就是说上一课使用的azure.cognitiveservices.vision.customvision.prediction与msrest.authentication这两个依赖在此处不再适用必须改用通用的requests库直接发起 HTTP POST 请求。这在源码中得到了印证——仓库中两个修改完成版的 pi/app.py 与 virtual-iot-device/app.py 均只保留io、requests、time与摄像头相关导入不再出现任何 Custom Vision SDK 导入。另一个与云端调用截然不同的点是调用 Edge 分类器无需Prediction-Key。因为请求不会打到 Azure 公共端点而是在内部网络中完成安全交由内网策略负责而不是依赖公共端点加 API Key。操作任务改造 app.py 调用 IoT Edge 分类器以下步骤严格继承自关联文档的任务清单并结合仓库源码给出了每一步的落点与说明。第 1 步打开项目并激活环境在 VS Code 中打开fruit-quality-detector项目如果使用虚拟 IoT 设备确保虚拟环境.venv已激活。第 2 步移除 Custom Vision 相关导入打开app.py删除来自azure.cognitiveservices.vision.customvision.prediction和msrest.authentication的 import 语句。第 3 步添加 requests 导入在文件顶部添加import requests第 4 步删除云端分类代码删除图片保存之后的所有代码即从image_file.write(image.read())之后一直到文件末尾的全部内容。这意味着原本构建预测请求、携带Prediction-Key、调用云端端点并打印结果的逻辑全部移除。第 5 步追加 Edge 分类调用代码将以下代码追加到文件末尾prediction_url URL headers { Content-Type : application/octet-stream } image.seek(0) response requests.post(prediction_url, headersheaders, dataimage) results response.json() for prediction in results[predictions]: print(f{prediction[tagName]}:\t{prediction[probability] * 100:.2f}%)将URL替换为你的分类器地址形如http://IP address or name/image。这段代码的含义是代码行作用prediction_url URL指向 IoT Edge 设备上分类器容器的 REST 端点headers {Content-Type: application/octet-stream}声明请求体为原始二进制流图片字节image.seek(0)将图片缓冲区的读写指针重置到开头确保发送完整图片数据requests.post(prediction_url, headersheaders, dataimage)以图片二进制内容作为请求体发起 REST POST 请求response.json()将响应解码为 JSON 结构for prediction in results[predictions]遍历分类结果按标签打印百分比概率第 6 步运行并观察控制台输出运行代码将摄像头对准水果虚拟设备则让水果出现在 CounterFit 的 Web 摄像头画面中。控制台输出类似(.venv) ➜ fruit-quality-detector python app.py ripe: 56.84% unripe: 43.16%每一行对应一个标签ripe/unripe及其置信度百分比。源码佐证两份完整版 app.py仓库中提供了两个硬件分支的最终完整代码可直接对照参考树莓派版code-classify/pi/fruit-quality-detector/app.py虚拟设备版code-classify/virtual-iot-device/fruit-quality-detector/app.py树莓派版完整代码如下其核心思路与文档描述完全一致import io import requests import time from picamera import PiCamera camera PiCamera() camera.resolution (640, 480) camera.rotation 0 time.sleep(2) image io.BytesIO() camera.capture(image, jpeg) image.seek(0) with open(image.jpg, wb) as image_file: image_file.write(image.read()) prediction_url URL headers { Content-Type : application/octet-stream } image.seek(0) response requests.post(prediction_url, headersheaders, dataimage) results response.json() for prediction in results[predictions]: print(f{prediction[tagName]}:\t{prediction[probability] * 100:.2f}%)从源码结构可以看出两个值得注意的细节camera.resolution (640, 480)将拍摄分辨率设为 640×480图片以 JPEG 格式捕获到io.BytesIO内存缓冲区随后既落盘保存为image.jpg又复用同一缓冲区作为 POST 请求体通过seek(0)重置指针图片同时以文件形式保存方便本地核对拍摄内容但这并不是调用分类器所必需的步骤。虚拟设备版virtual-iot-device/app.py的差异仅在于设备初始化部分它使用CounterFitConnection.init(127.0.0.1, 5000)连接 CounterFit 仿真服务并通过counterfit_shims_picamera的PiCamera替代真实摄像头从image.seek(0)之后的分类调用逻辑与树莓派版完全一致。部署上下文分类器是如何跑到 Edge 上的虽然本指南聚焦如何使用 Edge 分类器但理解调用地址的由来有助于排查问题。整条部署链路见 README.md 的 Prepare your container for deployment 与 Deploy your container 两节为在 Custom Vision 门户将项目域名切换为Food (compact)并重新训练导出为 DockerFile 容器使用docker build --platform platform -t Container registry name.azurecr.io/classifier:v1 .构建镜像树莓派目标平台为linux/armhf其余为linux/amd64使用docker push推送至 Azure Container Registry编写部署清单 deployment.json其中ImageClassifier模块的镜像地址为Container registry name.azurecr.io/classifier:v1并通过createOptions暴露80/tcp端口执行az iot edge set-modules --device-id fruit-quality-detector-edge --content deployment.json --hub-name hub_name下发模块在边缘设备上使用iotedge list确认ImageClassifier、edgeAgent、edgeHub三个模块均为running状态。调用地址http://IP address or name/image正是步骤 4 中映射到宿主机80端口的容器 REST 端点。在正式改造app.py之前可以先用 curl 做一次冒烟测试curl --location \ --request POST http://IP address or name/image \ --header Content-Type: image/png \ --data-binary file_Name返回的 JSON 中predictions数组即为app.py中遍历打印的数据来源例如{ predictions: [ { probability: 0.9995615482330322, tagName: ripe }, { probability: 0.0004384400090202689, tagName: unripe } ] }与 Wio Terminal 方案的差异对照同一任务在 Wio TerminalArduino 平台上的改法见 wio-terminal.md反映了硬件差异带来的关键区别项目树莓派/虚拟设备PythonWio TerminalC/Arduino通信库requestsPythonWiFiClient替代WiFiClientSecure证书无删除config.h中的CERTIFICATE预测密钥无删除config.h中的PREDICTION_KEY及Prediction-Key请求头调用方式requests.post发送图片字节classifyImage函数内 POST 到PREDICTION_URL两者的共同点是因为 Edge 分类器走 HTTP而非 HTTPS均不再需要 TLS 证书与云端 API Key。端侧推理的取舍与重训练注意事项使用 Edge 分类器后有一个容易被忽略的行为变化Edge 上分类过的图片不会回传云端。因此 Custom Vision 门户的Predictions标签页里看不到这些推理样本模型也就无法像纯云端方案那样自动积累标注素材用于再训练。这既是隐私与离线能力的优势图片不出内网、无网也能工作也是模型持续改进的代价——需要另行设计图片采集与人工复分类的机制来补充训练集。从整体架构看这正体现了边缘计算在速度、远程可用性、成本、隐私、兼容设备接入等方面的收益以及其在弹性伸缩、冗余可靠性、运维维护上的劣势详见 README.md 的 Edge computing 一节。实际 IoT 系统通常按需混合使用云与边缘。小结通过本指南的改造你的fruit-quality-detector程序已经完成从云端推理到边缘推理的切换Custom Vision 分类器以容器形式驻留在 IoT Edge 设备上IoT 设备仅需把图片 POST 到http://IP address or name/image即可在局域网内获得ripe/unripe的概率结果。整个改动只涉及删除 SDK 依赖、引入requests、替换调用地址三步却换来了更低的延迟、更省的云资源开销与更好的数据隐私。相关完整代码可进一步查看 code-classify/pi 与 code-classify/virtual-iot-device部署清单参考 code-deployment/deployment/deployment.json。【免费下载链接】IoT-For-Beginners12 Weeks, 24 Lessons, IoT for All!项目地址: https://gitcode.com/GitHub_Trending/io/IoT-For-Beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
