香橙派AIpro开发板评测：香橙派AIpro也能MindSpore+Jupyter Notebook开发呀和Qwen2-0.5B-Instruct-GGUF部署

香橙派AIpro开发板评测香橙派AIpro也能MindSporeJupyter Notebook开发呀和Qwen2-0.5B-Instruct-GGUF部署前言以前就是用华为云的昇腾卡训练模型今天看到香橙派推出一款 Orange Ai Pro 的板子他们的口号是为AI而生采用昇腾AI技术路线8T算力迫不及待的下单入手体验一把中国芯的家族又迎来了一位重量级嘉宾。点赞点赞点赞硬件介绍硬件配置参考图硬件配置参考图给的超级详细拨码开关这种小细节都给出了对新手小白极其友好硬件实物图我选择tf卡启动所以将拨码开关滑动到右边固件烧录固件下载可以到官网orangepi.cn/html/hardWare/computerAndMicrocontrollers/service-and-support/Orange-Pi-AIpro.html直接下载对应的固件烧录固件最常规的烧录方式tf卡插入读卡器用balenaEtcher工具烧录等待Success即可初步体验登陆我是通过Micro USB串口调试口登陆的启动过程需要等待一段时间用户名 HwHiAiUser密码Mind123后面需要超级用户时候也可以root登陆密码依然是Mind123或者用sudo也可以基本信息可以看到存储容量32G内存8Gaarch64架构网络信息可以直接把wan口接到路由器会自动给eth0分配IP网络环境准备OKMindSpore测试昇思MindSpore是由华为于2019年8月推出的新一代全场景AI框架2020年3月28日华为宣布昇思MindSpore正式开源。昇思MindSpore是一个全场景AI框架旨在实现易开发、高效执行、全场景统一部署三大目标。MindSpore是和PyTorch、TensorFlow同等地位的深度学习框架同时相比后2者MindSpore的出发点就是旨在支持从边缘设备到云端的全场景部署这点对我们嵌入式端更友好。而且香橙派AIpro采用昇腾技术路线在底层就支持了CANN框架和NVIDIA的CUDA框架是同等地位。CANNCompute Architecture for Neural Networks是华为为昇腾Ascend系列AI处理器设计的全栈AI软硬件协同计算框架它提供了对昇腾AI处理器的底层访问CANN 中的算子库Operator Library提供了大量预优化的AI算子可以加速模型的训练和推理过程。因为深度学习涉及到的模型参数少则千万多则数以亿计如果在底层算子方面没有工业级别的优化会非常浪费内存、计算资源这也是香橙派AIpro的精华所在华为MindSpore可以直接部署在上面执行下面代码导入Mindspore环境python -c \ import mindspore;mindspore.set_context(device_targetAscend);mindspore.run_check()看到如下输出[Ascend] successfully!则说明能正常使用启动 Jupyter Lab进入samples目录cd samples启动对应服务192.168.123.119这个IP是我的香橙派AIpro获取的IP地址./start_notebook.sh 192.168.123.119网页访问这个时候保证我的电脑和香橙派AIpro在同一个局域网内则输入对应的ip192.168.123.119:8888带上对应token则可网页访问体验OCR现在已经进入Jupyter Lab的环境了熟悉Jupyter Lab根本不会察觉到现在是在香橙派AIpro还是云端接下来就是鼠标点点点愉快的体验MindSpore的强大了还是蛮快的7ms就完成了在香橙派AIpro实现ocr不仅仅能避免因为网络延时影响而且对用户的隐私更有保障一些私有的数据不必上云OCR代码分析导入一些基础的库重点是最后2行是用于加载和运行在Ascend芯片上部署的机器学习模型管理Ascend芯片上的资源如内存分配、设备初始化等import os import time import argparse import matplotlib.pyplot as plt from PIL import Image import numpy as np from acllite_model import AclLiteModel as Model from acllite_resource import AclLiteResource as AclResource模型导入和处理定义CTCLabelConverter类用于文本和数据编码这个类使用了CTCConnectionist Temporal Classification损失函数的特性# om模型和图片的位置 MODEL_PATH ./cnnctc.om IMAGE_PATH ./predict.png # 初始化acl资源 acl_resource AclResource() acl_resource.init() #导入本地om模型 print(load model....) model Model(MODEL_PATH) print(load model finished....) # 文本与数据编码 class CTCLabelConverter(): def __init__(self, character): dict_character list(character) self.dict {} for i, char in enumerate(dict_character): self.dict[char] i 1 self.character [[blank]] dict_character self.dict[[blank]] 0 #将文本转换为数字编码 def encode(self, text): length [len(s) for s in text] text .join(text) text [self.dict[char] for char in text] return np.array(text), np.array(length) # 将数字编码转换为文本 def decode(self, text_index, length): texts [] index 0 for l in length: t text_index[index:index l] char_list [] for i in range(l): if t[i] ! self.dict[[blank]] and ( not (i 0 and t[i - 1] t[i])): char_list.append(self.character[t[i]]) text .join(char_list) texts.append(text) index l return texts这里就是包含了图像预处理、模型推理、以及结果解码的部分# 导入和处理目标图片 img_PIL Image.open(IMAGE_PATH).convert(RGB) img img_PIL.resize((100, 32), resample3) img np.array(img, dtypenp.float32) img np.expand_dims(img, axis0) img np.transpose(img, [0, 3, 1, 2]) # 定义推理的时间 start time.time() model_predict model.execute([img])[0] end time.time() print(finfer use time:{(end-start)*1000}ms) # 初始化文本编码函数 character 0123456789abcdefghijklmnopqrstuvwxyz converter CTCLabelConverter(character) # 推理过程 preds_size np.array([model_predict.shape[1]]) preds_index np.argmax(model_predict, 2) preds_index np.reshape(preds_index, [-1]) preds_str converter.decode(preds_index, preds_size) print(Predict: , preds_str)体验曝光增强在分辨率为512 * 512 的情况下266ms完成效果很明显图片效果好了很多npu实时信息Qwen-GGUF部署除了昇腾芯片本身香橙派AIpro也足够强成功把Qwen0.5B的gguf格式文件的大模型部署下载llama.cpp执行命令git clone https://github.com/ggerganov/llama.cpp.git进入llama.cpp执行命令需要等待一段时间执行命令的时间比较长make下载大模型from modelscope import snapshot_download model_dir snapshot_download(qwen/Qwen2-0.5B-Instruct-GGUF)用 llama-server 工具启动对应的服务调用对应的服务在0.5B大模型的情况下Qwen模型还是可以通过深圳关联到大梅沙、莲花山效果还是值得认可的使用总结1、第一次在香橙派AIpro使用Jupyter Lab这种集成环境确实让我惊艳到了以前都是阿里云PAI上使用但是这次在香橙派AIpro使用没有感到区别这种集成环境的搭建必须给香橙派AIpro点赞2、Micro USB 接口的调试串口非常利于调试以前那种杜邦线收发地三个口不仅容易掉而且容易插错这种调试接口不仅常见而且易于使用3、里面提供的基于MindSpore的例子很容易上手代码结构也很清晰4、感觉美中不足的虽然832已经很大了但是想要体验一些大模型还是不够需要使用swapOrange Pi论坛(http://forum.orangepi.cn/)、昇腾社区hiascend.com上面也有很多好玩的模型后面会继续尝试把模型部署到香橙派上再与大家分享也希望大家多多给一些建议。