使用旭日X3派的BPU部署Yolov5_专栏

本次主要介绍在旭日x3的BPU中部署yolov5。首先在ubuntu20.04安装yolov5，并运行yolov5并使用pytoch的pt模型文件转ONNX；然后将ONNX模型转换BPU模型；最后上板运行代码测试，并利用Cypython封装后处理代码。

一.安装Anaconda

Anaconda 是一个用于科学计算的 Python 发行版，支持 Linux, Mac, Windows, 包含了众多流行的科学计算、数据分析的 Python 包。

a. 先去官方地址下载好对应的安装包

下载地址:https://www.anaconda.com/download/#linux

或使用国内源下载速度较快:Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

b.然后安装anaconda

bash ~/Downloads/Anaconda3-2023.03-Linux-x86_64.sh （bash ~/安装包位置/安装包名称）

全部选yes，anaconda会自动将环境变量添加到PATH里面，如果后面你发现输出conda提示没有该命令，那么你需要执行命令 source ~/.bashrc 更新环境变量，就可以正常使用了。如果发现这样还是没用，那么需要添加环境变量。编辑~/.bashrc 文件，在最后面加上

export PATH=/home/主机名称/anaconda3/bin:$PATH

注意：路径应改为自己机器上的路径
保存退出后执行： source ~/.bashrc 再次输入 conda list 测试看看，应该没有问题。

c.添加Aanaconda国内镜像配置

添加Aanaconda国内镜

conda config —add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config —add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config —set show_channel_urls yes像配置

二.安装pytorch,onnx

首先为pytorch创建一个anaconda虚拟环境，python=3.10，环境名字可自己确定，这里本人使用yolov5作为环境名:

conda create -n yolov5 python=3.10

进入创建的yolov5环境

conda activate yolov5

安装关键包ONNX

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple onnx

安装yolov5依赖的pytorch

pip install torch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0

三.yolov5项目克隆和安装

1.克隆yolov5项目

git clone -b （下载指定版本或下载最新把-b去掉即可）https://github.com/ultralytics/yolov5.git

2.使用清华源安装所需库

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3.下载与训练的权重文件

在https://pypi.tuna.tsinghua.edu.cn/simple 中找到下载版本的权重文件，并并放置在育yolov5文件夹下

4.安装测试

在yolov5路径下执行：python detect.py

5.pytorch的pt模型文件转onnx

BPU的工具链没有支持onnx的所有版本的算子，即当前BPU支持onnx的opset版本为10和11，执行：

python export.py —weights yolov5s.pt —include onnx —opset 11

转换成功后，控制台显示如下log信息，转换模型造yolov5文件夹下

四.ONNX模型转换

安装docker

可以使用鱼香ros一键安装Docker，安装完成之后输入命令sudo docker pull openexplorer/ai_toolchain_centos_7:v1.13.6之后自动开始docker的安装。配置天工开物OpenExplorer

OpenExplorer工具包的下载，需要wget支持，在ubuntu中安装wget， sudo apt-get install wget ，参考官网信息https://developer.horizon.ai/forumDetail/136488103547258769，
下载horizon_xj3_open_explorer

CPU Docker:

wget -c ftp://vrftp.horizon.ai/Open_Explorer_gcc_9.3.0/2.5.2/docker_openexplorer_ubuntu_20_xj3_cpu_v2.5.2_py38.tar.gz

启动docker

这一部分文件我参考https://blog.csdn.net/Zhaoxi_Li/article/details/125516265的文件

天工开物OpenExplorer根目录：

我的环境下是"/home/bingda/dd/horizon_xj3_openexplorer_v2.5.2_py38_doc"记得加双引号防止出现空格，该目录要挂载在docker中/open_explorer的目录下：

sudo docker run -it --rm -v "/home/bingda/dd/horizon_xj3_openexplorer_v2.5.2_py38_doc":/open_explorer-v "home/bingda/dd/Codes":/data/horizon_x3/codes \openexplorer/ai_toolchain_centos_7:v1.13.6已经成功通过Docker镜像进入了完整的工具链开发环境。可以键入 hb_mapper --help命令验证下是否可以正常得到帮助信息。其中hb_mapper --help是工具链的一个常用工具。

创建一个文件（我这里角yolo）中，，把前面转好的yolov5s.onnx放进这个文件夹里，输入：

sudo docker run -it --rm -v "/home/bingda/dd/yolo":/bpucodes openexplorer/ai_toolchain_centos_7:v1.13.6

在docker中，进入bpucodes

模型检查

文件夹，开始我们的模型转换。输入指令hb_mapper checker --model-type onnx --march bernoulli2 --model yolov5s.onnx

开始检查模型，显示如下内容表示模型检查通过。

校准数据参考 https://blog.csdn.net/Zhaoxi\_Li/article/details/125516265
中yolov3的校准代码，输入prepare_calibration_data.py可以得到校准数据。

# 修改输入图像大小为640x640#
img = imequalresize(img, (640, 640))
# 指定输出的校准图像根目录

dst_root = '/data/horizon_x3/codes/yolov5/bpucodes/calibration_data

开始转换BPU模型

输入命令hb_mapper makertbin --config convert_yolov5s.yaml --model-type onnx

开始转换我们的模型。校准过后会输出每一层的量化损失，转换成功后，得到model_output/yolov5s.bin，这个文件拿出来，拷贝到旭日X3派上使用，它也是我们上板运行所需要的模型文件。

五.上板运行

文件准备

下载百度云的文件，拷贝到旭日X3派开发板中，其中yolov5s.bin就是我们转换后的模型，coco_classes.names仅用在画框的时候，如果用自己的数据集的话，参考coco_classes.names创建个新的名字文件即可。

输入sudo apt-get install libopencv-dev安装opencv库，之后进入代码根目录，输入python3 setup.py build_ext —inplace，编译后处理代码，得到lib/pyyolotools.cpython-38-aarch64-linux-gnu.so文件。

运行推理代码

模型推理的代码可参考https://blog.csdn.net/Zhaoxi\_Li/article/details/126651890
其中yolotools.pypostprocess_yolov5为C++实现的后处理功能。

这里补充旭日x3通过opencv调用摄像头，对每个图像进行实时处理

import numpy as np
import cv2
import os
from hobot_dnn import pyeasy_dnn as dnn
from bputools.format_convert import imequalresize, bgr2nv12_opencv
import lib.pyyolotools as yolotools
def get_hw(pro):
    if pro.layout == "NCHW":
        return pro.shape[2], pro.shape[3]
    else:
        return pro.shape[1], pro.shape[2]
def format_yolov5(frame):
    row, col, _ = frame.shape
    _max = max(col, row)
    result = np.zeros((_max, _max, 3), np.uint8)
    result[0:row, 0:col] = frame
    return result
# # img_path 图像完整路径
# img_path = '20220904134315.jpg'
# model_path 量化模型完整路径
model_path = 'yolov5s.bin'
# 类别名文件
classes_name_path = 'coco_classes.names'
# 设置参数
thre_confidence = 0.4
thre_score = 0.25
thre_nms = 0.45
# 框颜色设置
colors = [(255, 255, 0), (0, 255, 0), (0, 255, 255), (255, 0, 0)]
#利用opencv读取摄像头，对每个图像进行实时处理
cap = cv2.VideoCapture(0)
i = 0
while (1):
    ret,  imgOri = cap.read()
    # 1. 加载模型，获取所需输出HW
    models = dnn.load(model_path)
    model_h, model_w = get_hw(models[0].inputs[0].properties)
    print(model_h, model_w)
    # 2 加载图像，根据前面模型，转换后的模型是以NV12作为输入的
    # 但在OE验证的时候，需要将图像再由NV12转为YUV444
    inputImage = format_yolov5(imgOri)
    img = imequalresize(inputImage, (model_w, model_h))
    nv12 = bgr2nv12_opencv(img)
    # 3 模型推理
    t1 = cv2.getTickCount()
    outputs = models[0].forward(nv12)
    t2 = cv2.getTickCount()
    outputs = outputs[0].buffer # 25200x85x1 
    print('time consumption {0} ms'.format((t2-t1)*1000/cv2.getTickFrequency()))
    # 4 后处理
    image_width, image_height, _ = inputImage.shape
    fx, fy = image_width / model_w, image_height / model_h
    t1 = cv2.getTickCount()
    class_ids, confidences, boxes = yolotools.pypostprocess_yolov5(outputs[0][:, :, 0], fx, fy, 
                                                                thre_confidence, thre_score, thre_nms)
    t2 = cv2.getTickCount()
    print('post consumption {0} ms'.format((t2-t1)*1000/cv2.getTickFrequency()))
    # 5 绘制检测框
    with open(classes_name_path, "r") as f:
        class_list = [cname.strip() for cname in f.readlines()]
    t1 = cv2.getTickCount()
    for (classid, confidence, box) in zip(class_ids, confidences, boxes):
        color = colors[int(classid) % len(colors)]
        cv2.rectangle(imgOri, box, color, 2)
        cv2.rectangle(imgOri, (box[0], box[1] - 20), (box[0] + box[2], box[1]), color, -1)
        cv2.putText(imgOri, class_list[classid], (box[0], box[1] - 10), cv2.FONT_HERSHEY_SIMPLEX, .5, (0,0,0))
    t2 = cv2.getTickCount()
    print('draw rect consumption {0} ms'.format((t2-t1)*1000/cv2.getTickFrequency()))
    # print('draw rect consumption {0} inputImage = format_yolov5(imgOri)')
    img = imequalresize(inputImage, (model_w, model_h))
    nv12 = bgr2nv12_opencv(img)
    k = cv2.waitKey(1)
    if k == 27:  # 按下ESC退出窗口
        break
    elif k == ord('s'):  # 按下s保存图片
        cv2.imwrite('./' + str(i) + '.jpg', imgOri)
        i += 1
    cv2.imshow("capture", imgOri)
cap.release()