[发明专利]一种基于Yolo_v4算法的目标检测与跟踪方法

权利要求书

1.一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于，包括以下步骤：

步骤S1、制作完成数据集；

步骤S2、对带有标注的图像数据集进行训练，得到最佳模型参数；

步骤S3、将加载好最佳模型参数的Yolo_v4网络模型部署于服务器端；

步骤S4、搭载深度相机传感器的移动机器人持续收集图像信息，编码后传输至服务器，作为所述Yolo_v4网络模型数据输入端；

步骤S5、服务器接受图像数据并解码输入，经所述Yolo_v4网络模型解算后得到待跟踪目标物的像素坐标，将该像素坐标传输回移动机器人；

步骤S6、移动机器人根据单目相机模型与像素坐标解算待跟踪物实际坐标，并以该坐标作为目标点前进，实现跟踪目的。

2.根据权利要求1所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：选取用于跟踪的目标物，并收集待跟踪目标物的图像序列，使用标注工具对该图像序列进行标注，经人工标注后的数据集大小为N张。

3.根据权利要求2所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S1中，待跟踪目标物数据格式为n*n像素的jpeg格式图片。

4.根据权利要求3所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S2中，将标注后的数据集输入Yolo_v4网络模型，并进行训练，获得Yolo_v4算法模型的参数。

5.根据权利要求4所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：所述训练包括：每次随机读取数据集的m张图片，分别进行镜像翻转、尺度缩放、色域变化操作，并按照顺序拼接，再对原图中的真实框进行剪裁与组合，形成一张新的图片输入Yolo_v4网络模型进行训练，训练达到最大迭代次数或网络收敛后，保存模型与权重文件。

6.根据权利要求5所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S4中，所述深度相机传感器，安装于机器人头部，用于获取图像信息与深度信息，同时深度相机传感器使用上位机，收集相机图像信息，通过局域网框架传输信息至服务器作为算法侧输入。

7.根据权利要求6所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：所述上位机为电脑或嵌入式主板Jetson TX2。

8.根据权利要求7所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S5中，服务器端接收到通过局域网框架传输的图像信息后进行解码，以图像矩阵格式输入算法侧，经过训练后的Yolo_v4网络模型，输出待跟踪目标的中心点(x，y)以及检测框的高度h，通过局域网将中心点像素坐标通过局域网框架传输回移动机器人侧。

9.根据权利要求8所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：所述Yolo_v4网络模型包括特征提取网络、空间金字塔池化SPP(Spatial PyramidPooling)模块、特征融合模块与多分类器模块；所述特征提取骨干网络为CSPDarknet53网络结构，输出四个大小不同的特征图，最小的特征图输入空间金字塔池化SPP模块，所述空间金字塔池化SPP模块对输入的特征图分别利用四个最大池化层进行处理，并将四个最大池化层处理后的输出进行拼接，得到池化特征图输出；将所述池化特征图以及CSPDarknet53网络结构输出的特征图输入所述特征融合模块，依据数据流向依次连接的各采样层进行数据融合；所述多分类器模块基于特征融合模块输出的不同尺度的融合特征进行分类检测，输出最终的目标检测结果。

10.根据权利要求9所述的一种基于Yolo_v4算法的目标检测与跟踪方法，其特征在于：在步骤S6中，移动机器人侧接收局域网传输回的中心点像素坐标，根据中心点像素坐标与针孔相机模型计算待跟踪物的实际坐标，其计算过程如下：

以相机光心O组成的坐标系称为相机坐标系O^c-X^c-Y^c；以光心在图像平面投影O`为原点的坐标系称为图像坐标系O`-x`-y`；以图像平面左上角为远点的坐标系称为像素坐标系O-u-v；物体在真是世界中的坐标用世界坐标系描述O^w-X^w-Y^w；其成像转换过程应为世界坐标系-＞相机坐标系-＞图像坐标系-＞像素坐标系；

设P为世界坐标系中的一点，p为P在图像中的成像点，在图像坐标系中坐标为(x，y)，在像素坐标系中的坐标为(u，v)，相机焦距为f，f等于O`与O<sup>c</sup>的距离，即f＝||O`-O^c||，则世界坐标系到像素坐标系的转换方程为：

上式中相机内参矩阵中f_x、f_y、u_o、v_o通过相机标定得出，根据像素坐标(u，v)解算上述方程，即可获得待跟踪目标物相对于相机位置的三维坐标(X^c，Y^c，Z^c)，以该三维坐标为目标点，作为移动机器人的前进方向，实现定位跟踪。