[发明专利]一种基于RGB-D数据融合的测距跟踪方法

说明书

本发明涉及一种基于RGB‑D数据融合的测距跟踪方法，包括：采集待检测目标的RGB图像和深度图像，将所述RGB图像输入到改进的YOLOv5网络模型中，对所述待检测目标进行目标检测和跟踪，获取跟踪输出结果；将所述跟踪输出结果与所述深度图像进行配准，获得所述待检测目标的距离信息。本发明利用RGB图像实现目标检测与跟踪，将目标跟踪阶段生成的预测框映射到深度相机采集的深度图像中，完成对目标的测距和跟随。

技术领域

本发明涉及目标检测与跟踪技术领域，特别是涉及一种基于RGB-D数据融合的测距跟踪方法。

背景技术

YOLOv5模型虽然相对于前几代YOLO模型性能最佳，但仍然无法在大多数嵌入式设备上部署，主要原因还是嵌入式设备的算力不支持，因此在模型轻量化问题上还有待改进，而上述专利中加入的注意力机制虽然可对检测精度进行提升，但同时也带来了模型参数量和复杂度的增加，因此更加不适合在嵌入式设备中进行部署。

单目测距虽然在部署和实现上比较简单，但由于其是先通过图像匹配进行目标识别(各种车型、行人、物体等)，再通过目标在图像中的大小去估算目标距离，因此必须不断更新和维护一个庞大的样本数据库，才能保证系统达到较高的识别率；无法对非标准障碍物进行判断；距离并非真正意义上的测量，准确度较低，另外其受光照等环境因素影响较大。而基于激光雷达的测距虽然能在各方面表现出良好的效果，但目前激光雷达的价格仍然十分昂贵，对于一些普通的应用场景，应用激光雷达性价比太低。

发明内容

本发明的目的是将通过神经网络实现的目标跟踪应用于一般的嵌入式设备中，在面向一般的跟踪场景时，考虑到算力及性价比的问题，提出一种基于RGB-D数据融合的测距跟踪方法。

为实现上述目的，本发明提供了如下方案：

一种基于RGB-D数据融合的测距跟踪方法，包括：

采集待检测目标的RGB图像和深度图像，将所述RGB图像输入到改进的YOLOv5网络模型中，对所述待检测目标进行目标检测和跟踪，获取跟踪输出结果；

将所述跟踪输出结果与所述深度图像进行配准，获得所述待检测目标的距离信息。

优选地，采集所述待检测目标的RGB图像和深度图像包括：

通过RGB-D相机采集所述RGB图像，基于深度相机采集所述深度图像，在使用所述RGB-D相机和所述深度相机进行采集之前，对相机的各项参数进行标定，并通过相机的空间分布信息，分别得到RGB-D相机坐标和深度相机坐标获取到的图像与真实世界的坐标对应关系。

优选地，所述改进的YOLOv5网络模型中利用可分离卷积代替普通卷积，用于对特征数据进行遍历和卷积操作；并将原始YOLOv5网络模型中的CIOU损失函数替换为SIOU损失函数，用于提升模型检测的准确度。

优选地，将所述RGB图像输入到改进的YOLOv5网络模型中进行目标检测，包括：

基于所述可分离卷积的方法对部分所述原始YOLOv5模型的组成模块进行改进后，利用改进后的各模块对所述RGB图像进行特征信息的提取和压缩；其中，所述特征信息的提取包括利用Focus结构将图像信息由空间维度转换为通道维度，使用不同的CSP结构对提取的特征信息进行拼接，利用SSP层分离上下文特征，通过FPN对特征图进行融合以及利用金字塔结构采用拼接的方式融合特征，最终得到若干不同尺寸的特征图，经替换后的SIoU损失函数进行筛选，得到检测目标的分类信息以及所述检测目标在图像中的位置信息。

优选地，对所述待检测目标进行目标跟踪包括：

基于DeepSORT进行目标跟踪，同时考虑待测目标间距和相似度特征，并对新生成的跟踪轨迹采取验证机制排除错误的预测结果，得到所述待测目标的边界框信息，即所述跟踪输出结果；其中所述验证机制包括卡尔曼预测和监测匹配失败预测。