[发明专利]一种基于RGB-D数据融合的测距跟踪方法

权利要求书

1.一种基于RGB-D数据融合的测距跟踪方法，其特征在于，包括：

采集待检测目标的RGB图像和深度图像，将所述RGB图像输入到改进的YOLOv5网络模型中，对所述待检测目标进行目标检测和跟踪，获取跟踪输出结果；

将所述跟踪输出结果与所述深度图像进行配准，获得所述待检测目标的距离信息。

2.根据权利要求1所述的基于RGB-D数据融合的测距跟踪方法，其特征在于，采集所述待检测目标的RGB图像和深度图像包括：

通过RGB-D相机采集所述RGB图像，基于深度相机采集所述深度图像，在使用所述RGB-D相机和所述深度相机进行采集之前，对相机的各项参数进行标定，并通过相机的空间分布信息，分别得到RGB-D相机坐标和深度相机坐标获取到的图像与真实世界的坐标对应关系。

3.根据权利要求1所述的基于RGB-D数据融合的测距跟踪方法，其特征在于，所述改进的YOLOv5网络模型中利用可分离卷积代替普通卷积，用于对特征数据进行遍历和卷积操作；并将原始YOLOv5网络模型中的CIOU损失函数替换为SIOU损失函数，用于提升模型检测的准确度。

4.根据权利要求3所述的基于RGB-D数据融合的测距跟踪方法，其特征在于，将所述RGB图像输入到改进的YOLOv5网络模型中进行目标检测，包括：

基于所述可分离卷积的方法对部分所述原始YOLOv5模型的组成模块进行改进后，利用改进后的各模块对所述RGB图像进行特征信息的提取和压缩；其中，所述特征信息的提取包括利用Focus结构将图像信息由空间维度转换为通道维度，使用不同的CSP结构对提取的特征信息进行拼接，利用SSP层分离上下文特征，通过FPN对特征图进行融合以及利用金字塔结构采用拼接的方式融合特征，最终得到若干不同尺寸的特征图，经替换后的SIoU损失函数进行筛选，得到检测目标的分类信息以及所述检测目标在图像中的位置信息。

5.根据权利要求1所述的基于RGB-D数据融合的测距跟踪方法，其特征在于，对所述待检测目标进行目标跟踪包括：

基于DeepSORT进行目标跟踪，同时考虑待测目标间距和相似度特征，并对新生成的跟踪轨迹采取验证机制排除错误的预测结果，得到所述待测目标的边界框信息，即所述跟踪输出结果；其中所述验证机制包括卡尔曼预测和监测匹配失败预测。

6.根据权利要求1所述的基于RGB-D数据融合的测距跟踪方法，其特征在于，对所述跟踪输出结果与所述深度图像进行配准包括：

基于RGB图像像素点和实际坐标系的映射关系，对相机进行标定配准，获取深度图像像素点和所述实际坐标系的映射关系，其中，所述RGB图像像素点和实际坐标系的映射关系为：

X_r,Y_r,Z_r分别为空间坐标系中点的位置坐标，x,y分别为以相机采光孔作为真实三维世界中坐标系的原点O_c，构成的O_c-X_cY_cZ_c三维坐标系下对应的目标点坐标p(X_w,Y_w,Z_w)映射到深度图中点的位置坐标,M₂和M₁分别表示深度成像模块的内部参数和外部参数。