[发明专利]一种基于Azure Kinect的目标跟踪定位方法

权利要求书

1.一种基于Azure Kinect的目标跟踪定位方法，其特征在于，包括以下步骤：

步骤1：将待跟踪目标放置于Azure Kinect视场范围内的固定平面上，通过AzureKinect提取目标物的三维点云数据；

步骤2：读取Azure Kinect内、外参，将目标物点云映射至彩色图，并分割出来；

步骤3：在HSV颜色空间建立融合深度信息的目标物“颜色-形状”模型；

步骤4：由Azure Kinect实时采集彩色图像和深度图像，对当前帧的图像分别进行深度过滤和颜色过滤；

步骤5：运用深度方差对目标物和相似颜色背景进行连通域分割，获得潜在目标；

步骤6：通过目标物形状偏差率、直方图巴氏距离完成目标识别；

步骤7：若目标识别成功，计算目标物质心P0，以目标物质心区域的深度均值完成目标定位；

步骤8：输出目标物坐标，更新目标颜色直方图、长宽值和深度值，进行下一帧循环；

步骤9：若目标识别失败，重复步骤4至步骤8；

在步骤1中，对待跟踪目标的处理包括以下步骤：

步骤1.1：利用直通滤波法PTF对目标物的初始点云进行预处理，通过测量桌面到相机的距离，在Azure Kinect深度传感器坐标系下分别设置X、Y、Z三个方向的阈值区间[x1，x2]、[y1，y2]、[z1，z2]，确定桌面及桌面上的目标物在初始点云中的三维空间包围盒，剔除阈值区间外的无效点云，保留桌面及桌面内物体点云；

步骤1.2：采用随机采样一致算法RANSAC识别点云中的平面特征，分离出工作平面，再对桌面上的点云进行欧式聚类，去除内点数量少于阈值的聚类，最终提取目标物点云；

在步骤2中，将目标物点云映射至彩色图的步骤包括以下：

步骤2.1：在Azure Kinect深度传感器坐标系下将目标物点云中的三维点P_ir＝[X_ir Y_irZ_ir]^T转换到深度图中的对应点Q_ir＝[u v 1]^T,转换公式如下：

其中，为深度传感器内参；

步骤2.2：将深度传感器坐标系下的三维点Q_ir转换为彩色相机坐标系下的三维点P_rgb＝[X_rgb Y_rgb Z_rgb]^T，最后转换为彩色图对应点Q_rgb＝[m n 1]^T，完成目标物点云到彩色图的映射，转换公式如下：

其中，R为3×3的旋转矩阵，T为3×1的平移矩阵，为彩色相机内参。

2.根据权利要求1所述的一种基于Azure Kinect的目标跟踪定位方法，其特征在于，步骤3中，在HSV颜色空间建立融合深度信息的目标物“颜色-形状”模型包括以下步骤：

步骤3.1：将目标区域图像由RGB颜色空间转化到HSV颜色空间，通过二分法对转换到HSV颜色空间的图像进行两次迭代，过滤映射偏差点；

步骤3.2：分别计算偏差点过滤完成后的目标图像的H、S、V三通道均值，并以H、S、V三通道均值为中值，设置合适大小的区间作为颜色阈值区间，将色调H分为8份，饱和度S分为2份，亮度V分为1份，根据色彩不同范围进行量化，生成20柄一维直方图，建立目标物颜色直方图模型；

步骤3.3：记录偏差点过滤完成后的目标图像的深度值和长、宽值，作为目标初始形状模型。