[发明专利]一种面向无人叉车应用的托盘检测和定位方法及系统

权利要求书

1.一种面向无人叉车应用的托盘检测与定位方法，其特征在于，包括：

(1)图像获取：获取RDG-D相机模块采集的深度图像和RGB图像；

(2)托盘检测：建立托盘图像数据集以训练托盘检测器，使用训练好的托盘检测器预测所述RGB图像中的托盘区域和支撑柱区域，并剔除所述托盘区域中的非完整托盘；

(3)数据融合：将步骤(2)得到的完整托盘作为目标托盘，其支撑柱区域作为感兴趣区域，对齐RGB图像和深度图像，提取支撑柱区域的深度信息，基于预先标定的相机参数，将所述感兴趣区域的深度信息转换成相机坐标系下的三维点云数据；

(4)表面分割：对支撑柱区域的三维点云数据进行点云滤波、平面分割、几何信息提取，分割目标托盘的支撑柱表面，计算各支撑柱表面的质心坐标；

(5)位姿计算：提取目标托盘叉取面的支撑柱三元组，计算托盘在相机坐标系下的位置和转向角，并将托盘位姿从相机坐标系转换到叉车坐标系，从而实现托盘定位。

2.根据权利要求1所述的方法，其特征在于，步骤(2)包括：

(2.1)获取若干托盘图像并对每个托盘图像使用矩形框人工标注其中的托盘区域和支撑柱区域，对标注后的托盘图像进行图像预处理，从而建立托盘图像数据集；

(2.2)利用所述托盘图像数据集训练基于深度学习的目标检测网络，从而得到训练好的托盘检测器；

(2.3)利用所述训练好的托盘检测器，对所述RGB图像进行处理，得到若干托盘区域矩形框、支撑柱区域矩形框；

(2.4)基于所述托盘区域矩形框、支撑柱区域矩形框，对于每一个托盘检测结果，根据矩形框重叠情况判断属于该托盘的支撑柱，并校验该托盘的完整性，将所有非完整的托盘剔除。

3.根据权利要求1所述的方法，其特征在于，步骤(3)包括：

(3.1)将步骤(2)中得到的完整托盘作为目标托盘，其支撑柱区域作为感兴趣区域，对齐RGB-D相机模块采集的RGB图像和深度图像，获得深度图像的支撑柱区域，提取深度图像中支撑柱区域的像素坐标(u,v)和深度D；

(3.2)根据预先标定的相机参数，通过以下公式计算支撑柱区域的像素点在相机坐标系下的三维坐标(X,,)，生成三维点云数据：

Z＝D

其中c_x、f_x、c_y、f_y为预先标定的相机参数。

4.根据权利要求1所述的方法，其特征在于，步骤(4)包括：

(4.1)使用直通滤波和体素网格滤波对所述三维点云数据进行预处理；

(4.2)使用RANSAC方法分割预处理后的点云数据中目标托盘的各支撑柱表面；

(4.3)对于分割得到的支撑柱表面的点云数据，利用下式计算相机坐标系下支撑柱表面的点云质心坐标C(p_x,p_y,p_z)；

其中，n为该支撑柱表面的点的数量，(x_i,y_i,z_i)为点的空间坐标。

5.根据权利要求4所述的方法，其特征在于，步骤(4.2)包括：

(4.2.1)随机抽取预处理后的点云数据中的3个样本点，对平面方程进行拟合，估计平面方程aX+bY+cX+d＝0的4个参数a、b、c、d，得到待定平面；

(4.2.2)计算预处理后的点云数据中的各个点到所述待定平面的距离，并统计距离小于容差范围d的点即内点的数量；

(4.2.3)如果当前待定平面的内点数量大于阈值T，则用当前所有的内点重新拟合平面，得到支撑柱表面的点云数据；

(4.2.4)如果当前内点的数量小于阈值T，则返回上述步骤(4.2.1)。