[发明专利]一种面向无人叉车应用的托盘检测和定位方法及系统

说明书

本发明公开了一种面向无人叉车应用的托盘检测和定位方法及系统，该方法包括：获取RDG‑D相机模块采集的深度图像和RGB图像；建立托盘图像数据集以训练托盘检测器，以预测RGB图像中的托盘区域和支撑柱区域，并剔除托盘区域中的非完整托盘；将完整托盘作为目标托盘，其支撑柱区域作为感兴趣区域，对齐RGB图像和深度图像，提取支撑柱区域的深度信息，基于预先标定的相机参数，将感兴趣区域的深度信息转换成相机坐标系下的三维点云数据；分割目标托盘的支撑柱表面，计算各支撑柱表面的质心坐标；提取目标托盘叉取面的支撑柱三元组，计算托盘在相机坐标系下的位置和转向角，并将托盘位姿从相机坐标系转换到叉车坐标系，从而实现托盘定位。

技术领域

本发明属于机器人感知技术领域，尤其涉及一种面向无人叉车应用的托盘检测和定位方法及系统。

背景技术

无人叉车，又称叉车AGV或叉式移动机器人，融合了叉车技术和AGV技术，与普通AGV相比，无人叉车不仅能完成点对点的物料搬运之外，还能实现多个生产环节对接的物流运输。无人叉车的应用，可以解决工业生产和仓储物流作业过程中物流量大、人工搬运劳动强度高等问题，推动工业制造转型升级，提高企业生产效率和经济效益。

在动态、非结构化的工业环境中，由于作业流程、设备精度和人工操作等多重因素，托盘的位置和姿态具有较大的不确定性如何高效且精确地检测和定位托盘成为了无人叉车应用的亟需解决的问题。

在相关技术中，使用多传感器融合的方法是目前主要的研究方向。使用摄像头获得的RGB图像具有丰富的纹理和色彩信息，激光雷达或深度相机可以获取高精度的深度信息，通过融合多传感器信息，使得托盘的检测和位姿估计更加准确。

专利CN 112907666 A提出了一种基于RGB-D的托盘位姿估计方法、系统及装置，对传感器采集图像计算压缩网格尺寸，进行模板匹配处理得到托盘感兴趣区域，基于托盘感兴趣区域提取托盘支架坐标。该方法采用模板匹配检测托盘，当托盘有一定的倾斜角度时，图像中的托盘与模板的匹配度下降；同时货物的遮挡可能导致像素分类不准确，造成托盘检测精度下降。

专利CN 113409397 A提出了一种基于RGBD相机的仓储托盘检测与定位方法，使用预训练的YOLOv5模型进行托盘检测，在RGB图像中框选托盘区域，结合托盘区域的深度距离信息计算托盘位姿。专利CN 115272275 A提出了基于RGB-D相机及神经网络模型的托盘、障碍物检测定位系统和方法，使用神经网络检测RGB图像中的托盘区域，对目标区域进行点云滤波、边缘提取、目标空间位姿信息计算等操作。这两种方法均采用托盘边缘特征定位托盘，当托盘角度较大或出现托盘边缘遮挡情况时，容易导致托盘定位失败或定位误差较大。

专利CN 1 14972968A提出了基于多重神经网络的托盘识别和位姿估计方法，使用UNet网络对分割图像中的目标托盘，然后使用改进的PointNet处理提取的托盘区域的点云，输出托盘位姿。该方法采用深度神经网络直接分割托盘点云并估计托盘位姿，使用生成的托盘数据训练得到的模型在实际场景中无法保证定位精度，需要大量高精度的托盘点云标注数据进行训练，同时，针对点云处理的深度神经网络计算量大，难以保证实时性，

总之，现有的基于多传感器融合的托盘检测和定位方法，大部分对于托盘的摆放位姿要求较高，无法准确地处理托盘偏转角较大的情况；而且这些方法没有考虑实际应用中货物遮挡托盘、发生误检等问题，托盘位姿估计存在精度低和鲁棒性差的问题。

发明内容

本申请实施例的目的是提供一种面向无人叉车应用的托盘检测和定位方法及系统，以解决相关技术中存在的缺少对误检的安全处理以及托盘位姿估计阶段存在的精度低和鲁棒性差的技术问题。

根据本申请实施例的第一方面，提供一种面向无人叉车应用的托盘检测与定位方法，包括：

(1)图像获取：获取RDG-D相机模块采集的深度图像和RGB图像；