[发明专利]一种基于深度学习的集装箱角件识别方法

说明书

本发明涉及一种基于深度学习的集装箱角件识别方法。实际工业环境中需要利用叉车对集装箱角件进行固定，需要首先获得角件的空间位置信息。彩色相机与深度相机相结合的系统部署方便快捷，精度高，所以利用视觉信息来进行角件检测最广泛。利用传统的视觉算法来进行集装箱检测难以提取出有效的特征，精度较低，速度较慢。本发明通过YOLO神经网络进行特征提取，提出了一种利用神经网络与特征匹配算法进行集装箱角件检测的方法，能在不同的工作场合下得到集装箱角件坐标及集装箱角件平面与相机平面的偏移角度。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于深度学习的集装箱角件识别方法。

背景技术

通过视觉信息进行目标物体的检测，获取目标物体在图片中的位置是计算机视觉的一个重要课题。在集装箱角件的识别当中，首要的就是识别出集装箱在图片中的位置，然后再根据集装箱在空间中的坐标，判断集装箱正面与相机平面的偏移角度，并在此基础上判断集装箱角件在空间中的坐标，所以目标检测的准确性对后续步骤有极大的影响。目前，目标检测的方法主要有：1)基于传统方法的目标检测；2)基于学习的目标检测方法。

传统的目标检测方法都是在保证提取丰富、准确特征的前提下，快速地进行特征计算与预测。但是传统方法提取的特征基本上都是低层次、人工选择的特征。这些特征相对较为直观，容易被人类理解，但是不能很好的表达大量、多类目标，且准确率较低。

基于学习的目标检测方法，是指利用深度学习，从数据集中学习目标物体的高层特征，这些特征具有更好的表达能力。这些方法通常是提取整张图片中的信息，不单单使用物体的一部分特征，所以相对于传统方法，基于学习的目标检测方法不仅使目标检测的精度与速度都得到很大的提升，而且具有更好的抗干扰特性，也就是鲁棒性更强。

发明内容

本发明针对现有技术的不足，提出了一种基于深度学习的集装箱角件识别方法。

本发明结合同场景下彩色相机的高分辨率彩色图片与深度相机采集到的深度图、强度图，利用YOLO-v3神经网络和主成分分析法检测出集装箱角件在现实世界中的坐标，以及角件所在平面与相机所在平面的夹角。具体步骤是：

步骤(1)使用彩色相机获取一张集装箱所在区域的高分辨率彩色图像记为C，使用深度相机获取集装箱所在区域内的深度图记为D、强度图记为I；

步骤(2)使用YOLO-v3神经网络检测彩色图片中的集装箱与角件；具体如下：

①将彩色图像输入训练好的YOLO-v3神经网络中；神经网络会自动对输入图像进行特征提取，然后利用提取出的特征对目标物体在彩色图像中的坐标进行预测，最后经过对多个可能的坐标进行筛选，输出可能性最大的坐标，精确到像素；其中YOLO-v3的检测目标为集装箱和角件，最后会输出三个结果，分别是集装箱与两个角件；

②判断网络输出是否有效；通过对两个角件的坐标是否位于集装箱坐标内来判断网络结果的正确性，只有正确才进入下一步；具体方式如下：

其中，flag表示结果是否有效，x_{box_min},x_{box_max},y_{box_min},y_{box_max}分别是集装箱在彩色图中的横纵坐标范围，i,j分别是角件的横纵坐标；

步骤(3)将彩色图片中集装箱所在区域转换为灰度图，记为G；使用SURF算子检测灰度图G与强度图I中的关键点，并用FLANN算法匹配两张图片的描述算子，并且计算两者关键点之间的距离；根据距离的值域选择阈值，小于阈值则作为匹配的关键点；对匹配的关键点进行透视变换，得到变换矩阵H，并在强度图中框出所有的匹配点，将这个区域认定为深度相机中集装箱的坐标，并将位于G中角件位置的关键点在I中对应的关键点作为角件的坐标；