[发明专利]一种基于深度学习的目标图像角度计算方法

说明书

本发明公开了一种基于深度学习的目标图像角度计算方法，包括以下步骤：（1）对YOLO目标检测模型、角度分类模型和GAN模型进行模型训练；（2）通过YOLO目标检测模型获取目标垃圾RGB图像；（3）角度分类模型接收检测到的目标垃圾RGB图像，并对其角度进行计算；（4）GAN模型对检测到的目标垃圾RGB图像进行降噪处理，再通过OpenCV进行目标垃圾抓取的角度计算；（5）根据角度分类模型预测的准确率来判断最终的目标垃圾实际抓取角度。本发明采用两种不同计算方法结合，能够在较大程度上优化目标计算角度，提高了分选准确率。

技术领域

本发明涉及深度学习领域，具体涉及一种基于深度学习的目标图像角度计算方法。

背景技术

用于物料抓取的机械手是垃圾分选机器人必不可少的组成部分。物料被置于传送带上后，由视觉系统将采集到的物料图像信息进行处理，生成机器人坐标系下的物料位姿数据并传输给机器人；机器人根据物料位姿数据迅速进行路径规划后调整机械手位姿，从而准确抓取物料。传统的机械手抓取目标垃圾的角度是通过视觉模块直接使用OpenCV进行计算，再将目标角度发送给机器人夹爪进行实时抓取，其中，OpenCV法是根据图像的开、闭和腐蚀膨胀进行计算，找到最大轮廓，求取图片的最小外接矩形，进而获得短边中心点的斜率；该方法适用于简单场景下的物料抓取，但是对于复杂环境下的作业，如目标图像中含有其他杂点、物料堆叠等情况，往往会影响机械手抓取目标角度的计算，导致机械手反映速度慢或者识别错误，进而影响整个产线的分选效率。

深度学习可以模仿人脑的机制来解释数据，但是现阶段通过深度学习抓取物料角度的计算方法几乎都是基于如MaskRCNN、YOLACT等实例分割算法基础上开发的。但是，首先实例分割算法需要针对每个目标垃圾的轮廓进行标注，因而其前期数据的标注量较大；其次在真实产线上，应用实例分割算法检测来料效率较低；而且由于来料性状复杂，也会导致实例分割算法对目标垃圾轮廓分割不准确，从而导致角度计算偏差不准等问题。因此，使用基于其他深度学习计算模型来解决物料抓取角度计算不准确问题，成为了当前亟需解决的难题。

发明内容

本发明要解决的技术问题是提供一种基于深度学习的目标图像角度计算方法，结合YOLO目标检测模型、角度分类模型和GAN模型三大模型，同时运用OpenCV进行角度计算，两种不同计算方法的结合能够在较大程度上优化目标计算角度，提高了分选准确率，计算效果好，且计算速度快。

为解决上述技术问题，本发明采取如下技术方案：本发明的一种基于深度学习的目标图像角度计算方法，其创新点在于包括以下步骤：

(1)对YOLO目标检测模型、角度分类模型和GAN模型进行模型训练；

(2)通过YOLO目标检测模型获取目标垃圾RGB图像；

(3)角度分类模型接收检测到的目标垃圾RGB图像，并对其角度进行计算；

(4)GAN模型对检测到的目标垃圾RGB图像进行降噪处理，再通过OpenCV进行目标垃圾抓取的角度计算；

(5)根据角度分类模型预测的准确率来判断最终的目标垃圾实际抓取角度。

优选的，在上述步骤(1)中，模型训练的方法包括以下步骤：

(1.1)通过工业相机采集待识别检测的RGB图像；

(1.2)标注人员对需要识别的RGB图像进行长方形矩阵框的标注，获得RGB图像上的目标垃圾点位置，并放入YOLO目标检测模型进行训练；

(1.3)在标注人员进行标注画框后，将每个目标垃圾点坐标信息提取压缩成目标垃圾图片，并进行角度标注，再将目标垃圾图片进行分类，分类后的目标垃圾图片再放入角度分类模型进行训练；