[发明专利]一种基于深度学习的柔性机器人视觉识别与定位系统

说明书

本发明公开了一种基于深度学习的柔性机器人视觉识别与定位系统，包括如下步骤：获取零件的图像并二值化处理提取其外轮廓边缘；找出其外轮廓边缘在横向上的外接矩形确定待识别区域，归一化处理为标准图像；等角度地逐渐旋转标准图像，找出标准图像旋转到其外轮廓边缘在横向上的外接矩形的面积最小时的旋转角度α；采用深度学习网络提取旋转角度为α时的外轮廓边缘，识别零件以及其位姿；根据旋转角度α，以及位姿，计算旋转前待识别零件所处的实际位姿，并将该位姿数据传给柔性机器人，以便柔性机器人拾取待识别零件。本发明利用深度学习网络逐层自动抽取零件图像数据所蕴含的轮廓形状特征，能够在复杂条件下，大大提高零件识别及定位准确性和适应性。

技术领域

本发明涉及机器人行业的视觉识别与定位技术领域，特别地涉及一种基于深度学习的柔性机器人视觉识别与定位系统。

背景技术

柔性工业机器人在对零件的自动装配、搬运、分拣中，如何准确识别与定位传输装置上随意放置并混杂的机械零件是一项非常重要且十分有难度的任务，零件的特征是否被正确选取、是否被有效描述，对柔性机器人最终识别与定位效果的影响是非常显著的、甚至是决定性的。在零件混杂、随意放置、视角变化、图像缩放、扭曲、光照变化、背景干扰等复杂条件下，现有柔性机器人识别与定位准确性不高，其主要原因就是所用零件特征有效性和适应性差。

对于零件特征，现有方法多是采用“人工缺陷特征选取+人工特征描述计算”的方式，如颜色、纹理、形状等各类传统人工特征及其描述算子。目前采用较多的是针对不同的零件提出的各种人工形状描述算子，如傅立叶算子、曲率尺度空间算子、矩、以及链码等，这些方法在特定的条件下能够获得一定的效果。但是面对零件混杂、随意放置、视角变化、光照变化、背景干扰、甚至图像缩放或扭曲，这些方法就不能很好地进行零件目标识别了。并且，上述人工特征的有效性和适应性存在很大问题，需要启发式方法、非常专业的知识、很大程度上也靠个人经验，并有可能受具体条件的限制，适应性往往较差。零件人工特征有效性和适应性差是现有柔性机器人识别与定位准确性不高的主要原因之一。

深度学习机制具有优异的特征自学习能力，能够模拟人脑准确高效地从大量感知数据中自动提取本质信息，从而大大提高分类识别或分类的准确性。目前针对深度学习的研究主要集中在环境条件较好的人脸模型、字符识别、语音识别等方面。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种利用深度学习网络逐层自动抽取零件图像数据所蕴含的轮廓形状特征，在零件混杂、随意放置、视角变化、光照变化、背景干扰、缩放或扭曲等复杂条件下，大大提高零件识别及定位准确性和适应性的基于深度学习的柔性机器人视觉识别与定位系统。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于深度学习的柔性机器人视觉识别与定位系统，其特征在于，包括如下步骤：

1)零件外轮廓边缘提取：采用CCD相机获取待识别零件所在区域的图像，对原图像进行二值化处理，提取图像中各零件的外轮廓边缘；

2)归一化处理：确定图像中各零件的外轮廓边缘在水平方向上的外接矩形，并将每个外接矩形向外扩大至少2个像素得到每个零件的待识别区域，将每个零件的待识别区域归一化处理为标准图像；

3)在90度范围内，等角度地逐渐旋转各零件的标准图像，并计算每次旋转后该零件在当前位置处的外轮廓边缘在水平方向上的外接矩形的面积，确定各零件的标准图像旋转到其外轮廓边缘在水平方向上的外接矩形的面积最小时的旋转角度α；

4)采用已经学习有待识别零件的外轮廓边缘在水平方向上的外接矩形的面积最小时的四种位姿的深度学习网络提取所述步骤3)中各零件旋转角度为α时的外轮廓边缘形状，识别混杂在各零件中的待识别零件以及其旋转后所处的位姿；