[发明专利]基于单目标三维重建的工件快速识别与定位方法

说明书

本发明公开了一种基于单目标三维重建的工件快速识别与定位方法，其包括如下步骤：a)渲染工件三维模型，获取工件在设定三维坐标系中不同角度的图片作为训练图像，扩充训练集,将点云格式的三维模型转化为体素格式放入训练集；b)将二维图片与相应的三维模型进行匹配作为训练集；c)将所述训练集内的图像输入进行训练；d)训练完成后，保存权重，输入从相机中获取的单帧图像进行测试，重建出整个三维模型。本发明将单目标三维重建算法应用于工业生产中，通过单帧图像获取其三维模型，达到抓取与装配的目的；相比于目标检测算法，本发明的网络不需要任何的图像注释或对象类标签，效率比更高，准确度更高，鲁棒性更好。

技术领域

本发明涉及一种深度学习算法与图像渲染技术，特别涉及一种基于单目标三维重建的工件快速识别与定位方法。

背景技术

在工业生产中，工件的自动抓取与装配问题困扰着许多制造商。传统的机械臂主要基于手动预定义的操作，并且具有较差的适应性和对复杂任务的低抗干扰能力。因此，它的应用非常有限。如今，制造商必须面对的工件通常具有不规则的形状和结构，具有各种姿态和位置。随着劳动力成本的增加和现代制造业的发展，传统机器人系统已不能满足工厂生产的需要。工件的自动识别抓取问题成为了生产线上的一个难点与热点。让机器人拥有像人一样的视觉能力，就能够很好的克服这些困难，并且减少失误率，减少工业生产中的人工成本。

机器视觉与目标检测技术密切相关，近年来深度学习技术已广泛运用到目标检测中，与传统的机器视觉和物体检测算法相比，深度学习具有更强大的计算性能，更广泛的应用范围和更好的实际效果。2014年，Ross Girshick等人提出了基于CNN特征图(CNN区域，R-CNN)的区域定位网络结构模型。将检测问题转化为分类问题，并在图像分类中取得了显着成功。随后Fast R-CNN、Faster R-CNN、SSD、YOLO等算法的出现，使得目标检测技术日益成熟，工件的分类与定位问题可以很好的解决，但要实现工件的自动装配，还需获得工件的三维姿态信息，这就成为了这整个抓取装配过程中的技术难题。

发明内容

本发明的主要目的在于提供一种基于单目标三维重建的工件快速识别与定位方法，该方法可以通过单帧图片获取与之对应的工件三维模型，从而实现工件的自动抓取与装配，进而克服现有技术中的不足。

为实现前述发明目的，本发明采用的技术方案包括：

本发明实施例提供了一种基于单目标三维重建的工件快速识别与定位方法，其包括如下步骤：

a)渲染工件三维模型，获取工件在设定三维坐标系中不同角度的图片作为训练图像，扩充训练集，将点云格式的三维模型转化为体素格式放入训练集；

b)将二维图片与相应的三维模型进行匹配作为训练集；

c)将所述训练集内的图像输入训练网络进行训练；

d)训练完成后，保存权重，输入获取的单帧图像进行测试，重建出整个三维模型。

在一些较为具体的实施方案中，步骤a)包括：将每一幅所述训练图像按照使工件绕所述设定三维坐标系的X、Y、Z轴旋转的角度进行标注，进行制作训练集。

在一些较为具体的实施方案中，步骤a)包括：定义选定姿势为参考取值，对应于该选定姿势，工件绕所述设定三维坐标系中X、Y、Z轴旋转的角度都为0°；以及，获取工件绕X轴、Y轴旋转-15°～14°以及绕Z轴旋转0°～90°的图片作为训练图像。

在一些较为具体的实施方案中，步骤c)包括：通过核心模块(3D ConvolutionalLSTM)对所述训练集内的图像输入进行训练。

在一些较为具体的实施方案中，步骤c)包括：

i、设置训练网络，所述训练网络包括编码器、核心模块(3D Convolutional LSTM)和解码器；