[发明专利]一种基于深度卷积神经网络的工业机械臂视觉控制方法

摘要

本发明公开了一种基于深度卷积神经网络的工业机械臂视觉控制方法，包括步骤：1)目标物体视觉信息采集与预处理；2)训练与调整深度卷积神经网络模型；3)验证模型与保存模型。本发明结合深度卷积神经网络提取不同姿态的目标物体的理想抓取位置，提升了系统能够适用的范围，从而克服了传统视觉控制发放识别特定目标物体差问题，有效简化工业机械臂的使用难度，为工业机械臂控制提供新的方法，具备良好的扩展性。

主权项

1.一种基于深度卷积神经网络的工业机械臂视觉控制方法，其特征在于，包括以下步骤：1)目标物体视觉信息采集与预处理将目标物体放置于工作台上，利用CCD照像机采集目标物体图像的颜色信息图片和深度信息，以及进行人工标注理想抓取位姿点；2)训练与调整深度卷积神经网络模型利用步骤1)中采集的目标物体对预设深度神经网络进行训练，得到目标物体模型高层次特征表达，得到预训练的深度卷积神经网络模型，并利用一组测试数据调整和测试预训练的深度卷积神经网络模型的准确率；其中，采用深度卷积神经网络对工作台上的目标物体的理想抓取点进行识别从而控制工业机械臂进行抓取工业加工处理操作，具体实现为如下：在深度卷积神经网络中主要包括卷积运算操作层、下采样层、激活层以及全连接层；其中在激活层中使用的是修正线性单元函数，全连接层用于深度卷积网络的最后一层，得出深度卷积网络的预测结果；卷积运算操作层通过令每个神经元与下一层的若干个局部区域相连接，将目标物体视觉信息图像输入到卷积运算层中，计算权重和局部区域图像像素值的内积，卷积运算后的输出y与卷积核w、卷积前的输入x关系如下：其中y_j是卷积后输出向量中的元素，x_i是与y_j对应的卷积前输入的局部区域中的像素，从而提取局部区域的特征结果信息，在整幅图像上滑动的重复计算这个过程，提取得到整幅图像关于此权重向量的特征结果信息，这部分权重值组成的向量称为卷积核或过滤器；过滤器能够提取出目标物体图像的部分特征信息，当过滤器与局部区域图像像素进行内积操作时，存在特征内积输出展现为激活状态；经过卷积运算操作后就能得到新的目标物体的二维表示，在单个卷积运算操作层中应用若干过滤器提取目标物体若干新的二维表示，其中过滤器相对应的特征的表达结果保留在新的二维表示中，在训练过程中，根据神经网络预测结果与真实结果的误差，通过反向计算最终误差对每一层的参数的导数，即误差函数的梯度对卷积核进行修正，从而使网络能够学习到目标物体理想抓取位置的特征；在卷积运算操作层中，每一层的神经元仅与上一层的局部区域相连接，前一层的以滑动窗口的方式对内积和像素值进行内积操作；在内积操作中，仅窗口中的目标物体图像像素值参与内积运算；滑动方式是每次窗口向右移动若干单位的像素即使得窗口覆盖新的局部区域，若已到达目标物体图像的右边界，则移动窗口回到目标图像的左边界，并将窗口向下移动若干单位的像素；此窗口即为过滤器或卷积核，其具有长度和宽度即具有长×宽的像素大小的区域；上述运算提取出目标物体图像具有过滤器所表示特征的过滤结果；在实际应用中，过滤器的长、宽、数量属于超参数，需要手动设置；通过这样的方式，过滤器减少了卷积操作层中需要的参数数量，实现了层中参数共享的作用；下采样层，也即池化层，经过卷积运算操作层后，得到的目标物体新的二维表示仍然存在维度过高的情形，维数过多使得训练难度增加，容易使得深度卷积网络产生过拟合现象，需要通过下采样方法降低新的二维表示的数据维度；下采样的方法是对图像数据中不同位置的特征进行聚合统计，具体是：将目标物体新的二维表示分割成大小相同的若干的小区域，以此小区域的统计特征表示该区域，从而使得数据的维度降低；通常卷积运算操作层和下采样层合并认为是一层；3)验证模型与保存模型将CCD照像机采集新的目标物体图像的样本作为步骤2)得到的深度卷积神经网络的输入，得到目标物体上的理想抓取位置，以此位置作为目标点，控制机械臂进行抓取操作。