[发明专利]一种基于深度学习和边缘检测的机械臂抓取目标方法

权利要求书

1.一种基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，包括以下步骤：

S1、采集不同种类的目标物品处于不同姿态时对应的颜色信息和深度信息，并将相应的颜色信息和深度信息融合，得到模型目标数据，以作为样本数据集；

S2、对所述模型目标数据进行标注抓取信息，并输入至深度网络模型中进行训练，以得到优化后的深度网络模型；

S3、将当前待抓取的目标物品的颜色信息和深度信息进行融合，并输入至优化后的深度网络模型，以得到初步抓取信息，所述抓取信息至少包括抓取的中心坐标和抓取角度；

S4、依据所述抓取信息和相应的深度信息，以提取相关点云数据；

S5、对所述点云数据进行滤波去噪，再提取目标边缘信息；

S6、依据初步抓取信息中的抓取角度，设定投影角度范围，在该投影角度范围内统计所述目标边缘信息的投影信息，以得到其各个投影角度相应的投影评估参数；其中，将所述目标边缘信息中的边缘点集分别逆向旋转所述投影角度范围内的任意角度，然后向同一个方向投影，统计所述边缘点集在该方向不同区域上的投影点数量，以生成一维数组，取所述一维数组内部元素的平方和作为该方向的投影评估参数；

S7、将所述投影评估参数最大值对应的角度作为最佳抓取角度，并更新初步抓取信息中原先的抓取角度，机械臂依据新的抓取信息进行目标抓取。

2.根据权利要求1所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述颜色信息和深度信息进行融合包括：将采集的深度信息和颜色信息进行配准，且将匹配的深度信息归一化至0-255之间，以得到RGB-D图像格式，作为模型目标数据。

3.根据权利要求1所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型采用改进的Faster R-CNN深度网络，其内部特征提取采用ResNet-50网络，其激活函数使用Leaky_Relu函数。

4.根据权利要求2所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型将所述抓取角度的范围分为若干个角度区间，利用深度学习训练，以先初步判断出最佳抓取角度所属的角度区间，将该角度区间的中间值作为初步的抓取角度。

5.根据权利要求4所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型判断最佳抓取角度所属的角度区间包括：

利用FPN进行多尺度提取目标特征，得到特征图；

将得到的所有特征图通过RPN进行候选框提取，以生成ROI；

将生成的ROI通过ROI Align归一化为指定的大小，以对应到相应抓取的角度区间。

6.根据权利要求1所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型利用深度学习识别出目标物品，并预测出边界框，从而结合初步的抓取角度，得到抓取宽度和抓取张开距离，以作为所述抓取信息的一部分。

7.根据权利要求6所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，在步骤S7中，还包括结合所述最佳抓取角度，得到新的抓取宽度和抓取张开距离，并更新所述抓取信息中对应的数据。

8.根据权利要求5所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，所述深度网络模型进行多尺度特征提取包括：

对所述模型目标数据对应的图像进行多次卷积操作，使其尺寸变小，并由自下而上的路径进行输送，在每次卷积操作的最后一层将所对应的数据进行输出；

在FPN中采用双线性插值的方法在自下而上的路径中进行二倍上采样，以合并特征图。

9.根据权利要求1所述的基于深度学习和边缘检测的机械臂抓取目标方法，其特征在于，在步骤S5中，采用非线性的双边滤波方法进行滤波去噪，采用Canny算子进行目标边缘信息的提取。