[发明专利]一种基于三级卷积神经网络的物体抓取检测方法

权利要求书

1.一种基于三级卷积神经网络的物体抓取检测方法，是应用于由机器人、摄像机、目标物所组成的物体抓取操作中，其特征是，所述物体抓取检测方法是按如下步骤进行：

步骤1：获取第一组数据集和第二组数据集，所述第一组数据集用于训练第一级卷积神经网络，所述第二组数据集用于训练第二级和第三级卷积神经网络；

步骤1.1：利用所述摄像机获取各种抓取物体的RGB图像，记任意一张RGB图像为u；

步骤1.2：对RGB图像u进行网格划分，获得数张相同大小的矩形图片，记任意一张矩形图片为r；若所述矩形图片r包含抓取物，则令矩形图片r的标签为1；若所述矩形图片r不包含抓取物，则令矩形图片r的标签为0，从而得到所有带标签的矩形图片构成第一组数据集；

步骤1.3：利用矩形框对RGB图像u进行截取，获取若干个的随机矩形图片，记任意一张随机矩形图片为s；判断随机矩形图片s中所包含的抓取物是否能实现物体抓取，若能实现，则令随机矩形图片s的标签值属于[α,1]；否则，令随机矩形图片s的标签值属于[0,α]；从而得到第二组数据集；

步骤2：构建第一级、第二级和第三级卷积神经网络，并利用所述第一组数据集和第二组数据集离线训练所述第一级、第二级和第三级卷积神经网络的参数，从而得到卷积神经网络模型；

步骤2.1：建立第一级卷积神经网络的结构，包括：一组卷积层、一组池化层和一个全连接层；利用所述第一组数据集学习第一级卷积神经网络的网络函数F₁(X,Θ)，其中，X为第一组数据集，Θ为第一级卷积神经网络的网络参数；

步骤2.2：使用式(1)所示的损失函数更新网络参数Θ：

式(1)中，X_i是所述第一组数据集中任意一个矩形图片，Y_i是矩形图片X_i所对应的标签；i＝1,2,…,N，N是第一组数据集的样本数量；

步骤2.3：建立第二级卷积神经网络结构，包含一组卷积层、一组池化层和一个全连接层；利用所述第二组数据集学习第二级卷积神经网络的网络函数F₂(X′,Θ′)，其中，X′为所述第二组数据集，Θ′为第二级卷积神经网络的网络参数；

步骤2.4：使用式(2)所示的损失函数更新网络参数Θ′：

式(2)中，X′_j是所述第二组数据集中任意一个随机矩形图片，Y′_j是矩形图片X′_j所对应的标签；j＝1,2,…,M，M是第二组数据集的样本数量；

步骤2.5：建立第三级卷积神经网络结构，包含两组卷积层、两组池化层和两个全连接层；利用所述第二组数据集学习第三级网络函数F₃(X′,Θ″)，其中，Θ″为第三级卷积神经网络的网络参数；

步骤2.6：使用式(3)所示的损失函数更新网络参数Θ″：

步骤3：由所述摄像机获取所述目标物的图像，并作为所述卷积神经网络模型的输入；

步骤4：基于第一级卷积神经网络，通过滑动窗的方式对所述目标物的图像空间进行搜索，寻找出所述目标物的初步位置；

步骤5：基于第二级卷积神经网络，通过滑动窗的方式对所述初步位置进行搜索，并确定若干个抓取矩形框作为预选抓取框；

步骤6：利用第三级卷积神经网络对所述预选抓取框进行精确评判，获取每个预选抓取框的评判值；

步骤7：根据预选抓取框的评判值对预选抓取框进行降序排序，并选出排名前N′的预选抓取框；获取N′个预选抓取框的各个中心点，并对所述各个中心点求取中心平均值，根据所述中心平均值分别得到N′个预选抓取框的均方差，并选择均方差最小的预选抓取框作为最优抓取框；

步骤8：使用所述最优抓取框确定所述目标物的位置与姿态：

步骤8.1：确定目标物的位置：

利用式(4)获得所述目标物的图像中目标物在相机坐标系F_ca下的位置O_{(x′,y′,z′)}：

式(4)中，Z(m,n)表示所述目标物的图像中任意像素点(m,n)在相机坐标系F_ca下的三维坐标值；x和y分别表示最优抓取框的中心点的坐标值；x′、y′和z′分别表示所述目标物在相机坐标系F_ca下的三维坐标值；

步骤8.2：确定目标物的姿态：

根据笛卡尔坐标系右手法则建立物体坐标系F_ob，并使得所述物体坐标系F_ob的z轴与相机坐标系F_ca的z轴平行且方向相反，则利用式(5)获得目标物在相机坐标系F_ca下的姿态

式(5)中，θ是所述目标物的图像中最优抓取框相对于法线方向的旋转度；

步骤8.3：利用式(6)获得目标物的位姿矩阵

步骤8.4：根据所述相机坐标系F_ca与末端执行器坐标系F_cl的固定相对位姿，得到相机坐标系F_ca在末端执行器坐标系F_cl中的位姿矩阵

步骤8.5：通过正运动学求解法得到末端执行器坐标系F_cl在机器人坐标系F_ba中的位姿矩阵

步骤8.6：利用式(7)得到所述目标物在机器人坐标系F_ba中的位姿矩阵