[发明专利]一种基于数字孪生和深度神经网络的机器人智能抓取方法

说明书

本发明公开一种基于数字孪生和深度神经网络的机器人智能抓取方法，其包括物理抓取环境、虚拟识别环境以及核心神经网络部分；物理环境由深度相机、机器人、机械爪以及被抓取物体构成，是抓取的主要执行机构；虚拟识别环境由深度相机构建的点云文件和机器人、爪相关姿态构成，是机器人状态、机械爪位置、相机姿态、物体摆放位置的虚拟环境集合；核心神经网络包括抓取生成网络和抓取识别网络，对抓取方式进行采样判别并生成最优的抓取姿态。本发明的机器人智能抓取方法，能够基于相机采集到的颜色‑深度图像，快速高效判断最佳抓取位置和姿态。

技术领域

本发明属于数字孪生智能制造领域，尤其涉及一种基于数字孪生和深度神经网络的机器人智能抓取方法。

背景技术

Digital Twin数字孪生技术：是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟世界中完成物理世界的映射，从而反映相对应的实体装备的全生命周期过程。数字孪生可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统，其是物理世界与虚拟世界进行交互与融合的纽带。

工业3.0的发展，初步的自动化机器人承担起了重复枯燥低智能的劳动，将人类解放了出来。机械臂是工业中最常见的机器人之一，目前机械臂在工业环境中甚至家庭医院中都有着广泛的应用，而抓取并移动物体，是机械臂最重要的工作之一。机械臂的优点是针对给定的任务，可以以高精度快速地完成，在物体位置和形状姿态均固定时，合理设置机械臂的动作可以高效完成抓取。

但是随着工业4.0的潮流和发展，上述方法显现出以下问题：机器人不仅要求能够胜任重复的任务，更被希望能在一定程度上完成复杂任务，拥有应对环境变化的能力。当物体的摆放姿态较为凌乱时，抓取工作就会变得相当困难，即机械臂传统的开环控制对环境的变化抵抗能力基本为零，难以应对复杂智能产线下多变的环境和智能生产需求。

发明内容

针对现有技术的不足，本发明提供一种基于数字孪生和深度神经网络的机器人智能抓取方法，具体技术方案如下：

一种基于数字孪生和深度神经网络的机器人智能抓取方法，所述的机器人智能抓取包括物理抓取环境、虚拟抓取判别环境和抓取决策神经网络；

所述物理抓取环境包括物理机器人、机械爪、深度相机以及待抓取物体集合；所述机械爪为二指平行自适应夹爪；

所述虚拟抓取判别环境为上位机通过与物理硬件进行虚实信息传递所构建的虚拟抓取环境，包括机器人状态、夹爪状态、深度相机姿态以及物体摆放点云信息；

所述抓取决策神经网络均为深度卷积神经网络，运行在上位机中，其包括抓取姿态生成网络以及抓取质量判别网络；

所述的机器人智能抓取方法具体包括如下步骤：

(1)根据现有的机器人智能抓取数据集给出的颜色-深度图像和成功进行物体抓取的抓取框，对其中的抓取质量Q、抓取角度抓取开度W、抓取深度H四个参数进行预处理，得到抓取姿态生成网络的训练集；

(2)根据所述的训练集训练抓取姿态生成网络；

(3)将所述深度相机拍摄的物体深度点云图片和物体彩色照片所组成的4通道图像输入训练好的抓取姿态生成网络中，输出与输入图像长宽一致的四张单通道特征图像；

(4)从所述抓取决策神经网络输出的图像中选取抓取成功概率较高的图像，对这些图像进行旋转、缩放与深度归零的处理后，输入所述的抓取质量判别网络，输出每次抓取的评分；

(5)选择评分最高的抓取作为最终的抓取，结合虚拟抓取环境中的相机姿态、机器人姿态以及相机内参，将所述抓取决策神经网络所判断出的深度相机坐标系下的最佳2.5D抓取姿态，转化到机器人基坐标系下的3D抓取姿态，并控制机器人和机械爪完成对物体的抓取。

进一步地，所述的步骤(1)中的预处理包括：