[发明专利]机器人抓取物体系统、方法及装置

权利要求书

1.一种机器人抓取物体系统，其特征在于，包括：

服务器，用于获取训练数据集，所述训练数据包括:训练用环境图像、所述训练用环境图像中至少一个物体对象的类别、与所述至少一个物体对象相对相机坐标系下的位姿参数间对应关系；从所述训练数据集中学习得到物体抓取信息识别模型，所述模型包括物体抓取特征抽取子网络、物体类别识别子网络和位姿参数识别子网络；将所述模型发送至机器人；

所述机器人，用于接收所述模型；通过图像采集装置采集当前环境图像；通过所述物体抓取特征抽取子网络从所述当前环境图像中抽取物体抓取特征；通过所述物体类别识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象的类别；通过所述位姿参数识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象相对相机坐标系下的位姿参数；将所述相机坐标系下的位姿参数转换为世界坐标系下的位姿参数；根据所述世界坐标系下的位姿参数和所述当前环境图像中至少一个物体对象的类别，抓取目标物体对象。

2.一种机器人抓取物体方法，其特征在于，包括：

通过图像采集装置采集当前环境图像；

通过物体抓取信息识别模型包括的物体抓取特征抽取子网络，从所述当前环境图像中抽取物体抓取特征；

通过所述模型包括的物体类别识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象的类别；以及，通过所述模型包括的位姿参数识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象相对相机坐标系下的位姿参数；

将所述相机坐标系下的位姿参数转换为世界坐标系下的位姿参数；

根据所述世界坐标系下的位姿参数和所述当前环境图像中至少一个物体对象的类别，抓取目标物体对象。

3.根据权利要求2所述的方法，其特征在于，还包括：

通过所述模型包括的二维包围盒识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象的二维包围盒；和/或，通过所述模型包括的语义掩模识别子网络，根据所述物体抓取特征获取所述当前环境图像中至少一个物体对象的语义掩模；

所述根据所述世界坐标系下的位姿参数和所述当前环境图像中至少一个物体对象的类别，并抓取目标物体对象，包括：

根据所述世界坐标系下的位姿参数、所述当前环境图像中至少一个物体对象的类别，以及所述当前环境图像中至少一个物体对象的二维包围盒和/或所述当前环境图像中至少一个物体对象的语义掩模，抓取所述目标物体对象。

4.根据权利要求2所述的方法，其特征在于，所述将所述相机坐标系下的位姿参数转换为世界坐标系下的位姿参数，包括：

确定所述机器人的位置；

根据所述机器人的位置和世界坐标系的原点位置，将所述相机坐标系下的位姿参数转换为世界坐标系下的位姿参数。

5.根据权利要求2所述的方法，其特征在于，还包括：

确定所述目标物体对象的类别；

所述根据所述世界坐标系下的位姿参数和所述当前环境图像中至少一个物体对象的类别，并抓取目标物体对象，包括：

将所述当前环境图像中物体对象类别与所述目标物体对象的类别匹配的物体对象作为所述目标物体对象；

根据所述目标物体对象相应所述世界坐标系下的位姿参数，抓取目标物体对象。

6.根据权利要求5所述的方法，其特征在于，所述确定所述目标物体对象的类别，包括：

接收用户指定的所述目标物体对象的类别。

7.根据权利要求2所述的方法，其特征在于，还包括：

确定所述目标物体对象的存放位置；

通过机器人定位算法和路径规划算法，到达所述存放位置；

所述通过图像采集装置采集当前环境图像，包括：

在到达所述存放位置后，通过所述图像采集装置采集所述当前环境图像。

8.根据权利要求7所述的方法，其特征在于，所述确定所述目标物体对象的存放位置，包括：

接收用户指定的所述存放位置。