[发明专利]抓取位置检测模型训练方法、抓取位置检测方法及装置

权利要求书

1.一种抓取位置检测模型训练方法，其特征在于，包括：

获取多张样本图像，以及与各张所述样本图像对应的抓取位置投票标签图；其中，每张所述样本图像中均包括至少一种类别下随机堆叠的多个物体；所述抓取位置投票标签图中包括对应样本图像中的各个像素点对位于样本图像中的任一物体的抓取位置进行投票的真实投票信息；

利用神经网络，对所述多张样本图像进行特征提取，得到所述多张样本图像中的每张样本图像对应的特征数据，并基于所述特征数据，获取抓取位置投票预测图；

基于所述抓取位置投票预测图以及所述抓取位置投票标签图训练所述神经网络，得到所述抓取位置检测模型。

2.根据权利要求1所述的抓取位置检测模型训练方法，其特征在于，在所述样本图像中，针对像素点为任一物体的中心像素点的情况，该像素点对应的真实投票信息包括：该像素点属于所述任一物体的中心像素点的分类信息；

针对像素点为任一物体上非中心素点的情况，该像素点对应的真实投票信息包括：该像素点与所述任一物体上中心像素点之间的距离信息，以及该像素点属于所述任一物体的非中心像素点的分类信息；

针对任一像素点为不属于任何物体上像素点的情况，该任一像素点对应的真实投票信息包括：该像素点不属于任何物体的分类信息。

3.根据权利要求1或2所述的抓取位置检测模型训练方法，其特征在于，获取与各张所述样本图像对应的抓取位置投票标签图，包括：

获取样本图像中各个像素点的真实投票信息；

基于样本图像中的各个像素点的真实投票信息，生成所述样本图像中的各个像素点在所述抓取位置投票标签图中对应位置的像素点的像素值；

基于所述样本图像中的各个像素点在所述抓取位置投票标签图中对应位置的像素点的像素值，构成所述抓取位置投票标签图。

4.根据权利要求1-3任一项所述的抓取位置检测模型训练方法，其特征在于，采用下述方式获取所述样本图像：

基于仿真数据采集系统搭建目标场景；所述目标场景中包括至少一种类别下随机堆叠的多个物体；

基于所述目标场景，获取所述样本图像。

5.根据权利要求4所述的抓取位置检测模型训练方法，其特征在于，基于所述仿真数据采集系统搭建目标场景，包括：

基于预先生成的物体模型，随机生成所述至少一种类别下的多个物体实例；

控制所述物体实例在所述目标场景中随机堆叠。

6.根据权利要求5所述的抓取位置检测模型训练方法，其特征在于，所述目标场景中，还包括：工作台；

所述基于所述仿真数据采集系统搭建目标场景，还包括：

基于预先生成的工作台模型，随机生成至少一个工作台实例；

所述控制所述物体实例在所述目标场景中随机堆叠，包括：

控制所述物体实例在所述工作台实例上随机堆叠。

7.根据权利要求5或6所述的抓取位置检测模型训练方法，其特征在于，所述控制所述物体实例在所述目标场景中随机堆叠，包括：

控制所述物体实例在所述目标场景中随机掉落，以在所述物体实例稳定后在所述目标场景中形成所述物体实例的随机堆叠。

8.根据权利要求5-7任一项所述的抓取位置检测模型训练方法，其特征在于，所述基于预先生成的物体模型，随机生成所述至少一种类别下的多个物体实例，包括：

对所述物体模型进行随机化处理，和/或，对所述目标场景进行随机化处理，生成所述至少一种类别下的多个物体实例。

9.根据权利要求8所述的抓取位置检测模型训练方法，其特征在于，对所述物体模型的随机化处理包括下述至少一种：

物体数量随机化处理、物体尺寸随机化处理、物体形状随机化处理、物体纹理随机化处理、物体掉落位置随机化处理、物体掉落姿态随机化处理、以及物体的摆放方式随机化处理；

对所述目标场景的随机化处理包括下述至少一种：环境光照方向的随机化处理、环境光照强度的随机化处理、摄像头摆放位置的随机化处理、以及摄像头拍摄角度的随机化处理。