[发明专利]一种基于视觉的目标识别与定位的方法及装置

权利要求书

1.一种基于视觉的目标识别与定位的方法，其特征在于，包括如下步骤：

S1、对待分拣目标的二维图像进行处理，识别出二维图像中目标的区域以及目标的信息；

S2、根据所述目标的信息，从所述目标的区域中提取得到所述目标的初始中心点；

S3、以所述目标的高度或者直径为先验信息，采用相机小孔成像模型对所述目标的初始中心点进行修正补偿，得到所述目标的平面中心点；再以所述目标的厚度、高度或者直径作为所述目标的平面中心点在第三维Z轴方向的值，得到所述目标的三维的中心点。

2.根据权利要求1所述的基于视觉的目标识别与定位的方法，其特征在于，步骤S1中，所述处理通过深度学习网络进行处理；所述目标的区域定义为目标外轮廓的外接矩形；所述目标的信息包括目标种类、目标摆放姿态及目标的局部区域。

3.根据权利要求2所述的基于视觉的目标识别与定位的方法，其特征在于，所述深度学习网络为YOLO、R-CNN或者SSD网络；

所述目标种类包括碟子、碗、茶杯或者玻璃杯；

所述目标摆放姿态包括正放、倒放或者横卧；

所述目标的局部区域包括底部、身体部分及顶部。

4.根据权利要求3所述的基于视觉的目标识别与定位的方法，其特征在于，若步骤S1中所述目标的信息为正放的餐具，则从所述餐具的区域中拟合提取出所述正放的餐具的开口的圆，以所述圆的圆心作为所述正放的餐具的初始中心点；

或者，若步骤S1中所述目标的信息为正放的餐具，直接利用深度学习网络从所述餐具的区域中识别出餐具的底部的圆的区域，以所述底部圆的区域中心作为所述倒放的餐具的初始中心点。

5.根据权利要求3所述的基于视觉的目标识别与定位的方法，其特征在于，若步骤S1中所述目标的信息为倒放的餐具，则从所述餐具的区域中拟合提取出所述倒放的餐具的底部的圆，以所述圆的圆心作为所述倒放的餐具的初始中心点；

或者，若步骤S1中所述目标的信息为倒放的餐具，直接利用深度学习网络从所述餐具的区域中识别出餐具的底部的圆的区域，以所述底部圆的区域中心作为所述倒放的餐具的初始中心点。

6.根据权利要求3所述的基于视觉的目标识别与定位的方法，其特征在于，若步骤S1中所述目标的信息为横卧的餐具，以所述横卧的餐具的杯身区域的中心点作为所述横卧的餐具的初始中心点；

将所述横卧的餐具的杯身和所述横卧的餐具的杯底进行配对，以配对后的杯身区域的中心点和杯底区域的中心点的连线方向确定所述横卧的餐具开口的朝向。

7.根据权利要求4所述的基于视觉的目标识别与定位的方法，其特征在于，步骤S3中，以所述正放的餐具的高度为先验信息，采用相机小孔成像模型对所述正放的餐具的初始中心点进行修正补偿，得到所述正放的餐具的平面中心点；再以所述正放的餐具的厚度作为所述正放的餐具的平面中心点在第三维Z轴方向的值，得到所述正放的餐具的三维的中心点。

8.根据权利要求5所述的基于视觉的目标识别与定位的方法，其特征在于，步骤S3中，以所述倒放的餐具的高度为先验信息，采用相机小孔成像模型对所述倒放的餐具的初始中心点进行修正补偿，得到所述倒放的餐具的平面中心点；再以所述倒放的餐具的高度作为所述倒放的餐具的平面中心点在第三维Z轴方向的值，得到所述倒放的餐具的三维的中心点。

9.根据权利要求6所述的基于视觉的餐具识别与定位的方法，其特征在于，步骤S3中，以所述横卧的餐具的直径为先验信息，采用相机小孔成像模型对所述横卧的餐具的初始中心点进行修正补偿，得到所述横卧的餐具的平面中心点；再以所述横卧的餐具的直径作为所述横卧的餐具的平面中心点在第三维Z轴方向的值，得到所述横卧的餐具的三维的中心点。

10.一种基于视觉的目标识别与定位的装置，其特征在于，运用权利要求1-9任一项所述的基于视觉的目标识别与定位的方法进行目标识别与定位。