[发明专利]一种基于视觉的目标识别与定位的方法及装置

说明书

本申请涉及一种基于视觉的目标识别与定位的方法及装置，包括如下步骤：S1、对待分拣目标的二维图像进行处理，识别出二维图像中目标的区域以及目标的信息；S2、根据所述目标的信息，从所述目标的区域中提取得到所述目标的初始中心点；S3、以所述目标的高度或者直径为先验信息，采用相机小孔成像模型对所述目标的初始中心点进行修正补偿，得到所述目标的平面中心点；再以所述目标的厚度、高度或者直径作为所述目标的平面中心点在第三维Z轴方向的值，得到所述目标的三维的中心点。通过本发明，可以实现不同类别和放置姿势餐具的识别及三维定位，具有广泛的适用性。

技术领域

本发明属于自动化技术领域，尤其涉及一种基于视觉的目标识别与定位的方法及装置。

背景技术

在餐具集中清洗消毒行业，餐具在清洗消毒和烘干后，还需要对不同类别的餐具进行有序分拣，由于餐具数量大、种类繁多，使得整个工作过程的劳动量较大、工作强度较高。目前，餐具的分拣操作主要由人工完成，存在效率低、用工成本高等问题；而且，通过人工操作进行分拣容易对已消毒的餐具造成二次污染，进而影响餐具的卫生质量。实现餐具的自动化分拣是解决上述问题的有效途径。而要实现餐具的自动化分拣，首先需要实现餐具的精确识别与定位。

专利申请CN109684942A公开了一种基于视觉识别的全自动餐具分拣方法，其基于二维视觉图像，利用YOLO V3深度学习网络进行餐具识别与定位，然后利用机械臂进行分拣；但该申请只实现了餐具类别的识别以及餐具中心点的定位，无法提供餐具的姿态信息(正放、倒扣、横放以及横放时的方向等)。目前，现有技术中大多只能实现餐具中心点的定位或者单一类别餐具的定位识别；有的定位需要使用深度相机，成本高且对玻璃杯等透明餐具识别效果不好。

发明内容

本发明的目的在于解决现有技术中存在的不足，提供一种基于视觉的目标识别与定位的方法及装置。通过本发明，可以实现多种类别、不同放置姿势餐具的识别以及餐具中心点的三维定位(包括抓取点的x、y、z坐标以及方向)，具有广泛的适用性。

具体的，一方面，本发明实施例提供一种基于视觉的目标识别与定位的方法，包括如下步骤：

S1、对待分拣目标的二维图像进行处理，识别出二维图像中目标的区域以及目标的信息；

S2、根据所述目标的信息，从所述目标的区域中提取得到所述目标的初始中心点(即二维平面点，也即x坐标轴和y坐标轴的交汇点)；

S3、以所述目标的高度或者直径为先验信息，采用相机小孔成像模型对所述目标的初始中心点进行修正补偿，得到所述目标的平面中心点(即二维平面点)；再以所述目标的厚度、高度或者直径作为所述目标的平面中心点在第三维Z轴方向的值，得到所述目标的三维的中心点(即所述目标的中心位置)；所述目标的三维的中心点为采用气动吸盘对所述待分拣目标进行抓取时的目标抓取点。

步骤S1中，

作为优选的实施方式，所述处理通过深度学习网络进行处理。在本申请中，深度学习网络是离线训练好的深度学习网络。

作为优选的实施方式，所述深度学习网络为YOLO、R-CNN或者SSD等网络。作为优选的实施方式，所述目标的区域定义为目标外轮廓的外接矩形。

作为优选的实施方式，所述目标的信息包括目标类别、目标摆放姿态及目标的局部区域。

进一步地，所述目标种类包括碟子、碗、茶杯或者玻璃杯等。

进一步地，所述目标摆放姿态包括正放、倒放或者横卧等。

进一步地，所述目标的局部区域包括底部、身体部分及顶部等。