[发明专利]一种垃圾车上使用的自动垃圾桶识别系统及识别方法

说明书

本发明公开了一种垃圾车上使用的自动垃圾桶识别系统及识别方法，所述系统包括垃圾车、上料机构、用于夹持垃圾桶的夹具、车载工控机、双目摄像头、控制器、信号转换模块，本发明通过安装在垃圾车的车载双目摄像头采集车辆侧面路面的彩色图像和深度图像；垃圾车行驶过程中实时检测到视野中出现垃圾桶，进行预警并在图像中标出垃圾桶的位置；并通过信号转换模块发送给控制器，驱动上料机构伸出夹具到指定位置抱住垃圾桶，检测到成功抱紧后上料机构倾倒垃圾；放下垃圾桶过程中，如果检测到车辆作业半径内有无车辆或者行人等经过，则触发报警信号，作业流程暂停，待行人或者车辆等离开作业区域后，放下垃圾桶，完成作业，方便快捷，自动化程度高。

技术领域

本发明涉及一种垃圾车上使用的自动垃圾桶识别系统及识别方法，属于垃圾车的自动控制技术领域。

背景技术

现有垃圾车使用后上料或者侧上料的方式，需要人工辅助操作，通常的实施方式为：车辆行驶到待清理的垃圾桶附近停车，一名工作人员下车将待清理的垃圾桶推到上料机构上，手动触发进行倾倒，放桶等作业。这种作业方式，自动化程度低，作业周期长，工作人员工作强度大、作业环境恶劣。

为了实现垃圾车的自动化作业，可以通过视觉的方式获取垃圾桶的位置。车辆正常行驶过程中，车速较快，因此对实时性要求比较高，但是这种方式计算量较大，实时性不好，并且识别率较低，难以实现准确识别放置在路边垃圾桶的要求。

因此为了研发出垃圾桶智能识别系统，需要解决视觉方案实时性差、识别率低的问题。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种垃圾车上使用的自动垃圾桶识别系统及识别方法，用于发现摆放在路边的垃圾桶，一旦发现垃圾桶，车辆将减速行驶，车上的检测模块开启检测垃圾桶上的标识牌，当检测到垃圾桶在附近，则进入准确识别垃圾桶的程序，安装在垃圾桶侧面的双目摄像头通过识别垃圾桶相对上料机构夹具的位置坐标，将坐标发送给控制器，控制上料机构伸出夹具保住垃圾桶，完成倒料，方便快捷，自动化程度高。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种垃圾车上使用的自动垃圾桶识别系统，包括：

垃圾车，所述垃圾车包括上料机构和用于夹持垃圾桶的夹具，所述夹具安装在上料机构上；

车载工控机，所述车载工控机安装于垃圾车上，所述车载工控机中设有目标检测模型，用于检测得到垃圾桶或行人或车辆相对于垃圾车的位置坐标；

双目摄像头，所述双目摄像头安装在垃圾车的上料机构前部，与所述车载工控机相连接，用于采集车辆侧面路面的彩色图像和深度图像，上传至车载工控机；

控制器，所述控制器与所述上料机构相连接，用于驱动上料机构伸出夹具到指定位置抱住垃圾桶；

信号转换模块，所述信号转换模块与车载工控机和控制器相连接。

第二方面，本发明提供一种根据前述任一项所述的垃圾车上使用的自动垃圾桶识别系统的识别方法，包括：

获取双目摄像头采集的彩色图像和深度图像，输入预先训练好的目标检测模型；

使用矩形框在所述彩色图像中标出垃圾桶或行人或车辆在图像中位置；

接收矩形框返回的像素坐标和相应分类的向量，结合采集到深度图像，得到垃圾桶或行人或车辆相对于垃圾车的位置坐标，其中，深度图像与彩色图像对齐。

进一步的，所述目标检测模型的训练方法，包括：

获取垃圾车在各种环境下的垃圾桶图片；

使用标注工具，标注画面中出现的垃圾桶或行人或车辆，制作成特定格式的数据集，其中，训练集占总数据量的70％，测试集占总数据量的30％；