[发明专利]一种垃圾车上使用的自动垃圾桶识别系统及识别方法

权利要求书

1.一种垃圾车上使用的自动垃圾桶识别系统，其特征在于，包括：

垃圾车，所述垃圾车包括上料机构和用于夹持垃圾桶的夹具，所述夹具安装在上料机构上；

车载工控机，所述车载工控机安装于垃圾车上，所述车载工控机中设有目标检测模型，用于检测得到垃圾桶或行人或车辆相对于垃圾车的位置坐标；

双目摄像头，所述双目摄像头安装在垃圾车的上料机构前部，与所述车载工控机相连接，用于采集车辆侧面路面的彩色图像和深度图像，上传至车载工控机；

控制器，所述控制器与所述上料机构相连接，用于驱动上料机构伸出夹具到指定位置抱住垃圾桶；

信号转换模块，所述信号转换模块与车载工控机和控制器相连接。

2.根据权利要求1所述的垃圾车上使用的自动垃圾桶识别系统，其特征在于：所述车载工控机中设有报警模块，用于在检测到垃圾车作业半径内有车辆或者行人经过时，触发报警信号。

3.根据权利要求1所述的垃圾车上使用的自动垃圾桶识别系统，其特征在于：所述双目摄像头中设有红外光发射模块。

4.根据权利要求1所述的垃圾车上使用的自动垃圾桶识别系统，其特征在于：所述双目摄像头的内部安装有温控模块。

5.一种根据权利要求1-4任一项所述的垃圾车上使用的自动垃圾桶识别系统的识别方法，其特征在于，包括：

获取双目摄像头采集的彩色图像和深度图像，输入预先训练好的目标检测模型；

使用矩形框在所述彩色图像中标出垃圾桶或行人或车辆在图像中位置；

接收矩形框返回的像素坐标和相应分类的向量，结合采集到深度图像，得到垃圾桶或行人或车辆相对于垃圾车的位置坐标，其中，深度图像与彩色图像对齐。

6.根据权利要求5所述的识别方法，其特征在于：所述目标检测模型的训练方法，包括：

获取垃圾车在各种环境下的垃圾桶图片；

使用标注工具，标注画面中出现的垃圾桶或行人或车辆，制作成特定格式的数据集，其中，训练集占总数据量的70％，测试集占总数据量的30％；

使用训练集对标检测模型进行训练，得到训练好的标检测模型，并在测试集上验证模型的准确性。

7.根据权利要求6所述的识别方法，其特征在于：所述目标检测网络是在YOLO-V3模型的基础上修改获得，其中，所述目标检测网络的主干网络为Darknet53，在检测任务中保留从输入到C0部分的网络结构，将C0之后平均池化、全连接层和softmax去掉，再添加检测网络模块。

8.根据权利要求7所述的识别方法，其特征在于：使用标定工具获取双目相机的位姿，包括相机的安装高度，和姿态的欧拉角，转换成旋转矩阵R和平移矩阵T保存到本地，用于将双目相机获取的相机坐标系下的三维点坐标转换为车辆坐标系下的点坐标。

9.根据权利要求8所述的识别方法，其特征在于：根据双目相机获取点云P₁，并经过公式转换为到车辆坐标系下的点云P_c；设置高度阈值，过滤掉高度太高或者过低的点，获得地面候选点集P₂；对候选点集进行分割，得到地面点P_g以及地面的模型参数M_g；

P_c＝RP₁+T

点云P_c去掉地面点P_g后得到点云P₃，

P₃＝P_C-P_g

根据点的高度坐标、宽度坐标和距离坐标，筛选出障碍物候选点P_o，候选点为垃圾车前方指定空间内的点，然后根据这些点之间的距离做聚类，将属于同一物体的点分为一类，得到相应物体点的集合，根据点的多少过滤掉噪声点集和小障碍物点集，得到障碍物的点集并计算障碍物的距离坐标；将检测到的障碍物信息通过转换模块传给控制器，做出相应预警。

10.根据权利要求6所述的识别方法，其特征在于，包括：

垃圾车启动后自动打开双目摄像头，采集前方路面图像，送入车载工控机中，通过目标检测模型识别得到车辆、行人、垃圾桶和障碍物的相关位置信息，通过信号转换模块传给控制器，控制车辆预警，以及控制上料机构进行自动抓桶作业。