[发明专利]基于长短焦双摄像头的红绿灯检测方法、设备和存储介质

权利要求书

1.一种基于长短焦双摄像头的红绿灯检测方法，其特征在于，长焦摄像头和短焦摄像头设置在车辆上，所述方法包括：

在所述车辆的行驶过程中实时获取长焦摄像头采集的多张第一图像；

对所述多张第一图像顺次进行红绿灯检测，得到红绿灯在所述第一图像中的第一包围框；

将所述第一包围框变换到短焦摄像头的像素坐标系中得到第二包围框，并在所述短焦摄像头的像素坐标系中预测所述第二包围框在下一时刻的位置；

当在第一图像中首次未检测到红绿灯时，对短焦摄像头采集的第二图像进行红绿灯检测，得到红绿灯在所述第二图像中的第三包围框；

如果所述第三包围框与预测的第二包围框在当前时刻的位置匹配，则确定所述第三包围框检测到红绿灯。

2.根据权利要求1所述的方法，其特征在于，在所述确定所述第三包围框检测到红绿灯之后，还包括：

停止对所述第一图像的红绿灯检测；

继续对所述第二图像进行实时获取和红绿灯检测。

3.根据权利要求2所述的方法，其特征在于，在所述继续对所述第二图像进行实时获取和红绿灯检测之后，还包括：

当第二图像中首次未检测到红绿灯时，停止对第二图像的红绿灯检测，并返回对所述多张第一图像顺次进行红绿灯检测的步骤。

4.根据权利要求1所述的方法，其特征在于，在所述对所述第二图像进行红绿灯检测，得到红绿灯在所述第二图像中的第三包围框之后，还包括：

如果所述第三包围框与预测的第二包围框在当前时刻的位置不匹配，对所述短焦摄像头和长焦摄像头进行重新标定；

按照重新标定的参数，更新所述第二包围框在当前时刻的位置，并判断更新后的位置与第三包围框是否匹配；

如果匹配，则确定所述第三包围框检测到红绿灯。

5.根据权利要求4所述的方法，其特征在于，所述对所述短焦摄像头和长焦摄像头进行重新标定，包括：

基于车辆静态时标定得到的第一单应性矩阵，将长焦摄像头视野的边界顶点变换到短焦摄像头的像素坐标系中，得到目标位置；

将第二图像目标位置内的像素与同时刻采集的第一图像的像素进行特征点提取和匹配，得到新的第一单应性矩阵和新的第二单应性矩阵；所述第一单应性矩阵表示长焦摄像头的像素坐标系到短焦摄像头的像素坐标系的变换关系，所述第二单应性矩阵表示短焦摄像头的像素坐标系到长焦摄像头的像素坐标系的变换关系；

所述按照重新标定的参数，更新所述第二包围框在当前时刻的位置，包括：

基于车辆静态时标定得到的第二单应性矩阵，将所述第二包围框在当前时刻的位置变换到长焦摄像头的像素坐标系中；

基于新的第一单应性矩阵，将长焦摄像头的像素坐标系中所述第二包围框在当前时刻的位置变换到短焦摄像头的像素坐标系中。

6.根据权利要求4所述的方法，其特征在于，在判断更新后的位置与第三包围框是否匹配之后，还包括：

如果不匹配，则确定所述第三包围框未检测到红绿灯，继续在短焦摄像头下一时刻采集的第二图像进行红绿灯检测，得到下一时刻的第三包围框；

根据当前时刻得到的、更新后的第二包围框的位置预测所述第二包围框在下一时刻的位置；

对所述下一时刻的第三包围框和下一时刻的位置进行匹配。

7.根据权利要求1-6任一项所述的方法，其特征在于，在所述确定所述第三包围框检测到红绿灯之后，还包括：

确定一检测周期包括的目标检测次数，以及达到所述目标检测次数的过程中所检测到的各红绿灯类型；

将在所述目标检测次数中占比超过设定阈值的红绿灯类型作为一检测周期的检测结果。

8.根据权利要求7所述的方法，其特征在于，在所述将在所述目标检测次数中占比超过设定阈值的红绿灯类型作为检测结果之后，还包括：

根据红绿灯变化的时序特征，对连续多个检测周期的检测结果进行修正。