[发明专利]一种基于角点池化的路口多视角目标检测方法及系统

说明书

本发明公开了一种基于角点池化的路口多视角目标检测方法及系统，所述方法包括：对实时采集的路口多视角相机的图像进行预处理；将预处理后的多视角相机的图像输入预先建立和训练好的路口多视角目标检测模型，输出目标预测结果；其中，所述多视角目标检测模型用于提取预处理后的多视角相机的图像的特征、将提取的特征进行特征投影、特征融合和角点池化，通过角点池化处理后的地平面矩形特征图预测目标位置，同时将提取的特征进行单视角检测和结果投影，通过单视角目标位置映射图对目标位置进行校正，输出目标预测结果。

技术领域

本发明属于目标检测领域，具体涉及一种基于角点池化的路口多视角目标检测方法及系统。

背景技术

随着无人驾驶和智慧城市的飞速发展，单传感器的车辆检测技术已经相对成熟，然而，在交通状况复杂的路口中，车辆拥堵造成的密集检测难度大、体积庞大的车辆造成的遮挡问题、单传感器的不确定性等因素严重制约了车辆检测的精度，在复杂的路口中也存在安全隐患。随着多视角检测方法的引入，路口车辆在拥挤或遮挡场景下的检测性能已经得到显著的提升，这对无人驾驶的安全性有极大的促进作用。然而，基于多视角的车辆检测方法往往伴随着多传感器数据的融合，将多视角数据整合到一起实现车辆检测可以通过多视角结果级融合和多视角特征级融合，但它们分别存在以下问题：

1、多视角结果级融合：每一个视角的数据都需要一个独立的计算单元，不可避免地带来了计算资源的大量开销。将所有视角的检测结果投影到一起时，由于透视变换的误差及图像拼接时边缘的畸变，处于视角重叠区域的目标在不同视角中的结果往往会不一致，这将导致车辆检测结果的“重影”现象，给无人驾驶的决策带来很大的不确定性。

2、多视角特征级融合：多视角数据提取特征后在一个独立的计算单元上完成所有的计算过程，以减少计算冗余。但特征融合只能减少计算量，并没有从本质上改善“重影”现象，而是将两个重影检测为一个较大的目标，这也会对最后的决策造成干扰。

发明内容

本发明的目的在于克服上述技术缺陷，提出了一种基于角点池化的路口多视角目标检测方法，该方法通过对多视角数据特征进行角点池化，增强目标车辆的角点信息，从而在保证没有冗余计算开销的同时，达到减轻甚至消除“重影”现象的目的。此外，基于角点池化的路口多视角车辆检测由于增强了车辆特征的角点信息，有效地提高了检测精度和模型的鲁棒性。

为实现上述目的，本发明提出了一种基于角点池化的路口多视角目标检测方法，所述方法包括：

对实时采集的路口多视角相机的图像进行预处理；

将预处理后的多视角相机的图像输入预先建立和训练好的路口多视角目标检测模型，输出目标预测结果；其中，所述多视角目标检测模型用于提取预处理后的多视角相机的图像的特征、将提取的特征进行特征投影、特征融合和角点池化，通过角点池化处理后的地平面矩形特征图预测目标位置，同时将提取的特征进行单视角检测和结果投影，通过单视角目标位置映射图对目标位置进行校正，输出目标预测结果。

进一步的，所述路口多视角目标检测模型包括：特征提取模块、多视角特征投影模块、特征融合模块、特征图角点池化模块、单视角检测模块和预测模块；

所述特征提取模块，用于对多个视角相机的图像进行特征提取，得到多个视角的特征图；

所述多视角特征投影模块，用于利用每个相机的标定文件，基于透视变换将多个视角的特征图投影到一个鸟瞰图平面上，得到多个相机的级联投影特征图；

所述特征融合模块，用于将多个相机的级联投影特征图与2通道的相机坐标特征图进行融合，输出一个(N×C+2)通道的地平面矩形特征图，其中，N为相机的个数，C为每个相机的图像提取出的特征通道数；

所述特征图角点池化模块，用于对地平面矩形特征图进行角点池化处理，输出角点池化处理后的地平面矩形特征图；