[发明专利]一种基于角点池化的路口多视角目标检测方法及系统

权利要求书

1.一种基于角点池化的路口多视角目标检测方法，所述方法包括：

对实时采集的路口多视角相机的图像进行预处理；

将预处理后的多视角相机的图像输入预先建立和训练好的路口多视角目标检测模型，输出目标预测结果；其中，所述多视角目标检测模型用于提取预处理后的多视角相机的图像的特征、将提取的特征进行特征投影、特征融合和角点池化，通过角点池化处理后的地平面矩形特征图预测目标位置，同时将提取的特征进行单视角检测和结果投影，通过单视角目标位置映射图对目标位置进行校正，输出目标预测结果；

所述路口多视角目标检测模型包括：特征提取模块、多视角特征投影模块、特征融合模块、特征图角点池化模块、单视角检测模块和预测模块；

所述特征提取模块，用于对多个视角相机的图像进行特征提取，得到多个视角的特征图；

所述多视角特征投影模块，用于利用每个相机的标定文件，基于透视变换将多个视角的特征图投影到一个鸟瞰图平面上，得到多个相机的级联投影特征图；

所述特征融合模块，用于将多个相机的级联投影特征图与2通道的相机坐标特征图进行融合，输出一个(N×C+2)通道的地平面矩形特征图，其中，N为相机的个数，C为每个相机的图像提取出的特征通道数；

所述特征图角点池化模块，用于对地平面矩形特征图进行角点池化处理，输出角点池化处理后的地平面矩形特征图；

所述单视角检测模块，用于对每个视角的特征图分别进行角点池化处理，得到多个单视角目标检测结果，然后将多个单视角目标检测结果投影到一个鸟瞰图平面上，输出单视角目标位置映射图；

所述预测模块，用于利用角点池化处理后的地平面矩形特征图预测目标位置，再利用单视角目标位置映射图的单视角检测结果对目标位置进行校正，输出目标预测结果；

所述特征图角点池化模块的具体实现过程为：

将融合后的地平面矩形特征图复制3份，对4个相同的地平面矩形特征图的所有特征向量分别进行向左、向右、向上和向下的最大池化；

其中，在对某一方向的池化过程中，首先设置所有特征向量边缘第一个特征值为最大值，若往后的特征值比该最大值小，则将小的特征值进行最大池化，若遇到更大的特征值，则替换最大值，并用新的最大值继续往后池化，直到该方向的特征向量池化完毕；

将向左池化和向上池化的最大池化结果相加，相加的结果为左上角角点池化；

将向右池化和向下池化的最大池化结果相加，相加的结果为右下角角点池化；

将左上角角点池化与右下角角点池化结果级联，作为角点池化处理后的地平面矩形特征图。

2.根据权利要求1所述的基于角点池化的路口多视角目标检测方法，其特征在于，所述特征提取模块使用ResNet50网络，包括：一个用于降维的1x1卷积层、一个3x3卷积层和一个恢复维度的1x1卷积层。

3.根据权利要求1所述的基于角点池化的路口多视角目标检测方法，其特征在于，所述多视角特征投影模块的具体实现过程为：

将每个视角的特征图投影到一个鸟瞰图平面上：

其中，s是一个实数比例因子，u和v为投影前的坐标，x、y、z为投影后的坐标；A为3×3的相机固有参数矩阵；[R|t]为3×4联合旋转-平移矩阵，其中R表示旋转，t表示平移；对于每个相机标定文件，将地平面位置量化成大小为H*W的网格，其中H和W为最终生成鸟瞰图的长度和宽度；根据透视变换将图像投影到地平面z＝0，视野之外的地平面位置用零填充。

4.根据权利要求1所述的基于角点池化的路口多视角目标检测方法，其特征在于，所述单视角检测模块包括：单视角特征图点池化单元和单视角检测单元；

所述单视角特征图点池化单元：用于对所有视角的特征图进行分别进行左上角角点池化和右下角角点池化，输出至单视角检测单元；

其中，对于每一个池化向量，角点池化方式为对某一方向的最大池化，对最大池化采用自适应衰减优化，衰减公式如下：

其中，w为执行自适应衰减的角点池化后特征值的大小，λ为衰减系数，step表示距离当前的最大特征值距离，w₀是当前的最大特征值；

所述单视角检测单元；对单视角特征图点池化单元的输出结果分别进行单视角目标检测，将多个单视角目标检测结果依据投影变换公式投影到一张鸟瞰图上，形成单视角目标位置映射图。