[发明专利]一种基于注意力机制的毫米波雷达与视觉传感器融合方法

说明书

本发明公开了一种基于注意力机制的毫米波雷达与视觉传感器融合方法，属于人工智能技术领域。本方法首先在数据层的空间上利用雷达的空间信息确定重点检测区域，并且突出重点检测区域的特征，形成空间上的软注意力；其次，在特征层的通道上用通道注意力权重学习方法，对毫米波雷达与视觉权重进行合理的分配，解决了毫米波雷达与视觉融合的权重分配的问题。本方法与现有技术相比，在空间和通道上分别利用空间软注意力和通道注意力权重学习，解决了传统数据层融合的行人和小物体检测效果不佳，以及特征层融合时毫米波雷达与视觉的权重分配的问题。

技术领域

本发明公开了一种基于注意力机制的毫米波雷达与视觉传感器融合方法，属于人工智能技术领域。

背景技术

目前，毫米波雷达与视觉融合的目标检测方法常用于自动驾驶等领域中，毫米波雷达常用于生成视觉的感兴趣区域，或者毫米波雷达用聚类算法得到检测结果与视觉的检测结果在决策层进行融合；这两种策略分别存在容易漏检小目标、计算成本高和难以建立概率模型。

发明内容

本发明的目的在于提供一种基于注意力机制的毫米波雷达与视觉传感器融合方法，将毫米波雷达接收物体的3D点云信息转化为与视觉一致的2D平面图像；在数据层的空间上利用雷达的空间信息确定重点检测区域，并且突出重点检测区域的特征，形成空间上的软注意力；在提升了整体检测效果的同时，解决了传统数据层融合的行人和小物体检测效果不佳的问题；其次，在特征层的通道上用通道注意力学习方法，对毫米波雷达与视觉权重进行的分配，解决了毫米波雷达与视觉融合的权重分配的问题。

为实现上述目的，本发明提供的技术方案如下：

步骤S1：毫米波雷达扫描获得3D点云数据，视觉传感器获取视觉图像信息。

步骤S2：将毫米波雷达3D点云数据转化到与视觉图像一致的2D垂直平面。

步骤S3：将毫米波雷达图像生成与视觉图像大小一致的二维矩阵，记为雷达二维矩阵。

步骤S4：用空间软注意力，突出视觉图像中的重点检测区域和重点区域特征。

步骤S5：提取毫米波雷达特征与视觉图像特征，并将两者特征进行级联。

步骤S6：将级联特征送入SE通道注意力，进行权重学习。

步骤S7：用RetinaNet进行分类和识别。

优选的，本发明所述的S2将毫米波雷达3D点云转化到与视觉图像一致的2D垂直平面的具体步骤如下：

S2.1：毫米波雷达坐标系下的坐标转换到以相机为中心的世界坐标系中。

S2.2：将世界坐标系的坐标转换到相机坐标系。

S2.3：将相机坐标系的坐标转换到图像坐标系。

优选的，本发明所述的S4中用空间软注意力，突出重点检测区域和重点区域特征，具体步骤为：

S4.1：计雷达二维矩阵为N，视觉图像矩阵为C；

S4.2：利用毫米波雷达确定视觉图像的重点检测区域：将雷达二维矩阵N与视觉图像矩阵C进行点乘，得到矩阵H，即重点检测区域；

S4.3：突出视觉重点检测区域特征，形成空间软注意力，避免了因毫米波雷达分辨率低引起的行人等小物体漏检：将矩阵H与图像矩阵C进行元素级相加得到重点检测区域特征M，即M=H+C。

本发明所述方法用雷达生成空间软注意力，把空间注意力机制应用与多模态中，而不是单纯的图像中。