[发明专利]一种自动驾驶视觉感知特征提取方法及装置

权利要求书

1.一种自动驾驶视觉感知特征提取方法，其特征在于，包括：

获取车身周围多个摄像头传感器提供的原始图像，以车身为中心和参考系，将所述车身周边设定范围的三维空间沿长宽高划分为H×W×D个单位体积的正方体体素；

将各摄像头传感器提供的原始图像分别输入主干网络进行图像特征提取，并对每个原始图像输出第一设定数量个不同尺度的原始图像特征图；

获取预设注意力模块，所述预设注意力模块包括时序注意力模块和空间注意力模块，在每一时刻中，所述时序注意力模块以第一查询矩阵以及所述预设注意力模块输出的上一时刻视觉感知特征图为输入，所述时序注意力模块将所述上一时刻视觉感知特征图和所述第一查询矩阵连接得到2×(H×W×D)×C维第二查询矩阵，所述第二查询矩阵通过线性层映射得到2×(H×W×D)×C维第一价值矩阵，采用所述第二查询矩阵基于可变形多头注意力机制查询所述第一价值矩阵并计算注意力，更新所述第二查询矩阵；将更新后的2×(H×W×D)×C维的第二查询矩阵在第一个维度上求均值，从而融合生成1×(H×W×D)×C维的第三查询矩阵；将所述第三查询矩阵与所述第一查询矩阵进行残差连接和正则化得到1×(H×W×D)×C维第四查询矩阵；所述空间注意力模块以所述第四查询矩阵和各原始图像特征图为输入，获取所述第四查询矩阵中每个查询向量对应体素在各原始图像上的投影坐标，以各原始图像特征图为第二价值矩阵，通过多头注意力机制利用所述第四查询矩阵查询相应原始图像特征图上的投影坐标位置，计算注意力得到第五查询矩阵，将所述第五查询矩阵和所述第四查询矩阵进行残差连接和正则化得到1×(H×W×D)×C维当前时刻视觉感知特征图，以应用于执行自动驾驶下游任务；

其中，在初始状态下，所述第一查询矩阵由bev_embedding和pose_embedding相加得到，所述bev_embedding和所述pose_embedding的维度均为1×(H×W×D)×C；所述bev_embedding通过随机初始化得到，所述pose_embedding由各体素坐标经过线性层映射得到的；在第一帧时，由于没有历史视觉感知特征图，所以第二查询矩阵就由相同的两个维度为1×(H×W×D)×C的第一查询矩阵拼接而成，拼接后其维度是2×(H×W×D)×C；而在非第一帧的时候，第二查询矩阵是由一个维度为1×(H×W×D)×C的历史视觉感知特征图和一个维度为1×(H×W×D)×C的第一查询矩阵拼接而成的，拼接后其维度依旧是2×(H×W×D)×C。第一价值矩阵由第二查询矩阵经过一个线性连接层得到，其维度是2×(H×W×D)×C；所述第二查询矩阵中的前(H×W×D)×C部分，在添加从当前时刻到上一时刻车身偏移量的情况下，对第一价值矩阵中的前(H×W×D)×C部分进行采样；所述第二查询矩阵中的后(H×W×D)×C部分，对第一价值矩阵中的后(H×W×D)×C部分进行采样。

2.根据权利要求1所述自动驾驶视觉感知特征提取方法，其特征在于，所述方法还包括：

对所述当前时刻视觉感知特征图进行上采样以提高分辨率。

3.根据权利要求1所述自动驾驶视觉感知特征提取方法，其特征在于，所述方法中：

在所述第二查询矩阵中每个查询向量的采样过程中，获取每个查询向量在三维空间中对应的体素坐标，每个查询向量对其所对应的体素坐标周边第二设定数量个体素在所述第一价值矩阵中的位置进行采样查询并进行融合。

4.根据权利要求3所述自动驾驶视觉感知特征提取方法，其特征在于，每个查询向量对其所对应的体素坐标周边第二设定数量个体素在所述第一价值矩阵中的位置进行采样查询并进行融合，包括：

对周边第二设定数量个体素的坐标分别添加一个三维偏移量，并结合所述自动驾驶下游任务对所述三维偏移量进行优化更新。

5.根据权利要求4所述自动驾驶视觉感知特征提取方法，其特征在于，所述三维偏移量是由对应查询向量经线性层映射得到。