[发明专利]雷达与视觉融合的车辆识别方法、装置、设备及介质

权利要求书

1.一种雷达与视觉融合的车辆识别方法，其特征在于，所述方法包括：

依据从目标车辆视觉图像中提取的目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测预测概率信息；所述车辆检测预测概率信息包括基于车辆视觉图像预测识别车辆类别和位置时的正样本概率，所述车辆检测预测概率信息是对目标车辆行驶前方区域进行车辆位置检测任务和细粒度的类型识别任务所得到的车辆类别与位置识别的预测概率图；

将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息；将目标车辆雷达信息转换为目标车辆视觉图像坐标系下的目标车辆位置预测概率信息，包括：将毫米波雷达采集得到的目标车辆雷达信息送入预设车辆检测模型中的预训练车辆位置透视转换单元，转换得到目标车辆雷达信息对应的单通道概率信息；其中所述单通道概率信息包括基于毫米波雷达信息进行车辆位置识别时的正样本概率；依据目标车辆雷达信息对应的单通道概率信息，确定车辆位置识别的预测概率图作为所述目标车辆位置预测概率信息；其中，所述预训练车辆位置透视转换单元隐式学习毫米波雷达至视觉图像空间的变换关系，将雷达图像与视觉图像进行对齐；预训练车辆位置透视转换单元的输入为毫米波雷达采集得到的车辆雷达信息，输出为转换至视觉图像坐标后的车辆雷达检测正样本概率图；目标车辆雷达信息与目标车辆视觉图像在同一采集时刻朝向同一采集区域得到；

将所述目标车辆检测预测概率信息与所述目标车辆位置预测概率信息进行融合，得到融合的预测概率信息，用以进行车辆识别。

2.根据权利要求1所述的方法，其特征在于，依据目标视觉图像特征信息进行车辆类别与位置检测，得到目标车辆检测概率信息，包括：

采用预设车辆检测模型中特征提取单元，从摄像头采集的目标车辆视觉图像中提取目标视觉图像特征信息；

将目标视觉图像特征信息送入预设车辆检测模型中类别位置粗选单元，经激励函数进行激活得到基于目标视觉图像特征进行车辆类别与位置检测时对应的目标车辆检测预测概率信息；

其中，所述类别位置粗选单元基于卷积神经网络进行训练构建，所述车辆检测预测概率信息包括预测识别车辆类别和位置时的正样本概率。

3.根据权利要求1所述的方法，其特征在于，所述目标车辆雷达信息包括对毫米波雷达探测的障碍物相对毫米波雷达的方位信息进行转化，所得到的俯视角度下平面坐标；所述方位信息包括距离与角度。

4.根据权利要求1所述的方法，其特征在于，所述预训练车辆位置透视转换单元的构建过程，包括：

将训练用车辆雷达信息送入待训练的车辆位置透视转换单元，转换得到训练用车辆雷达信息对应的训练用单通道概率图；

确定训练用车辆视觉图像中预先标注的车辆标注框的中心点位置；所述训练用车辆雷达信息与训练用车辆视觉图像在同一采集区域同时采集；

依据车辆标注框的中心点位置，对训练用车辆视觉图像的中心点图进行高斯模糊处理弱化中心点周围的像素值，得到模糊后的中心点图；

根据所述训练用单通道概率图与模糊后的中心点图之间的损失值，通过反向传播对待训练车辆位置透视转换单元中可学习参数进行调整更新。

5.根据权利要求1所述的方法，其特征在于，依据目标车辆雷达信息对应的单通道概率信息确定所述目标车辆位置预测概率信息，包括：

对目标车辆雷达信息对应的单通道概率信息进行值翻转操作，得到翻转后的单通道概率信息；其中，所述翻转后的单通道概率信息包括车辆位置识别时的负样本概率；

将目标车辆雷达信息对应的单通道概率信息与翻转后的单通道概率信息进行拼接，得到目标车辆雷达信息对应的双通道概率信息；

将目标车辆雷达信息对应的双通道概率信息进行复制，得到所述目标车辆位置预测概率信息，且使所述目标车辆位置预测概率信息的尺寸与目标视觉图像特征信息的尺寸保持一致。

6.根据权利要求1所述的方法，其特征在于，所述目标车辆位置预测概率信息包括对通过多个摄像头采集的车辆视觉图像进行检测到得到的车辆检测预测概率信息。