[发明专利]车载视觉感知方法和装置、可读存储介质、电子设备

权利要求书

1.一种车载视觉感知方法，包括：

通过设置在车辆上预设位置的多个车载摄像头在连续多个时刻进行图像采集，得到多个图像帧集合；其中，每个所述图像帧集合中包括基于同一所述车载摄像头采集的多帧图像帧，每一所述车载摄像头在每一时刻对应一帧图像帧；

通过第一网络模型中的编码分支网络对所述多个图像帧集合中包括的图像帧进行特征提取，得到多个第一特征图；

通过所述第一网络模型中的融合分支网络对所述多个第一特征图执行空间融合和时序融合，得到鸟瞰图像坐标系下的第二特征图；

基于预设感知任务对应的网络模型对所述第二特征图进行识别，确定所述预设感知任务对应的感知结果。

2.根据权利要求1所述的方法，其中，所述通过所述第一网络模型中的融合分支网络对所述多个第一特征图执行空间融合和时序融合，得到鸟瞰图像坐标系下的第二特征图，包括：

针对所述多个时刻中每个时刻，对所述时刻对应的多个第一特征图执行空间融合，得到鸟瞰图像坐标系下的多个第三特征图；其中，每个所述第三特征图对应一个时刻；

对所述多个第三特征图执行时序融合，得到所述第二特征图。

3.根据权利要求2所述的方法，其中，所述对所述时刻对应的多个第一特征图执行空间融合，得到鸟瞰图像坐标系下的多个第三特征图，包括：

分别对所述多个第一特征图中每个第一特征图执行单应变换，得到鸟瞰图像坐标系下的多个变换特征图；

对所述多个变换特征图进行逐点融合，得到鸟瞰图像坐标系下的所述第三特征图。

4.根据权利要求3所述的方法，其中，所述分别对所述多个第一特征图中每个第一特征图执行单应变换，得到鸟瞰图像坐标系下的多个变换特征图，包括：

基于每个所述第一特征图对应的车载摄像头的内参矩阵和外参矩阵，确定所述第一特征图对应的自车坐标系到相机坐标系的第一变换矩阵；

基于所述自车坐标系的预设平面上的感知范围和所述鸟瞰图像坐标系的缩放比例和平移距离，确定所述鸟瞰图像坐标系到所述自车坐标系的预设平面的第二变换矩阵；

基于所述第一变换矩阵、所述第二变换矩阵和所述车载摄像头的内参矩阵，确定所述鸟瞰图像坐标系到所述车载摄像头对应的图像坐标系的第三变换矩阵；

基于所述第三变换矩阵对所述第一特征图进行变换，得到所述变换特征图。

5.根据权利要求4所述的方法，其中，所述基于所述第一变换矩阵、所述第二变换矩阵和所述车载摄像头的内参矩阵，确定所述鸟瞰图像坐标系到所述车载摄像头对应的图像坐标系的第三变换矩阵，包括：

基于所述第一变换矩阵，确定所述自车坐标系的预设平面到相机坐标系的第四变换矩阵；

基于所述第四变换矩阵和所述第二变换矩阵，确定所述鸟瞰图像坐标系到所述相机坐标系的第五变换矩阵；

基于所述第五变换矩阵和所述车载摄像头的内参矩阵，确定所述第三变换矩阵。

6.根据权利要求4或5所述的方法，其中，所述对所述多个第三特征图执行时序融合，得到所述第二特征图，包括：

以所述多个时刻中最近时刻对应的第三特征图作为参照特征图；

分别对所述至少一个第三特征图中每个所述第三特征图进行重构，得到至少一个第四特征图；

对所述参照特征图和所述至少一个第四特征图进行逐点融合，得到所述第二特征图。

7.根据权利要求6述的方法，其中，所述分别对所述至少一个第三特征图中每个所述第三特征图进行重构，得到至少一个第四特征图，包括：

基于所述车载摄像头在最近时刻和所述至少一个第三特征图对应的至少一个时刻对应的帧间运动变换矩阵，确定所述参照特征图对应的第一特征图与所述至少一个第三特征图对应的第一特征图之间的至少一个单应变换矩阵；

基于所述至少一个单应变换矩阵和所述第三变换矩阵，确定所述参照特征图与所述至少一个第三特征图之间的至少一个转换矩阵；

基于所述至少一个转换矩阵中每个所述转换矩阵分别对所述至少一个第三特征图中每个所述第三特征图进行重构，得到所述至少一个第四特征图。