[发明专利]基于行泊一体的目标检测方法、装置、电子设备和介质

权利要求书

1.一种基于行泊一体的目标检测方法，其特征在于，所述方法包括：

确定针对一组图像中每个图像的特征信息，其中所述一组图像在第一时刻获得并且所述一组图像中的至少部分图像包括位于自车周围的一个或多个待检测目标；

预测针对一组图像中每个图像的特征点的深度信息，以基于所述特征信息和所述深度信息确定目标空间三维信息；

对所述目标空间三维信息进行特征提取，得到针对一个或多个所述待检测目标的第一时刻目标空间特征；

将所述第一时刻目标空间特征和第二时刻目标空间特征进行融合，其中所述第二时刻目标空间特征在第二时刻获得并且所述第二时刻早于所述第一时刻；以及

基于经融合的所述第一时刻目标空间特征和所述第二时刻目标空间特征而得到的信息，输出对应于一个或多个所述待检测目标的一个或多个目标检测信息。

2.根据权利要求1所述的方法，其特征在于，预测针对一组图像中每个图像的特征点的深度信息，以基于所述特征信息和所述深度信息确定目标空间三维信息包括：

基于相机内外参和所述特征信息进行深度估计；以及

对经深度估计的初始深度信息进行深度监督，以得到修正后的所述深度信息。

3.根据权利要求1所述的方法，其特征在于，所述第一时刻和所述第二时刻是连续的。

4.根据权利要求1所述的方法，其特征在于，对所述目标空间三维信息进行特征提取，得到针对一个或多个所述待检测目标的第一时刻目标空间特征优选地包括：

将与所述特征信息相关联的像素级视觉数据和与所述深度信息相关联的激光雷达点云进行融合，以得到待提取的所述目标空间三维信息进行特征。

5.根据权利要求1所述的方法，其特征在于，所述第二时刻目标空间特征经由以下操作而得到：

确定针对一组图像中每个图像的特征信息，其中所述一组图像在第二时刻获得并且所述一组图像中的至少部分图像包括位于自车周围的一个或多个待检测目标；

预测针对一组图像中每个图像的特征点的深度信息，以基于所述特征信息和所述深度信息确定目标空间三维信息；以及

对所述目标空间三维信息进行特征提取，得到针对一个或多个所述待检测目标的第二时刻目标空间特征。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取来自设置在所述自车上的多个摄像头所述一组图像；以及

对所述一组图像中的每个图像进行图像预处理。

7.根据权利要求1至6中任一项所述的方法，其特征在于，

所述特征信息包括NxCxHxW类型信息，其中N代表所述一组图像中的图像个数，C代表通道数，H和W代表所述一组图像中的每个图像经特征提取后的特征图大小；

所述深度信息包括NxDxHxW类型信息，其中N代表所述一组图像中的图像个数，D代表特征点深度分布概率，H和W代表所述一组图像中的每个图像经特征提取后的特征图大小；

所述目标空间三维信息包括鸟瞰图BEV空间三维信息，并且所述第一时刻目标空间特征和所述第二时刻目标空间特征中的任一者包括鸟瞰图BEV空间特征；以及

一个或多个目标检测信息包括物体分类检测信息或车道线形状检测信息中的一种或多种。