[发明专利]通过预测周围物体移动支持安全的自动驾驶的方法和装置

权利要求书

1.一种学习方法，其使用通过图像和通信获取的各信息的融合来预测一个以上的周围物体的一个以上的移动，从而避免事故危险以支持进行安全的自动驾驶，其特征在于，包括：

步骤(a)，学习装置执行，当通过安装于目标车辆的至少一个相机获取至少一个情况图像时，使第一卷积网络，对所述情况图像应用至少一个第一卷积网络运算，生成与所述情况图像相对应的、至少一个基于图像的特征图的过程，以及当通过安装于所述目标车辆的至少一个通信模块获取情况通信信息时，使第二卷积网络，对所述情况通信信息应用至少一个第二卷积网络运算，生成与所述情况通信信息相对应的基于通信的特征图的过程；

步骤(b)，所述学习装置，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用至少一个第三卷积网络运算，生成集成特征图；

步骤(c)，所述学习装置，使第四卷积网络，对所述集成特征图应用至少一个第四卷积网络运算，生成预测周围移动信息，所述预测周围移动信息为特定时间范围内的所述周围物体的移动预测结果；

步骤(d)，所述学习装置，使第一损失层，参考所述预测周围移动信息和与所述预测周围移动信息相对应的真值周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个；

步骤(e)，所述学习装置，在完成所述第一卷积网络至所述第四卷积网络的学习的状态下，使第五卷积网络，对已完成学习的所述第四卷积网络输出的预测周围移动信息应用至少一个第五卷积网络运算，生成包括事故发生概率信息的预测危险信息，所述事故发生概率在所述特定时间范围内与所述目标车辆的关联度为阈值以上；以及

步骤(f)，所述学习装置，使第二损失层，参考所述预测危险信息和与所述预测危险信息对应的真值危险信息生成至少一个危险损失，使用所述危险损失执行反向传播，从而学习所述第五卷积网络的参数中的至少一个。

2.根据权利要求1所述的学习方法，其特征在于，

在所述步骤(a)中，

所述学习装置，(i)使包括在所述第二卷积网络中的至少一个第二全连接层，对所述情况通信信息应用至少一个第二全连接运算，生成与每个基于通信的元数据矢量相对应的基于通信的元特征矢量，其中，所述情况通信信息包括对每个周围物体的基于通信的元数据，并将每个基于通信的元数据作为每个基于通信的元数据矢量，所述每个周围物体与所述目标车辆的距离小于阈值，(ii)使包括在所述第二卷积网络中的至少一个第二池化层，对所述基于通信的元特征矢量应用至少一个第二池化运算，生成所述基于通信的特征图。

3.根据权利要求1所述的学习方法，其特征在于，

在所述步骤(c)中，

所述学习装置，使所述第四卷积网络，对(i)与通过所述相机和所述通信模块而获取的全局信息相对应的所述集成特征图；以及(ii)包括一个以上的基于通信的元特征矢量的元特征图；应用所述第四卷积网络运算，生成所述预测周围移动信息，其中，所述元特征图与每个所述周围物体的局部信息相对应，所述一个以上的基于通信的元特征矢量用于生成所述基于通信的特征图的过程。

4.根据权利要求3所述的学习方法，其特征在于，

在所述步骤(c)中，

所述学习装置，参考与通过所述相机而获取的所述周围物体的基于图像的元数据相对应的一个以上的基于图像的元特征矢量和所述基于通信的元特征矢量，生成所述元特征图。

5.根据权利要求1所述的学习方法，其特征在于，

在所述步骤(b)中，

所述学习装置，对所述基于通信的特征图和所述基于图像的特征图，进行信道下级联，生成临时特征图，使以循环神经网络的方式实现的所述第三卷积网络，使用与提前输入于所述第三卷积网络的信息对应的状态矢量，对所述临时特征图应用所述第三卷积网络运算，从而生成所述集成特征图。

6.根据权利要求5所述的学习方法，其特征在于，

所述第三卷积网络，以长短期记忆网络的方式实现，所述长短期记忆网络为所述循环神经网络的一种。