[发明专利]一种基于图像点云对序列的分类方法和装置

说明书

本发明实施例涉及一种基于图像点云对序列的分类方法和装置，所述方法包括：获取第一图像、点云序列；将第一图像序列中时间最近的指定数量a的第一图像记为第二图像p_i；将第一点云序列中与各个第二图像p_i匹配的第一点云记为第二点云d_i；由第二图像p_i、第二点云d_i构成第一图像点云对序列；基于RegNetX‑400MF神经网络和Po i ntNet神经网络进行特征提取得到第一图像、点云特征向量；进行向量拼接得到第一向量；基于GRU神经网络进行特征融合得到第二向量；基于分类神经网络进行分类得到第三向量；将取值最大的第三向量数据对应的分类类别作为结果输出。通过本发明，可以提高分类精度。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于图像点云对序列的分类方法和装置。

背景技术

自动驾驶系统的感知模块会基于感知传感器(摄像头、雷达等)获取的感知数据(摄像头拍摄图像、雷达点云)对自车行驶环境中的障碍物进行目标分类并将分类结果传输给下游模块。在进行分类处理时，感知模块的常规做法是先分别基于图像特征、点云特征进行分类，再对二者分类结果进行比对，若分类一致或有交集则将相交部分作为分类结果输出。这种处理方式一方面要执行两组完整的分类处理流程、时间消耗较大；另一方面分类交集范围不好确定，容易导致分类范围过大的问题。

发明内容

本发明的目的，就是针对现有技术的缺陷，提供一种基于图像点云对序列的分类方法、装置、电子设备及计算机可读存储介质，选择时间相近的图像与点云组成图像点云对并由多组图像点云对构成图像点云序列，并基于RegNetX-400MF神经网络和PointNet神经网络对图像点云序列的图像、点云分支序列分别进行特征提取得到对应的图像、点云特征向量，并使用GRU神经网络对图像、点云特征向量的拼接向量按数据维度进行特征融合，再使用分类神经网络根据特征融合向量进行分类处理。通过本发明，一方面只需并列执行两组特征处理流程，缩短了处理时间；另一方面基于图像和点云的融合特征进行分类，分类结果更明确、分类精度更高。

为实现上述目的，本发明实施例第一方面提供了一种基于图像点云对序列的分类方法，所述方法包括：

获取第一图像序列和第一点云序列；所述第一图像序列包括多个第一图像，所述第一点云序列包括多个第一点云；

将所述第一图像序列中时间最近的指定数量a的所述第一图像记为第二图像p_i；1≤i≤a；

将所述第一点云序列中与各个所述第二图像p_i匹配的所述第一点云记为对应的第二点云d_i；

由所述第二图像p_i和对应的所述第二点云d_i构成对应的第一图像点云对，并由得到的a个所述第一图像点云对构成第一图像点云对序列；

基于RegNetX-400MF神经网络和PointNet神经网络对所述第一图像点云对序列进行特征提取得到对应的第一图像特征向量和第一点云特征向量；并对所述第一图像特征向量和所述第一点云特征向量进行向量拼接得到对应的第一向量；并基于GRU神经网络对所述第一向量进行特征融合得到对应的第二向量；

基于分类神经网络对所述第二向量进行分类处理得到对应的第三向量；所述第三向量为一维向量，包括指定数量m个第三向量数据，各个所述第三向量数据分别对应一个分类类别；

将取值最大的所述第三向量数据对应的所述分类类别作为本次分类结果输出。

优选的，各个所述第一图像对应一个图像时间，各个所述第一点云对应一个点云时间；所述将所述第一点云序列中与各个所述第二图像p_i匹配的所述第一点云记为对应的第二点云d_i，具体包括：