[发明专利]一种自动驾驶视觉感知特征提取方法及装置

说明书

本发明提供一种自动驾驶视觉感知特征提取方法及装置，基于车身周围的多个摄像头传感器采集原始图像，以车身为中心将周边空间划分为多个体素单元；在主干网络提取原始图像特征的原始图像特征图，构建包含时序注意力模块和空间注意力模块的预设注意力模块，以每一个体素作为预测基本单位，通过时序注意力模块融合过去多时刻特征，通过空间注意力模块挖掘原始图像特征图映射在三维空间内各体素上的特征，实现从2D图像恢复出3D空间内的特征，并融合对多个时刻的记忆，挖掘更具有表征能力的空间特征，以满足自动驾驶下游任务的学习需求。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种自动驾驶视觉感知特征提取方法及装置。

背景技术

自动驾驶领域是当前的热门技术领域，为了实现车辆自动驾驶及辅助驾驶功能，以车辆为主体对周边环境进行感知和特征提取是比不可少的过程。现有技术中对车身周围环境的感知方案主要包括雷达感测和视频采集两方面。

目前很多自动驾驶解决方案在很大程度上依赖雷达去获取深度的信息，虽然雷达可以更直接的获取到周围环境的深度信息，但是受制于雷达传感器的自身特性，也存在一些无法弥补的缺点，如：雷达传感器制造成本高，使用寿命低；由于雷达传感器自身探测原理的限制，距离越远，它能够获取到的深度信息就越稀疏。这就导致雷达对远处的物体的深度探测可能会有局部不一致的情况出现。另外，激光雷达在高度这一维度的探测也是相对稀疏的，要提高高度这一维度的探测密度，只能依靠增加雷达的线数，这无疑会增加硬件成本和计算成本。由于雷达只是依靠雷达波或者激光束的反射来计算自身与物体之间的距离，所以它只能获取周围环境的深度信息，而无法获得诸如颜色、纹理、光线等更加丰富的信息。

而对于采用摄像头进行视频采集感知的方案虽然能够弥补雷达的缺陷，但其通常是把3D的真实世界投影到2D的图像中，基于对图像中的特征进行提取，进而开展目标检测、可行驶区域检测、车道线检测等下游任务。由于图像成像原理的限制，无法像雷达一样显式获得周围环境的深度，会丢失很多信息。同时单一摄像头的感知范围有限，虽然摄像头的输出是以视频流的方式进行输出的，但是对于每一帧图像来说，它并不能包含之前时刻看到的信息，也就是说，摄像头没有记忆，无法感知周围环境中物体是静态还是动态。现有视觉感知方案中，通过深度神经网络框选和识别物体，但是对于具有显著突出部分的物体无法有效感知。并且，在遇到数据集中没有包含的情况时，自动驾驶车辆的视觉感知算法可能失效。

针对上述问题，亟需一种新的自动驾驶视觉感知特征提取方案。

发明内容

鉴于此，本发明实施例提供了一种自动驾驶视觉感知特征提取方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷，解决现有自动驾驶视觉感知方案识别范围窄、无法感知空间位置且不具有记忆能力的问题。

本发明的技术方案如下：

一方面，本发明提供一种自动驾驶视觉感知特征提取方法，包括：

获取车身周围多个摄像头传感器提供的原始图像，以车身为中心和参考系，将所述车身周边设定范围的三维空间沿长宽高划分为H×W×D个单位体积的正方体体素；

将各摄像头传感器提供的原始图像分别输入主干网络进行图像特征提取，并对每个原始图像输出第一设定数量个不同尺度的原始图像特征图；