[发明专利]基于视觉和激光雷达的智能车辆障碍物识别深度学习方法

权利要求书

1.基于视觉和激光雷达的智能车辆障碍物识别深度学习方法，其特征在于，包括以下步骤：

S1：在智能车辆上布置视觉传感器和激光雷达，并确定二者的相对位置关系以及二者与智能车辆中心的相对位置关系，同时建立以视觉传感器为中心的视觉传感器坐标系，建立以激光雷达为中心的激光雷达坐标系，建立以智能车辆中心为中心的车辆坐标系；

S2：对视觉传感器和激光雷达进行联合标定；

S3：利用视觉传感器采集车辆周边区域内的障碍物的二维图像，并对采集的二维图像信息进行语义分割，保留可能会阻碍智能车辆行进的物体信息作为有用信息，剔除无用信息；利用Yolov4算法对分割好的语义信息进行目标识别与检测，并标记出障碍物外轮廓，形成数据集A；

S4：对步骤S3中检测出的障碍物图像进行特征、关键点提取，选取描述障碍物外轮廓的关键点，并记录选取的关键点相对于障碍物中心点的坐标，获取视觉传感器的深度信息，形成关键点集B；

S5：将关键点集B中的数据通过视觉传感器坐标系和激光雷达坐标系之间的变换矩阵，转换到激光雷达坐标系下，生成坐标集C；

S6：将激光雷达坐标系下的坐标集C，与3D点云库中的3D点云进行深度搜索匹配，建立表述障碍物轮廓尺寸的3D包络体；

S7：获得激光雷达深度学习样本数据串Ψ、视觉传感器深度学习样本数据串Ψ'；

S8：利用深度学习算法，在深度学习框架下，分别对获得的激光雷达深度学习样本数据串Ψ、视觉传感器深度学习样本数据串Ψ'进行训练，分别得到激光雷达训练模型与视觉传感器训练模型；

S9：对所获得的激光雷达训练模型与视觉传感器训练模型进行迭代优化。

2.根据权利要求1所述的基于视觉和激光雷达的智能车辆障碍物识别深度学习方法，其特征在于，步骤2的具体流程为：

S2-1：采用统一采样频率和统一坐标系的方法，实现视觉传感器与激光雷达采集的信息在空间上与时间戳上的信息同步；

S2-2：根据视觉传感器和激光雷达的安装位置，首先对视觉传感器进行标定，获取视觉传感器的内参矩阵K、外参旋转矩阵R和外参变换矩阵T，其中内参矩阵K为：

其中f_x、f_y分别为视觉传感器的横焦距、纵焦距，c_x、c_y分别为视觉传感器的光学中心；

进而可以获得车辆坐标系下的三维坐标点与视觉传感器坐标系下的二维像素点的关系公式：

其中Z_c表示空间点在视觉传感器坐标系下的Z轴坐标，P_w表示车辆坐标系下的三维坐标点，(u,v)表示三维坐标点对应的二维像素坐标；

S2-3：对视觉传感器和激光雷达进行联合外参标定，在视觉传感器坐标系和激光雷达坐标系之间建立一个通过变换矩阵表示的变换关系，使视觉传感器坐标系采集的图像数据与激光雷达采集的数据相对应，其中变换公式为：

其中M表示激光雷达坐标系与视觉传感器坐标系之间的转换关系，由一个4×4的齐次变换矩阵组成，(x_lp,y_lp,z_lp)表示激光雷达点云数据下的三维点坐标，其映射到视觉传感器的像素平面的二维对应坐标为(u,v)。