[发明专利]一种基于视觉和激光雷达的目标检测和运动状态估计方法

权利要求书

1.一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，包括以下步骤：

步骤1、安装相机与激光雷达，并进行两两双目相机之间的标定，以及车前左相机与激光雷达之间的联合标定，并将立体视觉系统与激光雷达各自生成的稀疏点云进行融合和补充，构成全局的三维点云图；

步骤2、用深度学习的方法对二维图像以及三维点云进行检测，并通过立体视觉生成的图像目标三维运动状态和激光雷达三维点云目标融合，获取综合的目标三维特征点；

步骤3、根据目标三维特征点，利用卡尔曼滤波对目标进行跟踪，分析其运动状态；

所述步骤1具体包括以下步骤：

步骤2-1.采用相同的速率和统一坐标系的方法，实现相机与激光雷达这两种传感器时间与空间的信息同步；

步骤2-2.根据传感器的安装位置，实现双目之间的标定以及相机与激光雷达之间的联合标定，并获取内参f_u、f_v、u_o、v_o以及外参R、T，其中f_u、f_v分别表示相机横、纵焦距，u_o、v_o表示光学中心，由标定得到；

步骤2-3.根据双目标定获得的内参f_u、f_v、u_o、v_o以及外参R、T，对获取的图像进行畸变矫正；

步骤2-4.用特征点提取算法分别对双目相机拍摄的t时刻、t-1时刻左右图像进行特征点提取；

步骤2-5.利用汉明距离原理对图像特征点进行匹配，完成在t时刻左图像与右图像特征点匹配，右图像在t时刻和t-1时刻匹配，t-1时刻右图像与左图像特征点匹配，左图像在t-1时刻和t时刻匹配，构成环形匹配；

步骤2-6.根据步骤2-5中匹配好的特征点以及根据立体视觉测距原理算出其三维坐标，根据左相机与激光雷达的外参系数，以及双目相机之间的外参系数，将双目相机生成的稀疏点云和激光雷达生成的稀疏点云融合在一起，对激光雷达无法生成近处点云和双目相机无法对远处场景生成点云进行了相互补充，从而构成全局的三维点云；

步骤2-7.利用光束法平差方法对融合后的每一个三维点云进行优化，消除噪声；

步骤2-8.重复上述步骤2-2至步骤2-7，完成车左、车右、车后的点云融合，即可以表示为：

其中，表示激光雷达获取的点云三维坐标，表示通过立体视觉系统获取的点云三维坐标，(x_t,y_t,z_t)将两融合后得到最终的点云三维坐标。

2.根据权利要求1所述的一种基于视觉和激光雷达的目标检测和运动状态估计方法，其特征在于，所述步骤2-1实现相机与激光雷达这两种传感器的信息同步，具体包括：在时间上，激光雷达与相机设置相同的采集速率；在空间上，相机和激光雷达都安装在车顶，激光雷达位于中间，相机分别位于车前、车左、车右、车后，其中车前2个摄像头、车左2个摄像头、车后2个摄像头、车右2个摄像头，对于车前方2个摄像头与激光雷达的位置关系，左右摄像头的相机坐标系分别表示为O_L-X_LY_LZ_L，O_R-X_RY_RZ_R，空间中的点在两个摄像头图像平面上的像素坐标表示为P_L(u_l,v_l)，P_R(u_r,v_r)激光雷达坐标系为O_VLP-X_VLPY_VLPZ_VLP，空间中任意点在激光坐标系下表示为(x_vlp,y_vlp,z_vlp)。