[发明专利]一种摄像头和激光雷达融合的端到端目标检测方法

权利要求书

1.一种摄像头和激光雷达融合的端到端目标检测方法，通过摄像头和激光雷达同时对待检测区域进行数据采集，并执行下列步骤：

步骤1：对摄像头采集的图像数据进行图像预处理，使得预处理后的图像与预设的图像特征提取网络的输入相匹配；

将预处理后的图像输入到预设的图像特征提取网络，得到图像特征；

其中图像特征提取网络包括卷积神经网络，为残差式网络结构；

步骤2：对图像特征进行目标检测处理：

基于所提取的图像特征，在待检测图像帧中确定各类待检测目标的二维建议框，并对二维建议框进行是否为检测目标的二分类处理；

步骤3：对步骤2得到的二维建议框进行感兴趣区域提取处理：

基于预设的第一筛选阈值，将分类伪概率低于第一筛选阈值的二维建议框删除；即滤除多目标检测输出中，各二维建议框所属的检测目标类别的分类伪概率低于第一筛选阈值的二维建议框；

对于每个检测目标类别的各二维建议框，若当前还存在非感兴趣区域的二维建议框，则选取分类伪概率最大的二维建议框作为感兴趣区域并保存，同时将与当前感兴趣区域的IOU值超过第二阈值的二维建议框删除；

继续对每个检测目标类别的各二维建议框进行感兴趣区域的提取，各检测目标类别不存在非感兴趣区域的二维建议框；

其中，A、B分别表示两个矩形框，对应感兴趣区域和待判别的二维建议框，area(·)表示矩形框的面积；

并对提取出的感兴趣区域进行面积的扩充处理；

步骤4：提取感兴趣区域内的激光雷达数据：

对各感兴趣区域进行编号1,2,...,k，其中k表示提取的感兴趣区域数；

对激光雷达的点云数据进行投影，若某个点云数据(x,y,z,r)经过投影后落在编号为i的感兴趣区域内，则将当前点云数据划分为第i个感兴趣区域的点云数据；其中x,y,z为点云数据的三维坐标，r表示点云数据的特征；

从而得到点云数据的k个聚类，并对每个聚类的点云数据的个数进行归一化处理：

基于预设的固定数目n，若当前聚类包括的点云数据个数大于n，则对各点云数据进行随机采样，将当前聚类包括的点云数据个数调整为n；

若当前聚类包括的点云数据个数少于n/2，则删除当前聚类以及对应的感兴趣区域；

若当前聚类包括的点云数据个数大于或等于n/2且小于n，则对其进行不重复的复制，将当前聚类包括的点云数据个数调整为n；

步骤5：对每个感兴趣区域内的点云数据进行特征提取，获取点云特征：

基于预设的点云特征提取网络分别将各点云聚类的n个点作为输入，同时对n个点进行单点属性特征提取，得到各点云聚类的n个单点特征；

再分别基于各一单点编号的属性特征提取的最大值，得到全局点云特征；

步骤6：对当前保存的感兴趣区域进行特征融合处理：

对于图像特征，通过固定大小的池化层，将图像特征转换到一个固定的尺寸；

再依次通过卷积神经网络和全连接层或全局池化层得到一个全局图像特征；

并在每一个单点特征后面级联点云全局特征和全局图像特征，得到单点融合特征；

步骤7：基对融合特征进行三维建议框提取和精细分类：

预置的每个检测目标类型的预配三维锚框信息，包括：中心坐标、尺寸信息和角度；

对待检测的图像的每个像素点，判断当前像素点是否包括单点融合特征，若是，则基于当前像素点坐标，以及当前像素点所对应的二维建议框的检测目标的类别信息，获取匹配的预配三维锚框信息，确定对应当前像素点的三维建议框以及检测目标分类；

若当前像素点不包括单点融合特征，则判断当前像素点的一定邻域范围内的点云密度是否大于或低于预设密度阈值；若是，则对当前像素点进行三维建议框的检测及检测目标的分类处理。