[发明专利]一种基于长短焦相机与毫米波雷达融合的目标检测方法

说明书

本发明请求保护一种基于长短焦相机和毫米波雷达融合的目标检测方法，涉及自动驾驶、计算机视觉、图像处理、深度学习等领域。首先本发明构建具有目标检测功能的长短焦融合网络，获得长短焦相机系统的融合检测结果，并结合自适应图像金字塔来获取目标的深度信息；其次对长短焦相机与毫米波进行的空间关系进行标定；最后会基于目标相似程度对长短焦相机融合检测结果与毫米波雷达目标进行匹配和融合，得到更加精确的目标检测结果。本发明通过对不同传感器进行信息融合，可以充分发挥各传感器的目标检测优势，实现信息冗余和互补，提高目标检测的精度、极限距离和有效视野范围，使得智能驾驶系统更加安全可靠。

技术领域

本发明属于深度学习、计算机视觉、自动驾驶、图像处理等领域，具体涉及一种基于长短焦相机与毫米波雷达融合的目标检测方法。

背景技术

随着人工智能、机器视觉技术的快速发展，智能驾驶成为了学业界、工业界研究的重要领域，感知模块作为智能驾驶系统的重要一环，其获取的环境信息是智能驾驶技术成功应用的基础。现阶段量产的智能驾驶系统的主流传感器为毫米波雷达和相机，毫米波雷达对目标距离和速度的检测精度较高，并且可以全天候工作，但是其不能准确识别目标类型，容易受噪声干扰；相机能够获取丰富的环境信息，并且其价格和技术难度相对较低，但是对光照和天气的变化较为敏感，且单一焦距相机的视野和极限检测距离有限，因此基于单一传感器的环境感知方案往往可能会存在一些局限性。通过对不同焦距相机和毫米波雷达进行信息融合，可以充分发挥各传感器的目标检测优势，以实现信息冗余和互补。因此，为了提升系统的目标检测能力，对多传感器信息融合的研究尤为重要。

经过检索，对比文件1，申请号为202011288888.5，一种基于长短焦多相机车辆环境下的目标检测和融合方法。该方法包括以下几个步骤：1.采用卷积神经网络对长短焦双目相机采集的图像进行目标检测，得到同一时刻下不同焦距相机所得图像中的目标框位置。2.根据相机成像原理和相机标定所得的内外参数K、R、T，可得到空间目标点P在长、短焦相机像素坐标系下的映射关系f。3.将长焦相机图像中的目标框位置，通过映射关系f,得到短焦相机图像中相应目标框的位置，再与原短焦相机图像中的目标进行融合，实现了不同距离条件下的目标检测任务。该发明虽然克服了单一焦距相机不能适应不同距离下目标检测的局限性，但是仅由视觉技术来获取目标的深度信息仍然不够准确，而雷达传感器刚好能提供精确的深度信息。除此之外，长短焦相机与雷达融合，能获取更大的环境感知范围。

对比文件2，申请号202011520256.7一种基于毫米波雷达先验定位和视觉特征融合的目标检测方法，所述方法包括：基于标定后的毫米波雷达和车载相机，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换以投影到相机平面；基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的样本的特征；将最终的anchor样本的特征输入检测网络，生成场景下目标的类别和位置信息。该发明虽然提高了全天候场景下的目标检测效果，但是对于场景中远处的目标仍然无法进行有效的检测，而本发明通过融合了长、短焦距相机的信息，有效地提高了场景中远处目标的检测精度，并且通过融合雷达数据，我们的方法也能适应全天候的场景。

对比文件3，申请号201910814532.1，一种基于双目相机和毫米波雷达的融合SLAM方法，其特征在于：包括以下步骤，通过双目相机(100)和毫米波雷达(200)采集图像和雷达数据；分别对图像和雷达数据进行处理，得到图像对应的深度图，并将雷达数据映射到图像中；对图像和雷达数据的处理结果进行融合，并根据融合后结果建立SLAM地图。该发明主要用于SLAM建图，而我们的方法则专注于提升目标检测的性能。除此之外，我们的方法采用了长、短焦距相机的数据信息进行融合，这使得我们的目标检测方法能检测到更远距离的目标。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于长短焦相机与毫米波雷达融合的目标检测方法。本发明的技术方案如下：