[发明专利]一种基于毫米波雷达与视觉信号的道路障碍物检测方法

权利要求书

1.一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是通过毫米波雷达及视觉传感器检测道路前方障碍物，通过融合毫米波雷达与视觉图像两种信号，检测目标物体类别，首先将毫米波雷达信号预处理，将毫米波雷达报文转化为目标点位置的形式，并与视觉图像信号进行时间同步；将毫米波雷达目标点根据坐标匹配关系映射于视觉图像信号之上，实现两种模态的融合；对映射到视觉图像信号上的毫米波雷达信息进行目标检测，最后对检测结果进行尺度估计，细化障碍物信息。

2.根据权利要求1所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是先对映射到视觉图像信号上的毫米波雷达信息进行似物性检测，低于似物性阈值的判为杂波，不再进行下一步检测，高于似物性阈值的结构再通过特征提取网络进行目标检测。

3.根据权利要求2所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是具体包括以下步骤：

1)获取毫米波雷达传感器报文信号流与视觉图像信号流，依据报文时间戳，采用多线程处理，对两种信号流进行同步匹配；

2)取相同时刻的毫米波雷达信号和视觉图像信号，将同步的毫米波雷达信号进行转化使其映射到视觉图像信号上，得到映射后的点集S，S包含了一组图像上的像素坐标点，为毫米波检测物目标在图像的目标位置映射；

3)对步骤2)中得到的点集S，分别取S中的每个点，对该位置图像进行Edge box局部似物性估计；

4)根据Edge box的似物性估计结果，对毫米波雷达信号进行杂波滤波，保留Edge box似物性高于阈值的毫米波检测点，而似物性低于阈值的检测点视为无关杂波，对该部分杂波进行滤除；

5)对滤波后的毫米波雷达信号目标位置，采用卷积神经网络进行局部特征提取；

6)对步骤5)输出的多尺度特征进行特征金字塔特征融合；

7)对融合后的特征进行分类与回归预测，得到检测结果；

8)将各个毫米波雷达映射点的检测结果整合并进行非极大值抑制；

9)将预测类别，置信度，位置结果等信息进行标准格式化，依照置信度降序输出，显示障碍物检测结果。

4.根据权利要求1或2所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是将毫米波雷达信号与视觉图像信号进行时间同步时，采用的多线程异源数据同步匹配，具体为：分别建立毫米波雷达报文读取线程和视觉图像读取线程，将视觉图像读取线程所读取的视频帧以其时间戳为键保存在数据结构字典中，与此同时毫米波雷达报文读取线程读取最新的毫米波雷达报文，使用读取的毫米波雷达报文时间戳索引存储视觉图像的字典，若成功索引，则将这一组报文与视觉图像匹配进行后续处理，若未能成功索引，则将其时间戳与字典中最早，最晚的时间戳进行对比。若毫米波雷达报文时间戳早与最早的视觉数据，则令视觉图像读取线程休眠，直至毫米波雷达报文读取至与图像数据同一时刻；类似的，若毫米波雷达报文晚于最晚的视觉数据，则令毫米波雷达报文读取线程休眠，直至视觉图像数据读取至同一时刻。

5.根据权利要求1或2所述的一种基于毫米波雷达与视觉信号的道路障碍物检测方法，其特征是毫米波雷达目标点映射到视觉图像信号上具体为：

其中X_c,Y_c,Z_c为毫米波雷达目标点在现实坐标系的x,y,z轴坐标，M_C为视觉传感器内参矩阵，由视觉传感器自身性质决定，u,v为目标点在像素坐标系中的坐标。