[发明专利]通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法

权利要求书

1.一种通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，包括：

S1，设置第一路口检测系统，第一毫米波雷达信号输出端连接第一单片机雷达信号接收端，第一高清摄像头信号输出端连接第一嵌入式GPU摄像信号接收端，第一单片机信号输出端连接第一交换机雷达信号接收端，第一嵌入式GPU信号输出端连接第一交换机摄像信号接收端；设置第二路口检测系统，第二毫米波雷达信号输出端连接第二单片机雷达信号接收端，第二高清摄像头信号输出端连接第二嵌入式GPU摄像信号接收端，第二单片机信号输出端连接第二交换机雷达信号接收端，第二嵌入式GPU信号输出端连接第二交换机摄像信号接收端；设置第N路口检测系统，第N毫米波雷达信号输出端连接第N单片机雷达信号接收端，第N高清摄像头信号输出端连接第N嵌入式GPU摄像信号接收端，第N单片机信号输出端连接第N交换机雷达信号接收端，第N嵌入式GPU信号输出端连接第N交换机摄像信号接收端；第一交换机信号输出端连接总交换机第一信号接收端，第二交换机信号输出端连接总交换机第二信号接收端，第N交换机信号输出端连接总交换机第N信号接收端，总交换机信号输出端连接数据库服务器信号接收端；

S2，数据库服务器收集路口的车辆和行人数据，收集全部毫米波雷达采集的数据，并通过毫米波雷达输出被测目标的类型，将被测目标的类型进行判断，确定被测目标的类型，根据该类型扫描被测目标的宽度和长度，在相应路口出现的概率，并且通过高清摄像头和毫米波雷达融合方法计算被测目标距路面原点相对位置，根据被测目标在路面坐标系内的移动时间计算相对速度，通过高清摄像头输出被测路口的图像信息；

S3，利用已经训练的深度神经网络对高清摄像头采集的图像连续图像帧进行目标识别，同时结合高清摄像头的标定参数，计算被测目标位置及速度参数；通过基于卡尔曼滤波方法，对运动状态下的被测目标状态进行跟踪和滤波；再根据卡尔曼滤波的估计结果进行目标生命周期管理。

2.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S2包括：

S2-1，根据被测目标实际运动情况对毫米波雷达输出的被测目标信息进行实时筛选；

S2-2，毫米波雷达发射的雷达信号伴随着虚假目标，其中虚假目标通过毫米波雷达和高清摄像头采集的树木信息、围栏信息和电线杆信息，通过实时采集的雷达数据和图像数据，筛选剔除固定不变的树木信息、围栏信息和电线杆信息；

S2-3，根据毫米波雷达检测的固定不变的树木信息、围栏信息和电线杆信息被测目标宽度、长度、位置及置信度信息对检测的被测目标进行第一轮筛选；接着利用卡尔曼滤波算法，对连续检出的目标进行跟踪和滤波；根据卡尔曼滤波的估计结果进行目标生命周期管理；

S2-4在得到第一路口第一毫米波雷达和第一高清摄像头和第二路口第二毫米波雷达和第二高清摄像头的被测目标相互之间没有关联并且相互独立状态下得到相应检测结果后，利用Elman神经网络对两个没有关联的被测目标信息进行融合，不匹配状态下则剔除该被测目标。

3.根据权利要求1所述的通过雷达和图像采集设备进行交通路口车辆及行人检测的工作方法，其特征在于，所述S3包括：

对于相互之间具备关联的被测目标，通过如下方法进行检测，

S3-1，将每个高清摄像头中采集的一帧图像，输入到其对应嵌入式GPU的深度学习SSD模型中，该模型的核心为修改且已经训练的检测网络VGG16；

S3-2，抽取检测网络中卷积层Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2层的特征映射feature map，然后分别在这些卷积层特征映射feature map的每一个特征点构造6个不同尺度大小的边界框Boundingbox，然后分别对特征点构造的边界框进行检测和分类，生成多个边界框Boundingbox；

S3-3，将不同特征映射feature map所生成的边界框Boundingbox进行结合操作，经过非极大值抑制方法NMS来抑制一部分重叠的边界框Boundingbox被测目标或者匹配后不正确的边界框Boundingbox，得到最终车辆和行人数据被测目标的检测结果。