[发明专利]一种基于光视融合的公路拥堵移动检测预警系统及方法

权利要求书

1.一种基于光视融合的公路拥堵移动检测预警系统，其特征在于，包括机器人、终端管理平台和道路监控平台，所述机器人包括前端处理器、报警装置、IP广播、移动平台、高清相机和激光雷达，所述前端处理器分别与报警装置、IP广播、移动平台、高清相机和激光雷达相连接，所述前端处理器通过无线通讯网络与终端管理平台相连接，所述终端管理平台与道路监控平台相连接。

2.如权利要求1所述的一种基于光视融合的公路拥堵移动检测预警方法，其特征在于，依次包括以下步骤：

步骤1、采集巡检路段内交通参与者的高清相机和激光雷达数据，视频图像采用基于深度学习、训练多类别目标检测模型，类别包括各种车辆、行人和非机动车；

步骤2、在可以获取高清相机视频图像数据、激光雷达车辆点云数据的机器人上部署模型，可以实时检测道路上的交通参与者，交通参与者包括各种车辆、行人和非机动车；

步骤3、高清相机和激光雷达分别进行检测，激光雷达提供空间位置和速度信息，高清相机数据提供视频图像检测信息，同时对高清相机数据和激光雷达数据进行融合；

步骤4、基于融合数据对每辆车的速度进行计算，检测到车辆信息时，每辆车都有一个独特的id，利用高清相机数据和激光雷达数据的融合信息，得到该id车辆的准确位置信息，瞬时速度V的计算方式为激光雷达两帧之间的车辆最靠近雷达的位置(Xt1,Xt2)除以两帧时间间隔V＝(Xt1-Xt2)/dt，并记录到对应车辆id的速度列表中，单个车辆的平均速度V1为该车辆的速度列表中所有瞬时速度V的平均值；

步骤5、取一段时间A内所有经过车辆的速度信息，计算经过车辆的平均速度，判定当前路段的拥堵程度，经过车辆的平均速度V2计算方式为所有单个车辆的平均速度V1再取平均值，如果平均速度V2小于等于B，判断为拥堵。

3.如权利要求2所述的一种基于光视融合的公路拥堵移动检测预警方法，其特征在于，所述步骤5中，A为1分钟，所述B为2m/s。

4.如权利要求2所述的一种基于光视融合的公路拥堵移动检测预警方法，其特征在于，所述步骤5中，如果判定结果为拥堵，机器人对路段的车辆排队长度进行检测，并自行移动到车辆排队队尾的位置，对后续即将进入拥堵路段的的车辆进行拥堵预警；如果判定结果为不拥堵，机器人继续在当前位置进行一般巡检。

5.如权利要求4所述的一种基于光视融合的公路拥堵移动检测预警方法，其特征在于，判断车辆排队队尾位置方法为机器人高清相机和激光雷达的视野内，在机器人前进的道路方向15米内的车辆数量为0。

6.如权利要求2所述的一种基于光视融合的公路拥堵移动检测预警方法，其特征在于，所述步骤3中，融合前需要先进行高清相机和激光雷达的位置标定，将两个传感器转换到同一个坐标系统下，计算两个传感器的位置关系，可以得到一个转换矩阵，该矩阵能将激光雷达的坐标转到高清相机的坐标上，对高清相机数据检测得到的车辆和激光雷达数据检测得到的车辆进行匹配。

7.如权利要求6所述的一种基于光视融合的公路拥堵移动检测预警方法，其特征在于，所述匹配方式为激光雷达检测得到的车辆目标中心转换到高清相机的视频图像上，如果能在视频图像检测到的目标框内，则直接完成匹配，剩余未匹配成功的寻找最近且未匹配成功的检测框进行匹配，完成匹配后，视频图像上的车辆信息就能够有激光雷达得到的三维空间位置信息和车辆的速度信息。