[发明专利]一种基于无人机单目视觉的车辆全自动测速方法、系统及装置

权利要求书

1.一种基于无人机单目视觉的车辆全自动测速方法，其特征在于，包括如下步骤：

(1)无人机在空中悬停，拍摄行车区域的视频并提取感兴趣ROI区域；

(2)对获得的视频帧进行晃动补偿，去除视频帧的非正常偏移；

(3)通过Yolo_v3模型对各晃动补偿后的视频帧进行车辆检测，获得车辆的边界框(Bounding Box)。

(4)通过Deep_SORT算法对提取到的车辆进行跟踪，得到视频视野内每辆被检测车辆的轨迹线；

(5)基于车辆的边界框以及车辆的轨迹线，对车辆进行全自动速度估计，包括以下步骤：

(5.1)对视频的第一帧进行标定，得到两个灭点(Vanishing Point)，并计算校正单应性矩阵(Rectification Homography)；

(5.2)将步骤(3)中获取的边界框和步骤(4)中获取的轨迹线变换到校正域下，并统计车辆边界框的平均长度和像素速度；

(5.3)通过车辆边界框的平均长度和现实中车辆的平均长度得到距离参考；

(5.4)基于距离参考和像素速度计算车辆的速度。

2.根据权利要求1所述的一种基于无人机单目视觉的车辆全自动测速方法，其特征在于，步骤(3)中，采用Yolo_v3模型对视频帧进行检测，用NMS(非极大值抑制)剔除低于置信度阈值的检测框，保留高于置信度阈值的检测框，且只保留车辆相关的标签，包括car、bus、truck，屏蔽其他标签。

3.根据权利要求1所述的一种基于无人机单目视觉的车辆全自动测速方法，其特征在于，步骤(4)的具体过程如下：首先，通过Yolo_v3检测算法得到车辆的位置，之后通过卡尔曼滤波器预测车辆在下一帧的位置，然后将预测的位置与下一帧实际检测到的位置通过匹配特征算子计算特征，得到相邻两帧车辆的特征相似度，最后利用匈牙利匹配得到相邻帧的对应ID，从而得到轨迹线。

4.根据权利要求1所述的一种基于无人机单目视觉的车辆全自动测速方法，其特征在于，步骤(5.1)中，通过对视频的第一帧进行边缘提取和霍夫直线变换，并采用随机抽样一致性RANSAC算法挑选局内点inlier，获得最优直线，得到沿着车道线方向和垂直于车道线方向上的两个灭点，并计算校正单应性矩阵(Rectification Homography)。

5.根据权利要求1所述的一种基于无人机单目视觉的车辆全自动测速方法，其特征在于，步骤(5.3)中，先统计前20辆普通小车(不包含公交车、卡车等)的边界框平均长度，单位为像素点，再统计市面上主流车企生产的小车的平均长度，单位为米，从而计算得到距离参考，单位为米/像素点。

6.一种实现权利要求1-5任一项所述的基于无人机单目视觉的车辆全自动测速方法的系统，其特征在于，包含基于Yolo_v3的车辆检测模块、基于Deep_SORT的车辆跟踪模块和全自动速度估计模块；

所述基于Yolo_v3的车辆检测模块用于基于无人机获取的行车区域的视频采用单阶段模型Yolo_v3进行车辆的检测，获得车辆的边界框(Bounding Box)；

所述基于Deep_SORT的车辆跟踪模块用于采用Deep_SORT算法进行车辆的跟踪，得到视频视野内每辆被检测车辆的轨迹线；

所述全自动速度估计模块用于对视频的第一帧进行标定，得到两个灭点(VanishingPoint)，并计算校正单应性矩阵(Rectification Homography)，将车辆边界框和轨迹线变换到校正域下，并统计车辆边界框的平均长度和像素速度，通过车辆边界框的平均长度和现实中车辆的平均长度得到距离参考，基于距离参考和像素速度计算车辆的速度。

7.一种实现权利要求1-5任一项所述的基于无人机单目视觉的车辆全自动测速方法的装置，其特征在于，该装置包括视频采集系统、数据处理中心、显示器；所述视频采集系统与所述数据处理中心的通讯连接、所述数据处理中心与所述显示器的通讯连接；

所述视频采集系统包括无人机及其相机镜头，用于拍摄行车区域的视频并提取感兴趣ROI区域；

所述数据处理中心包括高性能GPU服务器、存储器，所述高性能GPU服务器用于对获得的视频帧进行晃动补偿，去除视频帧的非正常偏移，对各晃动补偿后的视频帧进行车辆检测，获得车辆的边界框(Bounding Box)，通过Deep_SORT算法对提取到的车辆进行跟踪，得到视频视野内每辆被检测车辆的轨迹线，基于车辆的边界框的车辆的轨迹线，对车辆进行全自动速度估计；所述GPU服务器计算得到结果后传输给所述存储器；

所述存储器将计算结果进行存储并向所述显示器提供显示的内容。