[发明专利]一种基于深度学习技术的无人机巡航及追踪系统和方法

权利要求书

1.一种基于深度学习技术的无人机巡航及追踪系统，其特征在于：

包括图像实时采集模块，用于从无人机搭载的可见光摄像头中获取巡航监测区域的实时图像；

危险检测模块，用于检测危险物品、危险行为、危险人员；

实时告警模块，用于在危险检测模块检测到危险物品、危险行为时向地面指挥站告警；

实时视频采集模块，用于在无人机追踪模式下实时采集视频；

人员追踪模块，用于追踪危险人员；

激光测距模块，用于检测危险人员与无人机间距；

飞行控制模块，用于调整无人机飞行速度、方向；

数据传输模块，用于向地面指挥站共享无人机信息和/或危险人员信息；

图像实时采集模块、危险检测模块、实时告警模块在无人机巡航模式下运行；

实时视频采集模块、人员追踪模块、激光测距模块、飞行控制模块、数据传输模块在无人机追踪模式下运行；

无人机巡航模式为无人机初始化模式，无人机在巡航模式下检测到危险人员时切换为无人机追踪模式；

无人机在巡航模式下检测到危险人员时，对危险人员图像及该图像是否为危险人物的置信度信息进行存储，且无人机切换为无人机追踪模式；

人员追踪模块从存储路径下找出置信度最高的危险人员图像，生成临时追踪库，默认选择置信度最高的危险人员图像为ReID算法第一次检测的目标图像，对ReID算法进行初始化；并对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若检测到图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员；若是危险人员，则追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；

追踪模式下，可通过数据传输模块接受地面指挥站的切换追踪目标的指令；当无人机收到切换追踪目标指令时，从之前存储路径找到对应的危险人员图像，用于替换现有的临时追踪库中目标图像；再次初始化ReID模块的追踪目标为临时追踪库中对应的切换后的危险人员图像；对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若检测到图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员；若是危险人员，则追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；

当成功在当前帧图像中检测到需要追踪的危险人员后，根据当前帧图像中检测出的危险人员的坐标位置，调用无人机搭载的激光测距模块，测量得出无人机与危险人员的实际距离；

飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，所述的危险人员在图像中的坐标为由深度学习目标检测算法得到的二维相对坐标，所述的危险人员在图像中的坐标为由深度学习目标检测算法得到的二维相对坐标并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元与无人机的惯性测量单元的夹角，得到无人机的偏向角度；飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向，若实际距离小于设定阈值，则往后飞，拉远距离；若实际距离大于设定阈值，则往前飞，拉近距离；根据设定阈值与实际距离之间差值，得到无人机飞行速度，取设定阈值与实测距离之间差值的绝对值开根号得到的值的整数部分，作为无人机飞行速度；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；

无人机在追踪的过程中，通过数据传输模块将无人机的GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站。