[发明专利]无人机视角下端到端的人员动作识别方法、设备及介质

说明书

本申请公开了一种无人机视角下端到端的人员动作识别方法、设备及介质，包括：构建并训练人员动作识别网络模型；该模型包括特征提取网络、人员目标检测子网络、多目标跟踪子网络和人员动作识别子网络；将待测图像输入至该模型中，利用特征提取网络进行特征提取，提取到的特征图由三个子网络共享；利用人员目标检测子网络以包围框检测出当前帧中的目标；利用多目标跟踪子网络根据目标的外观特征向量和包围框进行帧间多目标跟踪；利用人员动作识别子网络整合同一目标在不同帧之间的运动信息，识别该目标在当前帧的动作类型。这样将检测、跟踪、识别这三个子任务集成到同一个神经网络中，避免大量重复的特征提取计算冗余，达到实时行为识别的效果。

技术领域

本发明涉及动作识别技术领域，特别是涉及一种无人机视角下端到端的人员动作识别方法、设备及介质。

背景技术

人员动作识别技术是智能监控分析系统的关键技术，结合先进无人机和高清摄像头，可形成远距离巡航预警系统，增强侦察和反击能力。这是一种时空序列动作定位任务，需要在每帧视频画面中定位该人员动作发生的位置，同时确定该动作的起止时间。

随着硬件性能的提高和GPU加速计算的应用，基于深度学习的方法在计算机视觉领域取得了极大的成功。目前，为了保证人员动作识别的精度，业界一般采用自上而下的分步方法，即先使用一个行人检测网络将无人机画面中的人员检测出来，再使用一个多目标跟踪网络进行帧间行人重识别，最后使用一个人员动作识别网络进行人员动作识别。采样三个独立的深度神经网络执行不同的任务时，存在大量的重复抽取特征的过程。特别是当画面中的人员数量较多时，多目标跟踪网络、人员动作识别网络的计算量随之线性增加。这种分步的方法消耗了大量的计算资源，在设备性能有限的情况下难以达到实时分析的要求。

另一方面，由于无人机画面中背景是动态变化的，一些基于静态背景建模从而间接识别动作的方法并不适用。同时无人机拍摄角度的变化会带来画面中人员外观的相对变化，这也影响了人员动作识别的效果。

因此，如何解决现有的人员动作识别方法难以达到实时分析要求的问题，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种无人机视角下端到端的人员动作识别方法、设备及介质，可以避免大量重复的特征提取计算冗余，达到实时行为识别的效果。其具体方案如下：

一种无人机视角下端到端的人员动作识别方法，包括：

构建并训练人员动作识别网络模型；所述人员动作识别网络模型包括特征提取网络、人员目标检测子网络、多目标跟踪子网络和人员动作识别子网络；

将待测图像输入至所述人员动作识别网络模型中，利用所述特征提取网络进行特征提取，提取到的特征图由所述人员目标检测子网络、所述多目标跟踪子网络和所述人员动作识别子网络共享；

利用所述人员目标检测子网络以包围框的形式检测出当前帧中的人员目标，并粗略预测该人员目标的动作类别；

利用所述多目标跟踪子网络根据人员目标的外观特征向量和所述包围框进行帧间多目标跟踪；

利用所述人员动作识别子网络整合同一人员目标在不同帧之间的外观信息及运动信息，识别该人员目标在当前帧的动作类型。

优选地，在本发明实施例提供的上述人员动作识别方法中，利用所述特征提取网络进行特征提取，包括：

利用所述特征提取网络抽取并聚合所述待测图像的外观信息及语义信息，以提取特征图。

优选地，在本发明实施例提供的上述人员动作识别方法中，对于共享的特征图，所述人员目标检测子网络仅使用一个1´1的二维卷积层，输出待预测的动作类别，以及包围框的中心点坐标、宽高和置信度。