[发明专利]无人机视角下端到端的人员动作识别方法、设备及介质

权利要求书

1.一种无人机视角下端到端的人员动作识别方法，其特征在于，包括：

构建并训练人员动作识别网络模型，以将检测、跟踪、识别这三个子任务集成到同一个神经网络中；所述人员动作识别网络模型包括特征提取网络、人员目标检测子网络、多目标跟踪子网络和人员动作识别子网络；

将待测图像输入至所述人员动作识别网络模型中，利用所述特征提取网络进行特征提取，提取到的特征图由所述人员目标检测子网络、所述多目标跟踪子网络和所述人员动作识别子网络共享；

利用所述人员目标检测子网络以包围框的形式检测出当前帧中的人员目标，并粗略预测该人员目标的动作类别；对于共享的特征图，所述人员目标检测子网络仅使用一个11的二维卷积层，输出待预测的动作类别，以及包围框的中心点坐标、宽高和置信度；所述人员目标检测子网络以包围框的形式检测出当前帧的人员目标后，对所述包围框的中心点和宽高进行回归；所述人员目标检测子网络包含一个置信度子分支，通过所述置信度子分支对所述包围框的准确程度进行质量估计，质量估计为预测框与真实框的IoU；所述人员目标检测子网络对所述包围框内的人员目标进行初步动作识别，以对该人员目标的动作类别进行粗略分类；

利用所述多目标跟踪子网络根据人员目标的外观特征向量和所述包围框进行帧间多目标跟踪；对于共享的特征图，所述多目标跟踪子网络仅使用一个全连接层提取每个人员目标对应的外观特征向量；使用卡尔曼滤波器对所述包围框的运动进行预测，预测出前一帧中的轨迹在当前帧的空间位置信息；通过匈牙利匹配算法根据所述外观特征向量的余弦距离和所述空间位置信息的马氏距离计算代价矩阵进行级联匹配，初步将当前帧的人员目标与轨迹相匹配；对未匹配上的目标和轨迹，根据两两之间的IoU距离计算代价矩阵进行IoU匹配，得到当前帧中所有成功匹配的轨迹-目标对、未匹配的轨迹、未匹配的目标；对每个匹配成功的轨迹，用其对应的目标位置信息进行卡尔曼滤波更新；对未匹配的轨迹，标记为跟踪丢失；对未匹配的目标，初始化为新的轨迹；逐帧执行跟踪算法，确定人员目标检测子网络检测到的同一人员目标在不同帧的位置；

利用所述人员动作识别子网络将同一人员目标在共享的特征图上的区域进行对齐，得到属于该人员目标的特征块；使用一个二维卷积层调整通道数，上采样到原图尺寸后进行人体关键点的定位，得到关键点热力图；在所述关键点热力图上，运用空间注意力机制与所述特征块进行逐像素相乘，通过自适应池化得到该人员目标在当前帧中的特征向量；使用一个门控循环单元将该人员目标在不同帧的特征向量进行整合；结合时序信息，使用一个全连接层识别该人员目标在当前帧的动作类型。

2.根据权利要求1所述的人员动作识别方法，其特征在于，利用所述特征提取网络进行特征提取，包括：

利用所述特征提取网络抽取并聚合所述待测图像的外观信息及语义信息，以提取特征图。

3.根据权利要求2所述的人员动作识别方法，其特征在于，在训练所述人员动作识别网络模型的过程中分为两个阶段，包括：

在单帧图像输入阶段，同时对所述人员目标检测子网络、所述多目标跟踪子网络和所述人员动作识别子网络进行联合训练，其中所述人员动作识别子网络暂时去掉门控循环单元，忽略时序信息，仅对当前帧图像进行人员动作识别；

在视频序列输入阶段，将特定人员逐关键帧裁剪下来，构建人员动作序列，只训练所述人员动作识别子网络的门控循环单元和最后一个全连接层。

4.一种无人机视角下端到端的人员动作识别设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至3任一项所述的人员动作识别方法。

5.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的人员动作识别方法。