[发明专利]基于姿态引导重识别特征的并行人体姿态检测跟踪方法

说明书

一种基于姿态引导重识别特征的并行人体姿态检测跟踪方法，通过输入视频并检测人体区域后统一尺寸，然后检测人体姿态并提取姿态引导增强的重识别特征，最后利用多语义信息进行前后帧匹配，完成人体姿态检测跟踪。本发明能够同时输出姿态检测结果和人体重识别特征，其中人体重识别特征又可以利用人体姿态进行引导增强，利用包括重识别特征、人体检测框和姿态等多种语义信息进行跟踪匹配。

技术领域

本发明涉及的是一种计算机视觉和模式识别领域的技术，具体是一种基于姿态引导重识别特征的并行人体姿态检测跟踪方法。

背景技术

人体姿态检测跟踪的目标是检测视频每一帧的人体关节点姿态并在时序上构造匹配关系。人体姿态检测跟踪是计算机视觉领域中的重要分支任务，能够促进视频场景中的行为理解和预测，对人体视频动作分析具有重要作用。现有人体姿态检测跟踪技术一般是将检测和跟踪拆解成两个较为独立的步骤。这样做的缺点是忽视两者之间的内在联系，同时也造成推理时间复杂度的增加，不利于算法的实际部署和应用。

发明内容

本发明针对现有技术在人体姿态和位置大幅度突变时，无法准确完成跟踪关联的不足、推理阶段过于复杂以及训练时耗时且复杂的缺陷，提出一种基于姿态引导重识别特征的并行人体姿态检测跟踪方法，能够同时输出姿态检测结果和人体重识别特征，其中人体重识别特征又可以利用人体姿态进行引导增强，利用包括重识别特征、人体检测框和姿态等多种语义信息进行跟踪匹配。

本发明是通过以下技术方案实现的：

本发明涉及一种基于姿态引导重识别特征的并行人体姿态检测跟踪方法，包括以下步骤：

步骤A，利用目标检测模型或从已经标注的数据集中得到单独的人体区域框图片，并将图片统一成相同尺寸。

所述的目标检测模型采用但不限于：YOLO-v3。

所述的数据集中的人体区域框图片带有人体姿态标注、人体实例编号标注。

步骤B，利用深度学习网络构建的resnet网络，从步骤A得到的人体区域框图片中提取包含丰富语义信息的多通道的特征图。

所述的resnet网络为：多个残差块串联而成，每个残差块是由卷积层、归一化层和激活层组成，并且残差块内部有一个输入直接指向输出的跳跃连接。

步骤C，在步骤B的骨干网络后并联构建人体姿态检测分支网络和人体重识别分支网络，分别①通过人体姿态检测分支网络将特征图转换为人体姿态检测热力图，姿态检测热力图的对应真实值是以关节点位置为中心的二维高斯分布、②通过人体重识别分支网络将特征图转换为人体重识别特征特征向量；再根据人体姿态检测分支得到的姿态检测热力图对重识别特征进行加权引导融合。

所述的人体姿态检测分支网络包括：两个顺序串联的卷积神经网络和一组CNN输出层，其中：每个卷积神经网络包括：二维卷积层、批归一化层、relu激活层和像素重排(pixel shuffle)层，在两个卷积神经网络后通过一组CNN输出层得到通道数为关节点数量的姿态检测热力图。

所述的人体重识别分支网络包括：卷积层、激活层和反卷积层，其中：卷积层-激活层-反卷积层顺序连接构成一组网络模块，两个网络模块串联后再接入一个输出的CNN层。

所述的加权引导融合是指：人体姿态检测热力图经过一组输入输出维度固定的卷积网络，得到通道数和初始人体重识别特征相同的姿态特征图，然后通过Sigmoid层将姿态特征图转换为对应维度的权重分布，得到的权重分布对初始的重识别特征图进行加权融合，即按位相乘，这一过程特征图维度不变。然后经过池化操作降维得到一组特征向量以实现隐式变换，得到的特征向量经过一组可训练的全连接层，输出人体实例的分类结果。