[发明专利]基于姿态引导重识别特征的并行人体姿态检测跟踪方法

权利要求书

1.一种基于姿态引导重识别特征的并行人体姿态检测跟踪方法，其特征在于，包括以下步骤：

步骤A，利用目标检测模型或从已经标注的数据集中得到单独的人体区域框图片，并将图片统一成相同尺寸；

步骤B，利用深度学习网络构建的resnet网络，从步骤A得到的人体区域框图片中提取包含丰富语义信息的多通道的特征图；

步骤C，在步骤B的骨干网络后并联构建人体姿态检测分支网络和人体重识别分支网络，分别①通过人体姿态检测分支网络将特征图转换为人体姿态检测热力图，姿态检测热力图的对应真实值是以关节点位置为中心的二维高斯分布、②通过人体重识别分支网络将特征图转换为人体重识别特征特征向量；再根据人体姿态检测分支得到的姿态检测热力图对重识别特征进行加权引导融合；

步骤D，将训练图片和对应的人体姿态标注以及人体实例编号标注输入到步骤B得到的骨干网络中，经前向传播得到输出结果，按照对应规则计算相应的损失函数，然后利用反向传播算法进行梯度回传，进而更新该骨干网络以及后面并联的两个分支网络的参数；

步骤E，在线阶段，将待检测的视频序列依次输入到目标检测模型得到不同人体的检测框；将检测框尺寸统一化之后输入到步骤D更新后的骨干网络中得到人体姿态检测结果和增强后的人体重识别特征向量，将同一张图片的不同人体检测结果映射回到原图片，构建跟踪匹配池并依次进行人体重识别特征匹配、人体检测框匹配和人体姿态匹配。

2.根据权利要求1所述的基于姿态引导重识别特征的并行人体姿态检测跟踪方法，其特征是，所述的人体姿态检测分支网络包括：两个顺序串联的卷积神经网络和一组CNN输出层，其中：每个卷积神经网络包括：二维卷积层、批归一化层、relu激活层和像素重排层，在两个卷积神经网络后通过一组CNN输出层得到通道数为关节点数量的姿态检测热力图。

3.根据权利要求1所述的基于姿态引导重识别特征的并行人体姿态检测跟踪方法，其特征是，所述的人体重识别分支网络包括：卷积层、激活层和反卷积层，其中：卷积层-激活层-反卷积层顺序连接构成一组网络模块，两个网络模块串联后再接入一个输出的CNN层。

4.根据权利要求1所述的基于姿态引导重识别特征的并行人体姿态检测跟踪方法，其特征是，所述的加权引导融合是指：人体姿态检测热力图经过一组输入输出维度固定的卷积网络，得到通道数和初始人体重识别特征相同的姿态特征图，然后通过Sigmoid层将姿态特征图转换为对应维度的权重分布，得到的权重分布对初始的重识别特征图进行加权融合，即按位相乘，这一过程特征图维度不变，然后经过池化操作降维得到一组特征向量以实现隐式变换，得到的特征向量经过一组可训练的全连接层，输出人体实例的分类结果。

5.根据权利要求1所述的基于姿态引导重识别特征的并行人体姿态检测跟踪方法，其特征是，所述的全连接层的输入神经元数量和特征向量维度相同，输出神经元数取决于步骤A得到的数据集中人体实例编号的数量；通过多分类损失函数可以训练人体重识别分支网络，在推理阶段，则不需要多分类网络这一步骤。

6.根据权利要求1所述的基于姿态引导重识别特征的并行人体姿态检测跟踪方法，其特征是，所述的人体重识别特征匹配是指：计算前后帧不同人体归一化后的重识别特征之间的余弦相似度，当相似度满足设定的阈值，则将两者进行匹配。

7.根据权利要求1所述的基于姿态引导重识别特征的并行人体姿态检测跟踪方法，其特征是，所述的人体检测框匹配是指：对于人体重识别特征匹配未成功的检测框，计算检测框位置和前面若干帧检测框位置的交并比，当交并比满足设定的阈值，则将两者进行匹配。