[发明专利]一种基于分割引导的人体姿态识别方法

说明书

本发明公开了一种基于分割引导的人体姿态估计方法。本发明采用HRNet人体姿态估计的基本网络结构；HRNet包含4个阶段3个分支，每个分支捕获输入信号的不同尺度特征表示；每个阶段不同分支的特征会进行相互融合并将融合后的特征作为下一个阶段的输入；同时高分辨率分支的每一个阶段都融入一个分割引导机制，得到一个分割引导的HRNet；利用分割引导机制来逐步改善每个阶段产生的检测结果。结果表明，本发明具有更好的鲁棒性和自适应能力。解决了原来复杂背景的干扰问题。人体姿态估计是行为识别的上游任务对其至关重要，准确高效的人体姿态估计可以促进人体行为识别的准确度。

技术领域

本文发明涉及人体姿态识别方法，具体来讲是一种基于分割引导的人体姿态识别方法，属于计算机视觉技术领域。

背景技术

人体姿态骨骼点检测是目前计算机视觉中最重要的任务之一，它主要利用深度学习将输入图片映射成身体上相互联系的多个骨骼点。实现对人体姿势更好的理解是计算机视觉中其他更高级的任务的基本前提，比如动作捕获、人机交互、动作识别等。

目前，面向RGB图像的人体姿态估计方法中，基于深度卷积神经网络的方法占有优势。这是因为CNN不仅可以得到语义信息更为丰富的特征，而且能够获得不同感受野下多尺度多类型的人体关节点特征向量和每个特征的全部上下文(contextual)，摆脱对部件模型结构设计的依赖，然后对这些特征向量进行坐标回归以反映当前姿态，从而将姿态信息应用于具体实际之中。视觉注意是人类大脑有效理解场景的重要机制，在人类视觉信息处理中,总是迅速选择少数几个显著对象进行优先处理,而忽略或舍弃其他的非显著对象,这使我们能够有选择地分配计算资源,从而极大地提高视觉信息处理的工作效率。视觉注意的计算建模在机器翻译，目标识别，图像字幕，显著性检测等领域有着广泛的应用。受此启发，本文利用二值分割图产生空间关系注意力帮助人体姿态估计模型输出更准确的结果。在HRNet的各尺度子网络插入一个分割引导注意力模块，通过这种操作使得人体姿态估计模型的各尺度特征图都得到优化，能更好的聚焦于图像中的含骨骼点区域。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于分割引导的人体姿态识别方法。本发明通过二值分割图来产生空间关系注意力的有效机制，以解决人体姿态估计模型在进行预测时会被复杂背景影响的问题。具体来说，本发明采用HRNet作为人体姿态估计的基础网络。HRNet网络包含四个阶段的并行卷积网络分支，每个分支捕获不同尺度的特征表示，各尺度的特征表示相互融合。在每个阶段的高分辨率分支添加分割引导模块。得到一个分割引导的HRNet；利用分割引导来逐步改善每个阶段产生的检测结果。

本发明解决其技术问题所采用的技术方案，具体步骤如下：

步骤(1)在网络构建之前，为每个训练图像制作对应的二值化分割图S，并将二值化分割图S作为监督信号融入到网络中。

步骤(2)构建HRNet网络,并针对每个阶段的高分辨分支，添加一个分割引导模块用于预测二值化分割图，将输出的二值化分割图与高分辨率分支输出的特征图点乘后作为输出，该过程称之为分割引导机制。

步骤(3)添加分割引导机制后,得到多任务的人体姿态估计模型SG-HRNet。使用动态加权平均的多任务优化方法对模型SG-HRNet的参数进行训练，直至整个网络模型收敛。

进一步的，步骤(1)具体实现如下：

1-1、计算训练图像位置p处的二值化分割值S(p)表示为：

其中，p为图像位置p处的二维位置向量(x,y)，ρ为人体所有骨骼点集合，P为一个人体骨骼点的二维位置向量，||·||为欧几里得范数,r为半径；图像位置p处与任意人体骨骼点P的距离在r之内时为1，其余情况为0。

进一步的，步骤(2)所述具体实现如下：