[发明专利]一种基于神经网络的人体关键点快速提取方法

说明书

本发明公开了一种基于神经网络的人体关键点快速提取方法，包括步骤：1)构建训练数据集；2)人体关键点神经网络模型的设计；3)使用数据增强方法对原始输入图像进行数据增强；4)对设计的模型进行多次迭代训练；5)使用已有的行人检测方法以及训练好的人体关键点神经网络模型对图像中的行人进行关键点提取，其中，对于实际应用过程中容易产生的关键点噪声，使用左右翻转的方法来抵抗噪声，实现对关键点提取过程中的有效降噪。本发明可使人体关键点提取在满足检测精确度前提下大大提高检测速度，实现从上到下的人体关键点提取中单人关键点提取的功能。

技术领域

本发明涉及图像处理和计算机视觉的技术领域，尤其是指一种基于神经网络的人体关键点快速提取方法。

背景技术

人体关键点提取在计算机视觉领域中是指对图像中行人的关键点进行检测，定位并返回人体各个部位关键点的位置坐标，由坐标即可得到行人的当前姿态。由于图片中行人的大小不一，行人的姿态各异，以及行人之间的互相遮挡等因素的影响，人体关键点提取是十分具有挑战性的难题。

人体关键点提取具有极其重大的意义，它可以在智能视频监控，病人监护系统，人机交互，虚拟现实，人体动画，智能家居，智能安防，运动员辅助训练和人体行为分析等应用中被广泛使用。因为智能视频监控，游戏娱乐产业等领域越来越被重视，对人体关键点提取的需求也逐步提升，人体关键点提取技术越来越受到学术界和工业界的重视。

目前实现行人检测方法有很多种，其中主要包含传统方法和基于神经网络的深度学习方法。传统方法一般的思路是在几何先验的基础上再进行模版匹配，传统方法的缺陷是几何先验需要人为设定，然而现实场景中的行人往往姿态各异，因此很难寻找几何先验知识，另外特定的几何先验知识往往并不适用于所有场景。因此，近年来深度学习的方法被广泛应用到人体关键点提取中，有一系列算法应运而生，如openpose、alphapose、CPN等。然而这些算法固然定位精准，但由于网络结构过于冗余、计算量过大等原因导致前向推理速度较慢，因此难以落地到实际应用。

基于深度学习的人体关键点提取方法主要分为两种：从上到下和从下到上。其中从上到下的人体关键点提取方法主要包含两个部分，行人检测和单人关键点提取，而从下到上的方法也包含两个部分，关键点检测和关键点聚类。由于从下到上的方法在关键点分配的时候会存在二义性，导致关键点连接错误，同时从下到上的方法中关键点聚类是NP完全问题，计算复杂度较高，因此现在绝大部分基于深度学习的人体关键点提取方法是从上到下的。

综合以上论述，发明一种兼顾实时性和准确度的基于神经网络的人体关键点提取方法具有较高的科学研究和实际应用价值。

发明内容

本发明的目的在于克服现有传统方法中需要人工提取先验知识的不足，以及改进现有绝大多数深度学习方法中网络结构过于复杂，前向推理速度慢的缺陷，提出了一种基于神经网络的人体关键点快速提取方法，该方法采用基于组合卷积模块和反卷积模块的神经网络，并使用神经网络输出的热力图的smooth-L1损失进行训练，使人体关键点提取在满足检测精确度前提下大大提高检测速度，实现从上到下的人体关键点提取中单人关键点提取的功能。

为实现上述目的，本发明所提供的技术方案为：一种基于神经网络的人体关键点快速提取方法，包括以下步骤：

1)通过对coco数据集的图片单人裁剪和归一化操作，同时对标注信息进行同样变换，构建训练数据集；

2)根据训练数据集和实际应用场景的特点，设计合适的人体关键点神经网络模型；

3)为增大网络模型训练数据量及适用性，需要使用数据增强方法对原始输入图像进行数据增强；

4)对设计的人体关键点神经网络模型设定训练参数进行多次迭代训练，并保存训练的神经网络模型参数，并根据指标选择最优模型；