[发明专利]一种基于神经网络的人体关键点快速提取方法

权利要求书

1.一种基于神经网络的人体关键点快速提取方法，其特征在于，包括以下步骤：

1)通过对coco数据集的图片单人裁剪和归一化操作，同时对标注信息进行同样变换，构建训练数据集；

对coco公开数据集注释文件中的关键点进行操作，coco数据集中关键点的注释属性为：关键点坐标、关键是否可见、关键点数量及骨架；关键点在图片中的横纵坐标分别用x,y表示；关键点是否可见使用v来表示，其中定义v＝0表示该关键点未被标记，v＝1表示该关键点被标记但是不可见，而v＝2表示该关键点被标记且可见；骨架信息表示不同关键点之间的连线；首先，对可见关键点进行求取外接矩形框的操作,然后矩形框的中心保持不变，将矩形的宽高扩大1.2倍，如果超过图片边界，那么就以图片的边界为界限，这样能够确保外接矩形框包含了行人的整个身体；

2)综合考虑数据集图片以及应用场景的特点，设计合适的人体关键点神经网络模型，包括以下步骤：

2.1)搭建关键点提取网络

根据实时性和高精度要求构建关键点提取网络，其结构如下：

第一层为组合卷积模块A，它由一个步长为2的卷积层、一个批归一化层、一个relu非线性激活层组成；

第二层为组合卷积模块B，它由一个步长为1的深度卷积层、一个点卷积层、两个批归一化层、两个Relu非线性激活层组成；

第三层为组合卷积模块C，它由一个步长为2的深度卷积层、一个点卷积层、两个批归一化层、两个Relu非线性激活层组成；

第四层为组合卷积模块B，它由一个步长为1的深度卷积层、一个点卷积层、两个批归一化层、两个Relu非线性激活层组成；

第五层为组合卷积模块C，它由一个步长为2的深度卷积层、一个点卷积层、两个批归一化层、两个Relu非线性激活层组成；

第六层为组合卷积模块B，它由一个步长为1的深度卷积层、一个点卷积层、两个批归一化层、两个Relu非线性激活层组成；

第七层为组合卷积模块C，它由一个步长为2的深度卷积层、一个点卷积层、两个批归一化层、两个Relu非线性激活层组成；

第八层到第十二层为组合卷积模块B，它由一个步长为1的深度卷积层、一个点卷积层、两个批归一化层、两个Relu非线性激活层组成；

第十三层为组合卷积模块C，它由一个步长为2的深度卷积层、一个点卷积层、两个批归一化层、两个Relu非线性激活层组成；

第十四层为组合卷积模块B，它由一个步长为1的深度卷积层、一个点卷积层、两个批归一化层、两个Relu非线性激活层组成；

第十五层为反卷积模块D，它由一个步长为2的pixelshuffle上采样层，一个Relu非线性激活层组成；

第十六层为反卷积模块D，它由一个步长为2的pixelshuffle上采样层，一个Relu非线性激活层组成；

第十七层为反卷积模块D，它由一个步长为2的pixelshuffle上采样层，一个Relu非线性激活层组成；

第十八层为卷积模块E，它由一个步长为1的卷积层组成；

2.2)设置损失函数

设置损失函数为smooth-L1损失函数，公式如下：

式中，y_nij为神经网络模型输出的第n个关键点的特征图在位置(i,j)上的响应，而表示真实标签的第n个关键点的特征图在位置(i,j)的响应；其中，真实标签的制作为：以变换后的coco数据集标注的每个关键点为中心生成一个高斯分布，高斯核大小为9×9，在高斯分布以外的区域标注为0；

总的损失函数为各个关键点的smooth-L1损失的求和，即

3)为增大网络模型训练数据量及适用性，需要使用数据增强方法对原始输入图像进行数据增强；

4)对设计的人体关键点神经网络模型设定训练参数进行多次迭代训练，并保存训练的神经网络模型参数，并根据指标选择最优模型；

5)将待进行人体关键点提取的图像首先使用已有的行人检测方法将图像中的行人检测出来，然后将行人裁剪出来并归一化到固定长宽，并输入到训练好的人体关键点神经网络模型中进行前向推理，得到热力响应图，即特征图，将特征图最大的位置映射回原图，即完成人体关键点提取的功能；其中，对于实际应用过程中容易产生的关键点噪声，使用左右翻转的方法来抵抗噪声，实现对关键点提取过程中的有效降噪。