[发明专利]一种基于异构卷积神经网络的目标关键点检测方法

说明书

本发明公开了一种基于异构卷积神经网络的目标关键点检测方法，网络模型分为三个部分，主干网络部分，空洞空间金字塔池化部分，和特征金字塔模块部分。在主干网络中使用ResNet‑50作为骨架网络，用异构卷积代替bootleneck中卷积核大小为3×3的标准卷积；在主干网络最后一层之后，我们添加了空洞空间金字塔池化层；最后，将8×8，16×16，32×32和64×64分辨率的特征图进行特征金字塔融合，输出分辨率为64×64，通道数为16的特征图，用高斯核函数生成检测热图，输出姿态估计结果。模型中使用空洞空间特征金字塔池化层和特征金字塔融合模块。构建了一种新的轻量化的目标关键点检测算法，其可对任意大小的图片，进行多目标姿态估计。

技术领域

本发明属于计算机视觉、数字图像处理技术领域，尤其涉及一种基于以后卷积神经网络的目标关键点检测方法。

背景技术

人体姿态估计是人体行为识别的基础问题，获得的骨架结构可以为人体动作识别提供高级语义。人体姿态估计本身在现实中也有很多应用，例如：体育动作规范、形体纠正、虚拟现实类游戏、视频监控、控制机器人运动等。

现有的人体姿态估计方法分为两类：自底向上的人体姿态估计和自顶向下的人体姿态估计方法。本方法采用的是自顶向下的方法，现有的自顶向下的方法已经有了相对较高的召回率和准确率。但在追求模型精度的最大化，但是却增加了模型的参数量和浮点运算量。人体姿态估计已在很多现实应用中落地，其中有一些会被部署在手机端和微型计算机上，由于设备的存储量和计算量有限，优化模型的参数量和浮点运算量是人体姿态估计需要改进的重要需求之一。

针对模型参数量和浮点运算量大的问题，本方法将传统卷积和分组卷积相结合提出了一种异构卷积，在保持精确度和感受野的前提下，降低模型的参数量和浮点运算量。

发明内容

本发明是一种基于异构卷积神经网络的目标关键点检测算法，其特征在于，基于标准卷积和分组卷积提出了一种异构卷积。本发明的网络模型分为三个部分，主干网络部分，空洞空间金字塔池化部分，和特征金字塔模块部分。在主干网络中使用ResNet-50作为骨架网络，用异构卷积代替bootleneck中卷积核大小为3×3的标准卷积；在主干网络最后一层之后，我们添加了空洞空间金字塔池化层；最后，将8×8，16×16，32×32和64×64分辨率的特征图进行特征金字塔融合，输出分辨率为64×64，通道数为16的特征图，用高斯核函数生成检测热图，输出姿态估计结果。

该发明主要提出了一种基于标准卷积和分组卷积结合的异构卷积，在模型中使用了空洞空间特征金字塔池化层和特征金字塔融合模块。构建了一种新的轻量化的目标关键点检测算法，其可对任意大小的图片，进行多目标姿态估计(人体关键点检测)。主要包括以下步骤：

步骤1：输入图片，用已训练的好的fasterrcnn目标检测器检测图片中的目标，获取目标框的坐标，并保存在一个数据结构中。

步骤2：然后将步骤1中目标检测器获取的坐标，在检测出的目标框的基础上将目标框拓宽20％，并将其单独截取。

步骤3：将步骤2截取出的单目标框，输入到异构卷积神经网络中，进行目标关键点检测。

步骤3-1：然后将单目标图像的大小调整为256x256分辨率的图像。

步骤3-2：使用expansion系数为2的ResNet50网络作为骨架网络进行特征提取，使得特征图的分辨率为8×8，其中用分组为4的分组卷积代替步长为1的3×3标准卷积，用分组为16的分组卷积代替步长为1的1×1标准卷积,以保证在保留大的感受野的基础上来缩小模型的参数量和浮点运算量。

其中，传统卷积的参数量为：

S_cp＝N×C×K×K

分组卷积的参数量为：