[发明专利]一种基于轻量化神经网络的实时关键点检测方法

摘要

本发明公开一种基于轻量化神经网络的实时关键点检测方法，该方法首先使用faster rcnn或者类似的人体检测算法将图片中的人物截取出来然后再送入设计的轻量化网络中去，然后输出预测的坐标，该方法不同于一般的方法在于所设计的网络是轻量化的可伸缩的，能够以较小的参数量和运算量，达到满意的检测精度，同时使用了基于积分的热图预测，使得系统完成端到端的预测，同时能够完成2D和3D任务。

主权项

1.一种基于轻量化神经网络的实时关键点检测方法，其特征在于，该方法步骤如下：首先通过基于深度学习的人体检测技术将图像中的人体截取出来，然后将截取获得的结果送入到构建的轻量化神经网络中，所述的轻量化神经网络包括若干瓶颈模块A和瓶颈模块B，其中瓶颈模块A中3×3卷积层的步长为1，瓶颈模块B中3×3卷积层的步长为2，所述的轻量化神经网络的结构如下：将所截取的人体图像输入瓶颈模块B中，输入输出通道分别为3、64，输出结果再输入至另一瓶颈模块B中，输入输出通道分别为64、64，之后依次经过若干个输入输出通道分别为64、64的瓶颈模块A后，再输入至输入通道数为64、输出通道数为n的瓶颈模块A，其中n为16‑64，图像尺度为H×W，该瓶颈模块A的输出一方面输入至一输入输出通道数为n、n的瓶颈模块A中，另一方面输入至另一瓶颈模块B中，该瓶颈模块B的输入输出通道数为n、2n，经瓶颈模块B的2倍降采样后，图像尺度降为H/2×W/2，该瓶颈模块B的输出一方面输入至输入输出通道数均为2n的瓶颈模块A，一方面输入至另一瓶颈模块B中，该瓶颈模块B的输入输出通道数为2n、4n，经2倍降采样后，图像尺度降为H/4×W/4，另一方面采用双线性插值的方法进行上采样，图像尺度升为H/2×W/2后输入至输入输出通道数为n、n的瓶颈模块A中，如此，每进行一次降采样，使得图像分辨率继续减少为二分之一，模块的通道数则翻倍，同时，将已有尺度的图像之间进行特征融合，达到预设的最低尺度后再不断地升采样，模块的通道数则减半，直至回到图像尺寸为H×W，即最终汇聚至一个输入输出通道数为n、n的瓶颈模块A，该瓶颈模块A输出至输入通道数为n、输出通道数为关键点个数K的瓶颈模块A，其输出即为热图H_k，1≤k≤K；根据如下积分公式预测关键点位置：式中H为输出的原始热图，为归一化的热图，p为热图中的像素点，对其进行离散化得到：其中，D为深度、H为高度、W为宽度；损失函数采用L2范数。