[发明专利]基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法

说明书

基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法属于人体姿态估计计算机视觉识别技术领域。本发明公开了一个可插拔式基于关键点互联的被遮挡人体姿态估计矫正器，该矫正器直接连接在传统人体姿态估计网络的末端对传统网络估计得到的热力图进行矫正，得到更加准确的真实热力图从而进一步确保输出的人体姿态估计结果的准确。矫正器中利用不同关键点之间的相互联系建立相关的数学模型，将神经网络和关键点内在的联系综合考虑，合理的搭建隐式关键点互联网络，由效果较好的关键点去推断效果较差的关键点区域，矫正传统姿态神经网络中所生成热力图可能存在的错误预测，尤其对于一些被遮挡的人体部位本发明具有良好的效果。

技术领域

本发明属于人体姿态估计计算机视觉识别技术领域，特别是涉及到一种基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法。

背景技术

人体姿态估计是现代图像工程学的重要分支，通过准确识别捕捉人体的关键点，将关键点识别结果应用到其他视觉领域，为虚拟现实和人机交互提供技术支持。但是传统的人体姿态估计网络面临着巨大挑战，灵活的身体构造和较高自由度的肢体，可能出现的姿态种类千奇百怪，身体外观上的不同色彩会造成视觉干扰，复杂的外界环境会出现人体遮挡和视角差异问题。

随着计算机深度学习的不断研究，深度学习将卷积神经网络应用到人体姿态估计识别成了一种较好的解决方法。神经网络会提取图像中人体的特征，通过不同的特征定位人体关键点，并通过网络中的计算和联接将不同关键点联系起来，经过大量的训练过程模拟人脑的识别过程，最终自动的识别出人体关键点所在位置。基于卷积神经网络的姿态识别方法相比于传统姿态识别方法，在准确率和效率上有更好的表现。

在神经网络的姿态识别过程中，利用大量的卷积核提取图像中的特征，在下采样的特征提取过程中，虽然获得较大的感受野，但是由于空洞卷积或最大池化操作一定会造成部分信息的丢失，必要的提取特征过程中，损失了一部分非常重要的特征信息，并且在多次卷积阶段的过程后，累计丢失的特征信息不计其数，会造成神经网络识别人体关键点的热力图不准确，影响后续的关键点识别。

CPN(Cascaded Pyramid Network)网络及网络变体结构中，采用两个级联级模块(GlobalNet和RefineNet)构建了一个类似FPN的金字塔网络结构，其中Global-Net负责网络中所有关键点的检测，重点是对于八个不容易遮挡的关键点进行预测，而Refine-Net则是对Global-Net预测的结果进行修正，解决存在遮挡和看不见的关节部位或者是复杂背景下人体关键点预测误差较大的位置，采用关键点在线硬挖掘策略。

HRnet是一种并行多尺度融合的结构网络，采用了多路并行网络结构，通过多层并行保证分辨率维持在较高层次，减少下采样过程可以有效的维持高分辨所保留的信息，多尺度融合使得上下文信息融合。上述的两种方法只是从网络结构上进行改良，并没有关注到各关键点彼此的联系。

传统的网络结构都是通过提取图像中的多维特征，进一步估计出关键点热力图，通过热力图进行估计关键点所在位置概率，并没有单独考虑姿态估计网络形成的热力图是否准确，也没有进一步考虑对形成的热力图进行下一步研究。

因此现有技术当中亟需要一种新型的技术方案来解决这一问题。

发明内容

本发明所要解决的技术问题是：提供一种基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法用于解决现有技术中人体姿态估计网络中通过热力图进行估计关键点所在位置概率却并没有考虑姿态估计网络形成的热力图是否准确的技术问题。

基于关键点互联的被遮挡人体姿态估计矫正器，包括输入端插口、输出端插头以及中央处理模块；所述输入端插口与传统人体姿态估计网络的热力图输出端插头插接；所述输出端插头与传统人体姿态估计网络的热力图输入端插口插接；所述中央处理模块包括存储模块、人体姿态估计矫正处理模块以及矫正后热力图输出模块；所述存储模块存储训练集以及人体姿态估计矫正处理模块中获得的数据；所述矫正后热力图输出模块用于输出矫正后热力图。