[发明专利]基于关键点互联的被遮挡人体姿态估计矫正器及矫正方法

权利要求书

1.基于关键点互联的被遮挡人体姿态估计矫正器，其特征是：包括输入端插口、输出端插头以及中央处理模块；所述输入端插口与传统人体姿态估计网络的热力图输出端插头插接；所述输出端插头与传统人体姿态估计网络的热力图输入端插口插接；所述中央处理模块包括存储模块、人体姿态估计矫正处理模块以及矫正后热力图输出模块；所述存储模块存储训练集以及人体姿态估计矫正处理模块中获得的数据；所述矫正后热力图输出模块用于输出矫正后热力图。

2.基于关键点互联的被遮挡人体姿态估计矫正方法，利用权利要求1所述的基于关键点互联的被遮挡人体姿态估计矫正器，其特征是：包括以下步骤，并且以下步骤顺次进行：

步骤一、从现有的数据集中选取9000张存在人体的图像作为数据集Ⅰ，并将数据集Ⅰ中随机取1000张图像的人体并随机的对识别关键点部位进行遮挡，形成新的图像后再存入数据集Ⅰ中形成数据集Ⅱ，所述识别关键点的数量为16个，该数据集Ⅱ中包含正常的人体图像和存在遮挡的人体图像一共10000张，将数据集Ⅱ的图像分辨率统一到同一个分辨率，根据所述正常的人体图像中的人体识别关键点分别对应生成具有高斯分布的热力图，将其作为实际热力图记为将所有实际热力图和数据集Ⅱ合并形成训练集；

步骤二、将训练集存储至传统人体姿态估计网络中，将基于关键点互联的被遮挡人体姿态估计矫正器的输入端插头与传统人体姿态估计网络的热力图输出端插口插接，将基于关键点互联的被遮挡人体姿态估计矫正器的输出端插头接入传统人体姿态估计网络的热力图输入端插口插接，并利用训练集对所述矫正器进行训练；

①利用传统人体姿态估计网络对数据集Ⅱ中的图像进行人体姿态估计，获取人体姿态估计热力图并进行重新排序，排序规则为：将每个识别关键点的估计准确率由高至低排序，形成伪热力图，记为P＝H×W×K，H是伪热力图的高，W是伪热力图的宽，K是热力图的长，也是网络关键点个数，K＝16；

②将伪热力图P分为两部分，表示为P＝{P₁，P₂}，其中，第一部分的伪热力图P₁＝H×W×K₁，K₁＝12，第二部分的伪热力图P₂＝H×W×K₂，K₂＝4，进行重构排列；

重构排列是线性变换映射，展开成为一个二维图像，记为将二维图像所在区域分为和两个区域，其中，为指引关键点区域，为待索引关键点区域，并且K₁＝12，K₂＝4；

③为了矩阵乘法计算，将从上到下均匀分为三个区域，记为G_Ⅰ、G_Ⅱ、G_Ⅲ，而这三个区域因为准确率的不同，所代表的相关性也不同，其中G_Ⅰ＝HW×K₁^Ⅰ、其中K₁^Ⅰ＝{1≤K≤4}、

④利用分区后的计算并获得指引关键点区域与待索引关键点区域之间的三个相关系数矩阵，相关系数矩阵代表指引关键点区域和待索引关键点区域之间的相关性，三个相关系数矩阵分别为

⑤因为三个区域的准确率依次下降，三个相关矩阵系数对总相关系数矩阵的影响也不同，所以给三个相关矩阵系数赋予不同的比例系数再相加，进而获得总相关系数矩阵C_M：

⑥使用相关系统矩阵C_M对待索引关键点区域进行矩阵相乘计算，得到索引区域F，将索引区域F通过线性变换映射进行重构排列得到此处的重构排列是步骤②中重构排列结构的逆过程，表示由相关系数矩阵C_M激活的姿态特征图像，K₂＝4；

⑦将姿态特征图像与第二部分的伪热力图进行逐像素相加操作，获得已索引关键点区域

⑧将第一部分的伪热力图P₁和已索引关键点区域进行合并，最终得到预测热力图

⑨利用预测热力图以及训练集中相应存储的实际热力图并建立损失函数loss，获得相应的损失函数值，其中，代表得到的预测热力图，代表图像的实际热力图，l是评价系数，K为关键点个数；

⑩重复步骤①至步骤⑨，利用训练集对基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络进行端到端训练，在达到指定训练次数后，取损失函数值最小的损失函数作为矫正器在该传统人体姿态估计网络的损失函数,基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络训练完成；

步骤三、利用训练完成后的基于关键点互联的被遮挡人体姿态估计矫正器以及传统人体姿态估计网络实时进行人体姿态识别。