[发明专利]一种基于知识蒸馏的二维人体姿态估计方法

权利要求书

1.一种知识蒸馏框架，其特征在于包括：

一个教师模型，将已训练好且固定权重的基于热力图方法的二维人体姿态估计器作为教师模型，用于在进行模型训练阶段向学生模型传输知识，在测试阶段则被弃用；

一个学生模型，将基于坐标回归方法的二维人体姿态估计器作为学生模型，用于在训练时接收由教师模型所提供的知识，并且在测试阶段被用于完成输入二维图片的前向推理；

一个知识蒸馏模块，用于在训练时将教师模型所学到的知识传递给学生模型；所述知识蒸馏模块包括“隐式特征-蒸馏”模块和“热力图-蒸馏”模块；所述“隐式特征-蒸馏”模块用于提高学生模型与教师模型之间隐式特征的相似程度，使教师模型指导学生模型学得更好的隐式特征；所述“热力图-蒸馏”模块用于显式地利用教师模型所预测得到的热力图输出对学生模型进行指导。

2.一种基于知识蒸馏的二维人体姿态估计方法，其特征在于基于如权利要求1所述知识蒸馏框架，包括以下步骤：

1)构建教师模型：训练一个基于热力图方法的二维人体姿态估计器并固定权重，作为教师模型；

2)训练学生模型：在数据集所给的真实标注文件和步骤1)所构建的教师模型的指导下，借助蒸馏模块，对学生模型进行训练；

3)模型前向推理测试：抛弃教师模型，仅使用所训练的学生模型在测试数据集上进行性能测试，其中性能指标主要包括人体关键点识别准确度及前向推理速度。

3.如权利要求2所述一种基于知识蒸馏的二维人体姿态估计方法，其特征在于在步骤1)中，所述构建教师模型，仅使用数据集所给的真实标注文件，训练一个基于热力图方法的二维人体姿态估计器，并在训练完成后固定权重；教师模型网络结构采用VisionTransformer结构搭建，输入图像经过骨干网络提取特征得到特征图后，经过分块、线性映射后得到固定维度的特征向量，然后与位置信息编码直接相加，得到包含位置特征信息的图像特征，即视觉隐式特征；另外地，为K种关键点利用高斯分布随机采样随机生成K个关键点隐式特征，与视觉隐式特征一起送入若干个Transformer层进行处理；经过处理后的视觉隐式特征被弃用，而关键点隐式特征则经过多层感知机，被映射成K张热力图，作为教师模型的输出；K为关键点种类数。

4.如权利要求2所述一种基于知识蒸馏的二维人体姿态估计方法，其特征在于在步骤2)中，所述训练学生模型，训练过程在数据集所给的真实标注文件和教师模型所输出的热力图的共同指导下进行，学生模型的具体结构与教师模型类似，差别在于基于热力图方法的教师模型的多层感知机将关键点隐式特征映射为K张热力图，而基于坐标回归方法的学生模型的多层感知机将关键点隐式特征映射为K个关键点坐标作为模型输出；知识在教师模型与学生模型之间的传输通过知识蒸馏模块完成；知识蒸馏模块包含“隐式特征-蒸馏”模块和“热力图-蒸馏”模块，在“隐式特征-蒸馏”模块中，通过计算教师模型和学生模型之间的隐式特征之间的相似度作为损失函数，拉进教师模型与学生模型的隐式特征之间的距离，使得学生模型能够提取更好的人体姿态隐式特征；在“热力图-蒸馏”模块中，利用教师模型所预测的热力图分布对学生模型所预测的关键点坐标进行显式指导；“热力图-蒸馏”模块由置信度指导模块和分布指导模块组成；置信度指导模块利用教师模型所预测的热力图分布，为基于坐标回归的学生模型为所预测的人体关键点坐标预测置信度提供相对准确的学习对象；分布指导模块将学生模型所预测的人体关键点坐标通过高斯分布建模成K张热力图，与教师模型所预测的热力图计算相似度作为损失函数，使得学生模型能进一步学习到教师模型所预测的热力图分布中所蕴含的信息，进而提高人体关键点识别准确度。

5.如权利要求4所述一种基于知识蒸馏的二维人体姿态估计方法，其特征在于所述隐式特征包括视觉隐式特征和关键点隐式特征。

6.如权利要求2所述一种基于知识蒸馏的二维人体姿态估计方法，其特征在于在步骤3)中，所述模型前向推理测试，是在测试数据集上进行前向推理，测试模型性能；在测试阶段抛弃教师模型，仅采用步骤2)中训练好的学生模型进行前向推理。