[发明专利]一种基于知识蒸馏的二维人体姿态估计方法

说明书

一种基于知识蒸馏的二维人体姿态估计方法，属于图像处理技术领域。通过引入知识蒸馏技术，将采用基于热力图的方法的二维人体姿态估计器作为教师模型，将采用基于坐标回归的方法的二维人体姿态估计器作为学生模型，实现从基于热力图的二维人体姿态估计方法到基于坐标回归的二维人体姿态估计方法的知识蒸馏。本方法共提出“隐式特征‑蒸馏”与“热力图‑蒸馏”两大类别的蒸馏方式，提取教师模型中隐式特征和热力图所蕴含的信息，并传递给学生模型，进而在未改变学生模型大小的情况下，极大地增进学生模型的性能。

技术领域

本发明属于图像处理技术领域，涉及二维人体姿态估计任务，特别涉及从热力图方法到坐标回归的一种基于知识蒸馏的二维人体姿态估计方法。

背景技术

人体姿态估计任务，又称为人体关键点识别任务，是计算机视觉领域中一个重要的分支。目前人体姿态估计任务主要分为两种技术路线：基于热力图的二维人体姿态估计方法和基于坐标回归的二维人体姿态估计方法。

基于热力图的方法的网络由于空间泛化性好，因此准确率高，是近几年来人体姿态估计任务的主流技术路线。然而，基于热力图的方法也有许多缺点：内存占用高、无法端到端训练、有量化误差等。

相比于基于热力图的方法，基于坐标回归的方法直接、高效、可端到端训练、无量化误差。然而，由于缺乏空间泛化性，基于坐标回归的方法性能较差。

目前，将知识蒸馏运用于人体姿态估计任务的工作主要将工作的重点放在将大模型所蕴含的知识蒸馏到小模型上；或通过集成学习的方式进行蒸馏训练，进而增强学生模型的性能。这些工作主要聚焦于模型体量上的蒸馏，而忽略人体姿态估计任务的固有特性，即基于热力图的二维人体姿态估计方法和基于坐标回归的二维人体姿态估计方法之间的共性与差异，进而取长补短，提高人体姿态估计器的性能(准确率和速度)。

发明内容

本发明的目的在于针对现有技术存在孤立地去看待基于热力图的二维人体姿态方法与基于坐标回归的二维人体姿态估计方法，仅仅只着眼于某个类型的方法开发，而未关注到两种方法之间的关系等问题，提供一种知识蒸馏框架。

本发明的另一目的在于提供基于知识蒸馏的二维人体姿态估计方法，能在基于热力图的二维人体姿态估计方法与基于坐标回归的二维人体姿态估计方法之间取长补短，即在保持基于坐标回归的二维人体姿态估计器轻量化、前向速度快的优点的同时，借助知识蒸馏方法，从基于热力图的二维人体姿态估计器中学到有用的知识(包含隐式特征信息及显式空间信息)，进而极大的提高模型准确度。

本发明提供一种知识蒸馏框架，包括：

一个教师模型，将已训练好且固定权重的基于热力图方法的二维人体姿态估计器作为教师模型，用于在进行模型训练阶段向学生模型传输知识，在测试阶段则被弃用；

一个学生模型，将基于坐标回归方法的二维人体姿态估计器作为学生模型，用于在训练时接收由教师模型所提供的知识，并且在测试阶段被用于完成输入二维图片的前向推理；

一个知识蒸馏模块，用于在训练时将教师模型所学到的知识传递给学生模型；所述知识蒸馏模块包括“隐式特征-蒸馏”模块和“热力图-蒸馏”模块；所述“隐式特征-蒸馏”模块用于提高学生模型与教师模型之间隐式特征的相似程度，使教师模型指导学生模型学得更好的隐式特征；所述“热力图-蒸馏”模块用于显式地利用教师模型所预测得到的热力图输出对学生模型进行指导。

基于上述提出的知识蒸馏框架，本发明进一步提供一种基于知识蒸馏的二维人体姿态估计方法，包括以下步骤：

1)构建教师模型：训练一个基于热力图方法的二维人体姿态估计器并固定权重，作为教师模型；

2)训练学生模型：在数据集所给的真实标注文件和步骤1)所构建的教师模型的指导下，借助蒸馏模块，对学生模型进行训练；