[发明专利]关键点检测方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种关键点检测方法，其特征在于，所述方法包括：

提取手部图像的图像特征；

获取所述图像特征对应的多个空间热力图、多个空间注意力图和多个深度图，一个所述空间热力图对应于一个关键点，所述空间热力图用于表示所述手部图像中像素点为对应关键点的概率分布，所述空间注意力图用于表示相邻关键点在所述手部图像的对应区域中出现的概率分布，所述深度图用于表示在所述相邻关键点出现在所述手部图像的任一位置情况下，所述相邻关键点之间的相对深度差的估计值；

基于所述多个空间热力图、所述多个空间注意力图和所述多个深度图，确定所述手部图像中多个关键点的三维位置信息。

2.根据权利要求1所述的关键点检测方法，其特征在于，所述获取所述图像特征对应的多个空间热力图、多个空间注意力图和多个深度图，包括：

将所述图像特征分别输入关键点检测模型的第一转置卷积模块、第二转置卷积模块和第三转置卷积模块，通过所述第一转置卷积模块、所述第二转置卷积模块和所述第三转置卷积模块，分别输出所述多个空间热力图、所述多个空间注意力图和所述多个深度图。

3.根据权利要求2所述的关键点检测方法，其特征在于，所述第一转置卷积模块、所述第二转置卷积模块和所述第三转置卷积模块的结构相同，所述第一转置卷积模块、所述第二转置卷积模块和所述第三转置卷积模块均包括至少一个转置卷积层。

4.根据权利要求1所述的关键点检测方法，其特征在于，所述三维位置信息包括二维位置信息和深度信息；

所述基于所述多个空间热力图、所述多个空间注意力图和所述多个深度图，确定所述手部图像中多个关键点的三维位置信息，包括：

确定每个所述空间热力图中的目标位置，将多个所述空间热力图的目标位置的二维位置信息分别作为所述多个关键点的二维位置信息，所述目标位置为对应像素点为关键点的概率最大的位置；

将所述多个空间注意力图分别与对应的深度图相乘，对相乘后得到的结果进行求和，得到所述多个关键点的深度信息。

5.根据权利要求1所述的关键点检测方法，其特征在于，所述关键点检测方法通过关键点检测模型实现，所述方法还包括：

获取第一样本图像集和第二样本图像集，所述第一样本图像集包括多个第一样本图像和对应的第一样本标签，所述第二样本图像集包括多个第二样本图像；

基于所述第一样本图像集进行训练，得到中间关键点检测模型；

通过所述中间关键点检测模型对第二样本图像集进行处理，得到所述多个第二样本图像的伪标签；

基于所述第二样本图像集和所述多个第二样本图像的伪标签，对所述中间关键点检测模型进行训练，得到所述关键点检测模型。

6.根据权利要求5所述的关键点检测方法，其特征在于，所述第二样本图像集中包括多种手型对应的第二样本图像，每种手型对应的第二样本图像对应于不同视角；

所述基于所述第二样本图像集和所述多个第二样本图像的伪标签，对所述中间关键点检测模型进行训练，得到所述关键点检测模型，包括：

对于所述多种手型中的目标手型，从所述目标手型对应的第二样本图像中，获取第一目标图像；

对所述第一目标图像进行图像转换，得到第三样本图像；

通过所述中间关键点检测模型，确定所述第三样本图像的预测标签；

基于第二目标图像的伪标签以及所述预测标签，确定所述第三样本图像的伪标签，所述第二目标图像为所述目标手型对应的第二样本图像中除第一目标图像以外的任一第二样本图像；

基于所述第三样本图像和所述第三样本图像的伪标签，对所述中间关键点检测模型进行训练，得到所述关键点检测模型。

7.根据权利要求6所述的关键点检测方法，其特征在于，所述基于第二目标图像的伪标签以及所述预测标签，确定所述第三样本图像的伪标签，包括：

确定任一第二目标图像以及第三样本图像之间的视觉一致性，所述视觉一致性用于表示所述两个图像旋转后的相似度；

若所述任一第二目标图像以及第三样本图像之间的视觉一致性满足目标条件，则经所述任一第二目标图像的伪标签确定为所述第三样本图像的伪标签。