[发明专利]手部姿态估计方法及电子设备

说明书

本申请公开了一种手部姿态估计方法及电子设备，涉及终端领域，该方法包括：电子设备通过摄像头采集到包括用户手部的图像1，基于图像1确定以下一张或多张掩膜图像：掩膜图像2、掩膜图像3和掩膜图像4。接下来，电子设备可以从非目标手部的掩膜图像(例如，掩膜图像3或掩膜图像4)中确定出需要移除的第一部位，从目标手部的掩膜图像2中确定出需要补全的第二部位。电子设备可以从图像1中移除第一部位，并补全第二部位，确定出包括完整目标手部的图像2。然后，电子设备通过图像2确定出用户的手部姿态。

技术领域

本申请涉及终端领域，尤其涉及一种手部姿态估计方法及电子设备。

背景技术

随着计算机技术的发展，增强现实(augmentedreality，AR)技术和虚拟现实(virtual reality，VR)技术在日常中的应用也越来越广泛。在AR技术/VR技术中，电子设备可以对用户的手部姿态进行估计，以便用户与电子设备进行手势交互。然而，当用户的手部被遮挡时，电子设备的手部姿态估计结果不够精确，误差较大，导致用户无法顺畅地和电子设备进行手势交互。

发明内容

本申请提供了一种手部姿态估计方法及电子设备，实现了电子设备可以在手部被遮挡的场景下，精确地估计出用户的手部姿态，降低手部姿态估计结果的误差，使得用户可以顺畅地和电子设备进行手势交互。

第一方面，本申请提供了一种手部姿态估计方法，包括：采集第一图像，该第一图像包括用户的手部。基于该第一图像，确定一张或多张掩膜图像，该一张或多张掩膜图像中包括第一掩膜图像、第二掩膜图像和第三掩膜图像。其中，该第一掩膜图像用于表示目标手部在该第一图像中的可见区域，该第二掩膜图像用于表示遮挡住该目标手部的手部在该第一图像中的可见区域，该第三掩膜图像用于表示被目标手部遮挡的手部在该第一图像中的可见区域。基于该一张或多张掩膜图像，确定出第一遮挡关系。其中，该第一遮挡关系用于表示该目标手部和该非目标手部之间的遮挡关系。基于该第一遮挡关系，从该第一图像中生成第二图像，该第二图像包括完整的该目标手部。从该第二图像中确定出用户的手部姿态。

在一种可能的实现方式中，该基于该第一图像，确定一张或多张掩膜图像，具体包括：通过第一分割网络基于该第一图像，生成第四掩膜图像和第一图像的第一特征图像。其中，该第四掩膜图像用于表示用户的手部轮廓在该第一图像上的区域。将该第四掩膜图像和该第一特征图像输入至第二分割网络中，并基于该第四掩膜图像，调整该第一特征图像中该手部轮廓在该第二分割网络中的权重大于该非手部轮廓在该第二分割网络中的权重。通过该第二分割网络基于该手部轮廓在该第二分割网络中的权重和该非手部轮廓在该第二分割网络中的权重，生成该一张或多张掩膜图像。

在一种可能的实现方式中，该基于该第一遮挡关系，从该第一图像中生成第二图像，具体包括：当该第一遮挡关系为该非目标手部遮挡该目标手部时，从该第一图像中移除该非目标手部的部分或全部可见区域，补全该目标手部被遮挡住的区域，生成第二图像。当该第一遮挡关系为该目标手部遮挡该非目标手部时，从该第一图像中移除该非目标手部的部分或全部可见区域，生成第二图像。

在一种可能的实现方式中，该补全目标手部被遮挡住的区域，具体包括：从该目标手部未被遮挡住的部位确定出填充信息。将该填充信息填充至该目标手部被遮挡住的区域。

在一种可能的实现方式中，该填充信息包括以下的一种或多种：该目标手部未被遮挡住的部位的颜色和纹理特征。

在一种可能的实现方式中，该基于该一张或多张掩膜图像，确定出第一遮挡关系，具体包括：当该第一掩膜图像示出目标手部在该第一图像中的可见区域，该第二掩膜图像示出遮挡住该目标手部的手部在该第一图像中的可见区域时，该第一遮挡关系为该非目标手部遮挡该目标手部。当该第一掩膜图像示出目标手部在该第一图像中的可见区域，该第三掩膜图像示出被目标手部遮挡的手部在该第一图像中的可见区域时，该第一遮挡关系为该目标手部遮挡该非目标手部。