[发明专利]手部姿态估计方法及电子设备

权利要求书

1.一种手部姿态估计方法，其特征在于，包括：

采集第一图像，所述第一图像包括用户的手部；

基于所述第一图像，确定一张或多张掩膜图像，所述一张或多张掩膜图像中包括第一掩膜图像、第二掩膜图像和第三掩膜图像；其中，所述第一掩膜图像用于表示目标手部在所述第一图像中的可见区域，所述第二掩膜图像用于表示遮挡住该目标手部的手部在所述第一图像中的可见区域，所述第三掩膜图像用于表示被目标手部遮挡的手部在所述第一图像中的可见区域；

基于所述一张或多张掩膜图像，确定出第一遮挡关系；其中，所述第一遮挡关系用于表示所述目标手部和非目标手部之间的遮挡关系；

基于所述第一遮挡关系，从所述第一图像中生成第二图像，所述第二图像包括完整的所述目标手部；

从所述第二图像中确定出用户的手部姿态。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像，确定一张或多张掩膜图像，具体包括：

通过第一分割网络基于所述第一图像，生成第四掩膜图像和第一图像的第一特征图像；其中，所述第四掩膜图像用于表示手部轮廓在所述第一图像上的区域；

将所述第四掩膜图像和所述第一特征图像输入至第二分割网络中，并基于所述第四掩膜图像，调整所述第一特征图像中所述手部轮廓在所述第二分割网络中的权重大于非手部轮廓在所述第二分割网络中的权重；

通过所述第二分割网络基于所述手部轮廓在所述第二分割网络中的权重和所述非手部轮廓在所述第二分割网络中的权重，生成所述一张或多张掩膜图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一遮挡关系，从所述第一图像中生成第二图像，具体包括：

当所述第一遮挡关系为所述非目标手部遮挡所述目标手部时，从所述第一图像中移除所述非目标手部的部分或全部可见区域，补全所述目标手部被遮挡住的区域，生成第二图像；

当所述第一遮挡关系为所述目标手部遮挡所述非目标手部时，从所述第一图像中移除所述非目标手部的部分或全部可见区域，生成第二图像。

4.根据权利要求3所述的方法，其特征在于，所述补全所述目标手部被遮挡住的区域，具体包括：

从所述目标手部未被遮挡住的部位确定出填充信息；

将所述填充信息填充至所述目标手部被遮挡住的区域。

5.根据权利要求4所述的方法，其特征在于，所述填充信息包括以下的一种或多种：所述目标手部未被遮挡住的部位的颜色和纹理特征。

6.根据权利要求1或2所述的方法，其特征在于，所述基于所述一张或多张掩膜图像，确定出第一遮挡关系，具体包括：

当所述第一掩膜图像示出所述目标手部在所述第一图像中的可见区域，所述第二掩膜图像示出遮挡住所述目标手部的手部在所述第一图像中的可见区域时，所述第一遮挡关系为所述非目标手部遮挡所述目标手部；

当所述第一掩膜图像示出所述目标手部在所述第一图像中的可见区域，所述第三掩膜图像示出被所述目标手部遮挡的手部在所述第一图像中的可见区域时，所述第一遮挡关系为所述目标手部遮挡所述非目标手部。

7.根据权利要求1所述的方法，其特征在于，从所述第二图像中确定出用户的手部姿态，具体包括：

从所述第二图像中提取出一个或多个手部关节点；

确定出所述一个或多个手部关节点在3D空间中的坐标；

基于所述一个或多个手部关节点在3D空间中的坐标，确定出用户的手部姿态。

8.一种电子设备，其特征在于，包括：一个或多个处理器和一个或多个存储器；所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机可执行程序，当所述一个或多个处理器执行所述计算机可执行程序时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。