[发明专利]手部姿态获取方法、装置、电子设备及可读存储介质

说明书

本公开涉及一种手部姿态获取方法、装置、电子设备及可读存储介质，该方法通过获取手部关节点分别在多个参考图像中的第一位置和手部关节点分别在多个待处理图像中的第二位置；多个参考图像包括手部为特定三维姿态时，基于多个视角将所述手部关节点分别进行映射获得的图像；多个待处理图像包括针对手部在所述多个视角获得的图像；根据手部关节点分别对应的第一位置和第二位置进行最小二乘优化，对手部关节点在多个待处理图像中的第二位置进行调整；基于手部关节点在多个待处理图像中的调整后的第二位置，获得手部的目标三维姿态。该方法通过多视角的观测优化位姿信息，能够最大程度匹配多视图的状态，进而能够提高获得的手部的三维姿态的准确度。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种手部姿态获取方法、装置、电子设备及可读存储介质。

背景技术

获取手部的三维姿态是指从图像中准确识别出人体手部各关节点的位置，进而获得手部的三维姿态。手部姿态识别常用于人机交互、增强现实或虚拟现实等应用中，是当前主流的交互方式之一。

目前，获取手部的三维姿态是通过对关节点在图像中的位置进行分析，获取各关节点的在特定三维坐标系中的位置，基于手部各关节点在特定三维坐标系中的位置获得手部的三维姿态。手部姿态的准确性极为重要，严重影响交互体验。然而，采用上述方式获取手部的三维姿态，可能由于一些关节点被遮挡、图像不清晰等原因导致获得的关节点在图像中的位置不准确，进而影响获取的手部的三维姿态的准确性。因此，如何获取准确性更高的手部的三维姿态是当前亟待解决的问题。

发明内容

为了解决上述技术问题，本公开提供了一种手部姿态获取方法、装置、电子设备及可读存储介质。

第一方面，本公开提供了一种手部姿态获取方法，包括：

获取手部关节点分别在多个参考图像中的第一位置；所述多个参考图像包括手部为特定三维姿态时，基于多个视角将所述手部关节点分别进行映射获得的图像；

获取所述手部关节点分别在多个待处理图像中的第二位置；所述多个待处理图像包括针对手部在所述多个视角获得的图像，同一视角的参考图像和待处理图像一一对应；

根据所述手部关节点分别在所述多个参考图像中的第一位置和所述手部关节点分别在所述多个待处理图像中的第二位置进行最小二乘优化LM，获取所述手部关节点对应的调整后的第二位置；

将所述手部关节点对应的调整后的第二位置映射至预先建立的三维坐标系中，获取所述手部的目标三维姿态。

作为一种可能的实施方式，所述根据手部关节点分别在所述多个参考图像中的第一位置和所述手部关节点分别在所述多个待处理图像中的第二位置进行LM，获取所述手部关节点对应的优化后的位置，包括：

根据所述手部关节点分别在所述多个参考图像中第一位置以及所述手部关节点分别在多个待处理图像中的第二位置，获取残差项；

确定所述残差项为最小值时，获得的所述手部关节点的位置为所述手部关节点对应的调整后的第二位置。

作为一种可能的实施方式，所述手部关节点包括多个关节点；所述获取手部关节点分别在多个参考图像中的第一位置，包括：

获取所述特定三维姿态时，每个所述关节点在第一坐标系中的位置；所述第一坐标系是根据所述特定三维姿态建立的三维坐标系；

针对每个所述参考图像，根据所述关节点在所述第一坐标系中的位置以及所述第一坐标系与第二坐标系之间的转换关系，获取所述关节点在所述第二坐标系中的位置；其中，所述第二坐标系为所述参考图像对应视角的图像坐标系。

作为一种可能的实施方式，所述获取所述特定三维姿态时，每个所述关节点在第一坐标系中的位置，包括：