[发明专利]姿态估计的方法、装置、设备和存储介质

说明书

根据本公开的实施例，提供了姿态估计的方法、装置、设备和存储介质。该方法包括获取与当前颈部姿态相关联的目标二维图像，通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点，其中颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上标注的多个三维颈部参考关键点投影到训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，该训练颈部图像呈现出多个参考颈部姿态；以及基于多个颈部目标关键点，确定当前颈部姿态。由此能够从图像或视频中获取更准确的颈部姿态，以实现更加真实的三维素材加载体验。

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及用于数据处理的方法、装置、设备和计算机可读存储介质。

背景技术

增强现实(AR)技术能够把虚拟信息，例如物体、图片、视频、声音等等叠加在现实环境中。目前，AR技术被广泛应用于诸如购物、动画、游戏、社交等各个方面。例如，在线上购物平台，用户可以通过AR技术在线虚拟穿戴感兴趣的服装或配饰。又例如，拍照软件在拍照过程中可以通过AR技术为拍摄对象加载一些趣味素材以丰富拍摄画面。在使用AR技术的过程中，需要实现待加载的素材与加载对象之间的位置匹配，以确保得到满意的可视化效果。

发明内容

在本公开的第一方面，提供了一种姿态估计的方法。该方法包括获取与当前颈部姿态相关联的目标二维图像并且通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点。其中该颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上标注的多个三维颈部参考关键点投影到训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，该训练颈部图像呈现出多个参考颈部姿态。该方法还包括基于多个颈部目标关键点，确定当前颈部姿态。

在本公开的第二方面，提供了一种用于姿态估计的装置。该装置包括图像获取模块，被配置为获取与当前颈部姿态相关联的目标二维图像，以及关键点确定模块，被配置为通过利用颈部关键点定位模型处理目标二维图像来确定目标二维图像中的多个颈部目标关键点。其中该颈部关键点定位模型是基于训练颈部图像的参考标注数据而被训练的，参考标注数据包括在将可穿戴对象的训练三维素材加载到所述训练颈部图像时，训练三维素材上标注的多个三维颈部参考关键点投影到训练颈部图像中的颈部区域而得到的多个二维颈部参考关键点，该训练颈部图像呈现出多个参考颈部姿态。该装置还包括姿态确定模块，被配置为基于多个颈部目标关键点，确定当前颈部姿态。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，程序被处理器执行时实现第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的姿态估计的过程的框图；

图3A至3E示出了根据本公开的一些实施例的颈部图像处理的示意图；

图4A至图4C示出了根据本公开的一些实施例的确定颈部关键点的示意图；