[发明专利]基于图像的动作确定方法、装置、电子设备及存储介质

说明书

本公开提供了一种基于图像的动作确定方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于虚拟数字人、元宇宙等应用场景中。具体实现方案为：获取人体的图像，其中，图像包括：脚部关键点和待处理关键点；确定脚部关键点的参考点位置，并确定待处理关键点的待处理点位置；如果图像指示脚部触地状态，则根据参考点位置处理待处理点位置，得到待处理关键点的目标点位置；以及根据参考点位置和目标点位置，确定人体的目标动作。能够有效提升基于图像所感知人体的关键点的精度，提升动作确定准确度，提升基于图像的动作确定效果。

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于虚拟数字人、元宇宙等应用场景中，尤其涉及一种基于图像的动作确定方法、装置、电子设备及存储介质。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术，以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。

相关技术中，单目动捕，是指使用一个单目相机采集单张图像，基于单张图像来感知人体关键点，例如，三维(three-Dimensional，3D)关键点，而后，驱动人体关键点来实时生成虚拟人的动作。而由于单目相机的深度歧义性，导致基于图像所感知人体的关键点的精度不高，所确定的动作不够准确，基于图像的动作确定效果不佳。

发明内容

本公开提供了一种基于图像的动作确定方法、装置、电子设备、存储介质及计算机程序产品。

根据本公开的第一方面，提供了一种基于图像的动作确定方法，包括：获取人体的图像，其中，所述图像包括：脚部关键点和待处理关键点；确定所述脚部关键点的参考点位置，并确定所述待处理关键点的待处理点位置；如果所述图像指示脚部触地状态，则根据所述参考点位置处理所述待处理点位置，得到所述待处理关键点的目标点位置；以及根据所述参考点位置和所述目标点位置，确定所述人体的目标动作。

根据本公开的第二方面，提供了一种基于图像的动作确定装置，包括：获取模块，用于获取人体的图像，其中，所述图像包括：脚部关键点和待处理关键点；第一确定模块，用于确定所述脚部关键点的参考点位置，并确定所述待处理关键点的待处理点位置；处理模块，用于在所述图像指示脚部触地状态的情况下，根据所述参考点位置处理所述待处理点位置，得到所述待处理关键点的目标点位置；以及第二确定模块，用于根据所述参考点位置和所述目标点位置，确定所述人体的目标动作。

根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例的方法。

根据本公开的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开第一方面实施例的方法。

根据本公开的第五方面，提出了一种计算机程序产品，包括计算机程序，当计算机程序由处理器执行时实现本公开第一方面实施例的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；