[发明专利]用于控制虚拟形象的方法、装置、设备及介质

说明书

本公开提供了一种用于控制虚拟形象的方法、装置、设备及介质，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。实现方案为：获取针对用户拍摄的连续多帧图像；针对多帧图像中的每帧图像，执行下述操作：识别该图像中用户的多个人体关键点；以及基于多个人体关键点之间的位置关系，确定用户执行第一体态或第二体态；以及响应于在多帧图像中检测到第一体态和第二体态之间的切换，控制用户的虚拟形象在虚拟场景中执行第一动作。

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景，具体涉及一种用于控制虚拟形象的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

元宇宙是人类运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。随着人们生活内容逐渐数字化和虚拟化，以及数字世界和数字孪生等概念的深入人心，元宇宙已成为互联网的行业新热点。人们可以在元宇宙空间中实现开会、看演出、社交、玩游戏等多元化活动。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种用于控制虚拟形象的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种用于控制虚拟形象的方法，包括：获取针对用户拍摄的连续多帧图像；针对多帧图像中的每帧图像，执行下述操作：识别该图像中用户的多个人体关键点；以及基于多个人体关键点之间的位置关系，确定用户执行第一体态或第二体态；以及响应于在多帧图像中检测到第一体态和第二体态之间的切换，控制用户的虚拟形象在虚拟场景中执行第一动作，其中，虚拟形象通过识别用户的骨骼关键点并基于骨骼关键点生成。

根据本公开的另一方面，提供了一种用于控制虚拟形象的装置，包括：第一获取单元，被配置为获取针对用户拍摄的连续多帧图像；执行单元，被配置为针对多帧图像中的每帧图像，执行下述子单元的操作，执行单元包括：识别子单元，被配置为识别该图像中用户的多个人体关键点；以及确定子单元，被配置为基于多个人体关键点之间的位置关系，确定用户执行第一体态或第二体态；以及第一控制单元，被配置为响应于在多帧图像中检测到第一体态和第二体态之间的切换，控制用户的虚拟形象在虚拟场景中执行第一动作，其中，虚拟形象通过识别用户的骨骼关键点并基于骨骼关键点生成。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述用于控制虚拟形象的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述用于控制虚拟形象的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述用于控制虚拟形象的方法。

根据本公开的一个或多个实施例，能够仅通过识别用户肢体动作，无需用户真实走动，即可使用户对应的虚拟形象在虚拟场景中行走或跑动，从而简化用户操作，提升用户的沉浸体验。