[发明专利]用于控制虚拟形象的方法、装置、设备及介质

权利要求书

1.一种用于控制虚拟形象的方法，所述方法包括：

获取针对用户拍摄的连续多帧图像；

针对所述多帧图像中的每帧图像，执行下述操作：

识别该图像中所述用户的多个人体关键点；以及

基于所述多个人体关键点之间的位置关系，确定所述用户执行第一体态或第二体态；以及

响应于在所述多帧图像中检测到所述第一体态和所述第二体态之间的切换，控制所述用户的虚拟形象在虚拟场景中执行第一动作，其中，所述虚拟形象通过识别所述用户的骨骼关键点并基于所述骨骼关键点生成。

2.根据权利要求1所述的方法，其中，所述第一体态为所述用户的第一手部在所述用户的躯体所在平面的前侧并且所述用户的第二手部在所述平面的后侧，所述第二体态为所述第一手部在所述平面的后侧并且所述第二手部在所述平面的前侧。

3.根据权利要求1或2所述的方法，其中，所述多个人体关键点中包括第一手部关键点、第二手部关键点和至少三个躯体关键点，所述基于所述多个人体关键点之间的位置关系，确定所述用户执行第一体态或第二体态包括：

基于所述至少三个躯体关键点，确定所述用户的躯体所在的所述平面以及所述平面的法向量；

确定所述第一手部关键点指向所述平面的第一向量和所述第二手部关键点指向所述平面的第二向量，其中，所述第一向量和所述第二向量均垂直于所述平面；以及

基于所述第一向量的长度和方向以及所述第二向量的长度和方向，确定所述用户是否执行所述第一体态和所述第二体态，其中，在所述第一体态和所述第二体态中所述第一向量的长度和所述第二向量的长度大于第一阈值，所述第一体态中所述第一向量与所述法向量的方向相反，并且所述第二向量与所述法向量的方向相同，所述第二体态中所述第一向量与所述法向量的方向相同，并且所述第二向量与所述法向量的方向相反。

4.根据权利要求1至3中任一项所述的方法，还包括：

检测所述第一体态和第二体态的切换速率；以及

基于所述切换速率，控制所述虚拟形象执行所述第一动作的速率。

5.根据权利要求1至4中任一项所述的方法，还包括：

基于不同方向的多个摄像设备对所述用户拍摄，以获取所述多个摄像设备中每个摄像设备的连续多帧图像；并且其中，

所述用户的人体关键点的识别包括：

针对分别来自所述多个摄像设备的同一时刻拍摄的多个第一图像中的每个第一图像，识别该第一图像中所述用户的第一人体关键点，其中，所述第一人体关键点为二维人体关键点；以及

确定所述多个第一图像分别相应的多个第一人体关键点的极线交汇处，以确定所述用户的人体关键点，其中，所述人体关键点为三维人体关键点。

6.根据权利要求5所述的方法，所述多个第一图像中的每个第一图像包括人脸图像，所述方法还包括：

基于所述多个第一图像中的每个第一图像，获取该第一图像中的第一人脸驱动系数；

基于所述多个第一图像中的每个第一图像对应的摄像设备位置，确定该第一图像对应的权重；以及

基于所述多个第一图像中每个第一图像对应的权重和第一人脸驱动系数，获得第二人脸驱动系数，以基于所述第二人脸驱动系数控制所述虚拟形象的表情。

7.根据权利要求6所述的方法，其中，所述基于所述多个第一图像中的每个第一图像对应的摄像设备位置，确定该第一图像对应的权重包括：

针对所述多个第一图像中的每个第一图像，基于该第一图像对应的摄像设备与所述用户之间的连线和所述用户的人脸方向的夹角，确定该第一图像对应的权重。

8.根据权利要求1至7中任一项所述的方法，所述第一动作包括行走动作或跑步动作。