[发明专利]一种基于骨骼驱动还原口型的方法和系统

说明书

本申请实施例公开了一种基于骨骼驱动还原口型的方法和系统，所述方法包括：基于目标图像确定第一颌骨关键点和第二颌骨关键点；获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线；根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线；根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。有效地还原三维空间里的相应口型动作。

技术领域

本申请实施例涉及机器人动作技术领域，具体涉及一种基于骨骼驱动还原口型的方法和系统。

背景技术

当下机器人越来越多地走进普通人的生活和工作中，在家务、娱乐、教育等方向出现了各种各样形态的机器人产品；其中，外观模拟人或卡通形象的机器人，面部的表情、口型变化，需要根据预先编排好的机器动作，以控制机器人完成特定的行动，从而在人机交互过程中，带来较好的用户体验。不同机器人的动画制作的过程有所不同，会依赖于机器人的硬件形态、结构，因此机器人的自由度越多会越复杂。

目前，现有机器人脸部动画制作方案一般通过一段目标对象的动作视频，获取一系列动作对应的多帧二维平面图像；根据多张二维平面图像获取每一帧图像中脸部的表情；根据预设的约束条件和算法，将每一帧人的形态有时序地在相应的机器人上还原，以达到生成一系列对应的机器人动作。为了能够尽可能地还原二维图像对应的三维动作，一般会在图像或视频中运用计算机视觉技术，确定目标对象的脸部骨骼关键点的位置，然后根据关节点的位置变化情况来还原口型动作。

但是，对于多自由度机器人的动作而言，从二维影像中进行动作的还原比较麻烦。例如，真人的肩关节是可以多向活动的，而机器人受到电机体积的制约可能只能实现较少方向的活动。并且，二维影像缺少了深度信息，难以仅仅根据二维坐标还原特定骨骼关键点在空间中的真实位置。因此造成动作的失真，更直接的降低了机器人动作的完成度，因此，如何有效地根据二维图像还原三维空间里的机器人脸部口型动作，成为亟待解决的问题。

发明内容

为此，本申请实施例提供一种基于骨骼驱动还原口型的方法和系统，根据二维平面图像和预设动作的约束条件，有效地还原三维空间里的相应口型动作。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种基于骨骼驱动还原口型的方法，所述方法包括：

获取目标图像，并基于目标图像确定第一颌骨关键点和第二颌骨关键点；所述第一颌骨关键点和所述第二颌骨关键点为所述目标对象的相邻骨骼关键点；

获取第一颌骨关键点在目标平面上的坐标位置，所述目标平面用于指示目标对象的骨骼关键点从三维空间映射到二维平面的相对位置关系；

确定目标平面上以面部第一颌骨关键点的坐标位置为中心点的若干个曲线，所述曲线用于指示第二颌骨关键点映射到所述目标平面上的所有可能的位置；所述曲线上的每一个点的坐标位置对应所述第二颌骨关键点在三维空间中的一个或多个角度信息；

根据面部第二颌骨关键点在所述目标平面上的坐标位置，确定所述第二颌骨关键点所属的目标曲线，所述目标曲线为所述若干个曲线中的一个；

根据所述第二颌骨关键点的坐标位置和所述目标曲线，确定所述第二颌骨关键点的空间位置；

根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作。

可选地，根据二维平面投影上的一系列动作获取面部动作参数，反推出机器人口型动作，包括：

针对某一帧视频图像中的面部骨骼关键点，选择关联运动的骨骼关键点；