[发明专利]基于视频中运动跟踪的人物动画绘制方法及系统

权利要求书

1.一种基于视频中运动跟踪的人物动画绘制方法，其特征在于，包括以下步骤：

获取包含人物运动的视频，以进行标准姿态下的3D扫描得到3D扫描人物模型；

根据预设的标准模板对所述3D扫描人物模型进行匹配，以获取人体形状和人体姿态，其中，所述根据预设的标准模板对所述3D扫描人物模型进行匹配，进一步包括：对所述预设的标准模板进行人体形状变形，并微调所述标准模板的姿态，使得所述标准模板的姿态与所述3D扫描人物模型的对应点差最小；通过迭代优化得到最优的人体姿态和人体形状，迭代优化的公式为：其中，θ为所述最优的人体姿态，β为所述最优的人体形状，a为所述人体姿态和所述人体形状变形后的所述标准模板的顶点的索引，b为所述3D扫描人物模型网格的顶点的索引，C为a和b点的集合，v′_a(β)为所述人体形状变形后a对应的新顶点，T(θ，v′_a(β))为所述人体姿态和所述人体形状变形后a所对应的新顶点，z_b为3D扫描人体模型的对应顶点位置；

在每读入一帧时，根据所述人体形状和人体姿态对目标函数进行优化，以将所述标准模板和所述视频中的人物进行匹配，获取人体姿态参数，并优化形状参数；以及

对不同帧之间的人物运动中加入卡尔曼滤波，使得通过匹配的对应点将所述标准模板转换回3D扫描的人物模型，获取人体骨架以实现人物动画绘制。

2.根据权利要求1所述的基于视频中运动跟踪的人物动画绘制方法，其特征在于，所述目标函数的优化函数为：

E(β，θ)＝E_J(β，α；K，J_est)+λ_θE_θ(θ)+λ_αE_α(α)+λ_spE_sp(θ；β)，

其中，J_est为卷积神经网络对每帧进行人物骨架和关节点提取得到的数据项，K为照相机参数。

3.根据权利要求1-2任一项所述的基于视频中运动跟踪的人物动画绘制方法，其特征在于，所述对不同帧之间的人物运动中加入卡尔曼滤波，进一步包括：

通过姿态向量建立运动模型；

通过上一状态的估计值对当前状态进行估计，并通过所述当前状态的观测值得到预测值，以获取新估计值；

将卡尔曼滤波后的状态向量的前预设维作为新的所述姿态向量。

4.一种基于视频中运动跟踪的人物动画绘制系统，其特征在于，包括：

第一获取模块，用于获取包含人物运动的视频，以进行标准姿态下的3D扫描得到3D扫描人物模型；

第二获取模块，用于根据预设的标准模板对所述3D扫描人物模型进行匹配，以获取人体形状和人体姿态，其中，所述第二获取模块还用于对所述预设的标准模板进行人体形状变形，并微调所述标准模板的姿态，使得所述标准模板的姿态与所述3D扫描人物模型的对应点差最小，并通过迭代优化得到最优的人体姿态和所述人体形状，迭代优化的公式为：其中，θ为所述最优的人体姿态，β为所述最优的人体形状，a为所述人体姿态和所述人体形状变形后的所述标准模板的顶点的索引，b为所述3D扫描人物模型网格的顶点的索引，C为a和b点的集合，v′_a(β)为所述人体形状变形后a对应的新顶点，T(θ，v′_a(β))为所述人体姿态和所述人体形状变形后a所对应的新顶点，z_b为3D扫描人体模型的对应顶点位置；

优化获取模块，用于在每读入一帧时，根据所述人体形状和人体姿态对目标函数进行优化，以将所述标准模板和所述视频中的人物进行匹配，获取人体姿态参数，并优化形状参数；以及

处理模块，用于对不同帧之间的人物运动中加入卡尔曼滤波，使得通过匹配的对应点将所述标准模板转换回3D扫描的人物模型，获取人体骨架以实现人物动画绘制。