[发明专利]一种肢体特效的渲染方法、装置、存储介质和设备

权利要求书

1.一种肢体特效的渲染方法，其特征在于，所述方法包括：

获取目标对象的图像和参考肢体模型，其中，所述图像包含所述目标对象的肢体，所述参考肢体模型用于呈现指定的肢体特效在参考三维模型上的渲染结果，所述参考肢体模型包含所述肢体特效与所述参考三维模型的映射关系；

基于所述图像，生成与所述目标对象对应的三维模型，并获取所述图像对应的相机参数；

根据所述肢体特效与所述参考三维模型的映射关系，确定所述肢体特效在所述目标对象的三维模型上的渲染结果，生成所述肢体特效对应所述目标对象的肢体特效模型；

根据所述肢体特效模型和所述相机参数，在所述图像中渲染出所述肢体特效。

2.根据权利要求1所述的方法，其特征在于，基于所述图像，生成与所述目标对象对应的三维模型，并获取所述图像对应的相机参数的步骤，包括：

获取所述目标对象的肢体关键点，基于所述肢体关键点生成与所述目标对象对应的三维模型，并获取所述图像对应的相机参数。

3.根据权利要求2所述的方法，其特征在于，所述肢体关键点通过将所述图像输入神经网络训练后获得。

4.根据权利要求2所述的方法，其特征在于，基于所述肢体关键点生成与所述目标对象对应的三维模型，并获取所述图像对应的相机参数的步骤，包括：

基于所述肢体关键点获取所述目标对象的姿态特征；

基于所述姿态特征分别生成所述目标对象对应的姿态参数、形状参数和所述图像对应的相机参数；

根据所述姿态参数和形状参数，通过人体参数化建模，生成与所述目标对象对应的三维模型。

5.根据权利要求4所述的方法，其特征在于，基于所述肢体关键点获取所述目标对象的姿态特征的步骤之后，所述方法还包括：

基于所述目标对象的姿态特征提取所述目标对象的局部特征，并根据所述目标对象的各个局部特征之间的相关性，对所述姿态特征进行优化，以基于优化后的姿态特征分别生成所述目标对象对应的姿态参数、形状参数和所述图像对应的相机参数。

6.根据权利要求5所述的方法，其特征在于，基于所述目标对象的姿态特征提取所述目标对象的局部特征，并根据所述目标对象的各个局部特征之间的相关性，对所述姿态特征进行优化的步骤通过注意力机制实现。

7.根据权利要求2所述的方法，其特征在于，生成与所述目标对象对应的三维模型，并获取所述图像对应的相机参数的步骤之后，还包括：

将所述肢体关键点的二维坐标，作为所述肢体关键点的实际值；

获取所述三维模型中与所述肢体关键点对应的三维坐标；

根据所述三维坐标和所述相机参数，通过投影算法，获得所述三维点基于所述相机参数投影后的二维坐标，作为所述肢体关键点的预测值；

通过优化算法，降低所述肢体关键点的实际值和预测值之间的误差，以优化所述三维模型。

8.根据权利要求1所述的方法，其特征在于，基于所述图像，生成与所述目标对象对应的三维模型，并获取所述图像对应的相机参数的步骤之后，还包括：

对所述三维模型进行至少一次下采样。

9.根据权利要求1所述的方法，其特征在于，所述根据所述肢体特效模型和所述相机参数，在所述图像中渲染出所述肢体特效，包括：

在所述图像中，使用透明色渲染所述三维模型，并使用预设颜色渲染所述肢体特效模型，并根据所述三维模型和所述肢体特效模型的空间关系，确定所述三维模型是否遮挡所述肢体特效模型的指定局部区域。

10.根据权利要求1所述的方法，其特征在于，所述图像为视频帧。