[发明专利]动作迁移方法、装置、设备及存储介质

权利要求书

1.一种动作迁移方法，其特征在于，包括：

获取包括初始对象的动作序列的第一初始视频；

识别所述初始对象在所述第一初始视频的多帧图像中的二维骨架关键点序列；

将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列；

基于所述三维骨架关键点序列，生成包括目标对象的动作序列的目标视频；其中，所述将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列，包括：

基于所述二维骨架关键点序列，确定所述初始对象的动作迁移分量序列；

基于所述初始对象的动作迁移分量序列，确定所述目标对象的三维骨架关键点序列；

其中，采用动作迁移神经网络执行将所述二维骨架关键点序列转换为目标对象的三维骨架关键点序列；

所述方法还包括训练所述动作迁移神经网络的步骤：

获取包括样本对象的动作序列的样本运动视频；

识别所述样本对象在所述样本运动视频的多帧样本图像中的第一样本二维骨架关键点序列；

对第一样本二维骨架关键点序列进行肢体比例缩放处理，得到第二样本二维骨架关键点序列；

基于所述第一样本二维骨架关键点序列，确定第一样本动作迁移分量序列；

基于所述第二样本二维骨架关键点序列，确定第二样本动作迁移分量序列；

基于所述第一样本动作迁移分量序列，确定预估三维骨架关键点序列；

基于所述第一样本动作迁移分量序列、第二样本动作迁移分量序列和所述预估三维骨架关键点序列，确定损失函数；

基于所述损失函数，调整所述动作迁移神经网络的网络参数；

所述损失函数包括运动不变损失函数；所述第一样本动作迁移分量序列包括每帧样本图像对应的第一样本运动分量信息、第一样本结构分量信息和第一样本角度分量信息；所述第二样本动作迁移分量序列包括每帧样本图像对应的第二样本运动分量信息、第二样本结构分量信息和第二样本角度分量信息；

所述确定所述损失函数，包括：

基于所述第二样本运动分量信息、第一样本结构分量信息和第一样本角度分量信息，确定所述第一样本二维骨架关键点序列中对应的所述第一样本二维骨架关键点对应的第一预估骨架关键点；

基于所述第一样本运动分量信息、第二样本结构分量信息和第二样本角度分量信息，确定所述第二样本二维骨架关键点序列中对应的所述第二样本二维骨架关键点对应的第二预估骨架关键点；

基于所述第一预估骨架关键点、第二预估骨架关键点、第一样本运动分量信息、第二样本运动分量信息、和所述预估三维骨架关键点序列，确定所述运动不变损失函数。

2.根据权利要求1所述的动作迁移方法，其特征在于，在确定所述目标对象的三维骨架关键点序列之前，还包括：

获取包括目标对象的第二初始视频；

识别所述目标对象在所述第二初始视频的多帧图像中的二维骨架关键点序列；

所述基于所述初始对象的动作迁移分量序列，确定所述目标对象的三维骨架关键点序列，包括：

基于所述目标对象的二维骨架关键点序列，确定所述目标对象的动作迁移分量序列；

基于所述初始对象的动作迁移分量序列和所述目标对象的动作迁移分量序列，确定目标动作迁移分量序列；

基于所述目标动作迁移分量序列确定所述目标对象的三维骨架关键点序列。

3.根据权利要求1所述的动作迁移方法，其特征在于，所述初始对象的动作迁移分量序列包括运动分量序列、对象结构分量序列和拍摄角度分量序列；

所述基于所述二维骨架关键点序列，确定所述初始对象的动作迁移分量序列，包括：

基于所述第一初始视频的多帧图像中每一帧图像对应的二维骨架关键点，分别确定所述初始对象的运动分量信息、对象结构分量信息和拍摄角度分量信息；

基于所述第一初始视频的多帧图像中每一帧图像对应的运动分量信息，确定所述运动分量序列；

基于所述第一初始视频的多帧图像中每一帧图像对应的对象结构分量信息，确定所述对象结构分量序列；

基于所述第一初始视频的多帧图像中每一帧图像对应的拍摄角度分量信息，确定所述拍摄角度分量序列。