[发明专利]一种基于人体交互动作的体验者动作生成方法

摘要

本发明涉及一种基于人体交互动作的体验者动作生成方法，包括：收集适量的具有体验者的动作的图片数据集，这些数据集中一般具备体验者不同的动作，保持穿着的一致性，将这些数据集预处理成只有体验者单个人存在的数据集；使用openpose算法，提取图像中体验者的动作；将得到的体验者动作图片跟原始图片一一配对，构建人体动作跟体验者真实场景动作配对的数据集；使用条件式生成式对抗网络构建人体动作到体验者动作的生成模型；训练完毕后，收集多个风格的舞蹈视频，提取舞蹈视频中的人体动作，将提取到的人体动作作为输入，进行测试，体验者将体验到自己跳舞的乐趣。

主权项

1.一种基于人体交互动作的体验者动作生成方法，其特征在于：包括以下步骤：步骤1、收集体验者的动作图像，对图片进行预处理，构成只有体验者单人的真实动作图像数据集；步骤2、将体验者的真实动作数据集中的每张真实动作图像经过openpose算法处理提取出人体动作图像，将预处理后的真实动作图像与提取出的人体动作图像相配对得到若干图像对，并对所述图像对划分，得到训练集和验证集；步骤3、构建由人体动作图像生成体验者真实动作图像的模型，该模型包括生成器G和判别器D；生成器G用来模拟真实的数据分布，使得生成图像的数据分布接近真实动作图像x的数据分布p(x|s,l)，s是根据真实动作图像提取的人体动作图像，为生成图像，l是风格标签；真实动作图像x和风格标签作为生成器G的输入，该生成器G输出生成图像判别器D用来判断输入图像的来源；当输入的信息是真实图像时，判别器D输出结果为1；输入的信息为生成图像时，判别器D输出结果为0；使用训练集对生成器G和判别器D进行训练，训练的损失函数为L＝L_pix+L_VGG+L_lap+L_GAN，L_pix为生成图像跟真实动作图像x之间的像素损失，L_VGG为生成图像跟真实动作图像x之间的VGG损失，L_lap为生成图像跟真实动作图像x之间的拉普拉斯金字塔特征损失，L_GAN为生成图像跟真实动作图像x之间的生成式对抗网络的损失；其中，φ为预训练的VGG网络模型；L^j是图像下采样的第j个拉普拉斯金字塔特征值；E_(s,x,l)[logD(x,s,l)]是函数logD(x,s,l)的期望；是函数的期望；步骤4、使用验证集对训练完成后的生成器G进行验证；步骤5、收集多个风格的具有标准舞蹈动作舞蹈视频，对舞蹈视频的每一帧图像经过openpose算法处理，得到若干人体舞蹈动作图像，将人体舞蹈动作图像和人为设定的风格标签作为生成器G的输入，由生成器G输出体验者的生成图像并转换为体验者的舞蹈视频。