[发明专利]一种基于人体交互动作的体验者动作生成方法

说明书

本发明涉及一种基于人体交互动作的体验者动作生成方法，包括：收集适量的具有体验者的动作的图片数据集，这些数据集中一般具备体验者不同的动作，保持穿着的一致性，将这些数据集预处理成只有体验者单个人存在的数据集；使用openpose算法，提取图像中体验者的动作；将得到的体验者动作图片跟原始图片一一配对，构建人体动作跟体验者真实场景动作配对的数据集；使用条件式生成式对抗网络构建人体动作到体验者动作的生成模型；训练完毕后，收集多个风格的舞蹈视频，提取舞蹈视频中的人体动作，将提取到的人体动作作为输入，进行测试，体验者将体验到自己跳舞的乐趣。

技术领域

本发明涉及计算机图像处理技术领域，特别是涉及一种人体交互动作的体验者动作生成方法。

背景技术

随着计算机领域的不断发展，用户对图像以及视频处理技术的要求越来越高，交互式的舞蹈动作生成，作为一种娱乐方式以及基本性的计算机图像处理工作吸引了很多研究者的目光。

体验者动作生成，一般指通过一些具体的动作，可以将这些动作迁移到体验者的身上，合成一段数字影像，可以让体验者切实的感受到自己从未经历过的一些动作。

现有技术中公开了一种关于pix2pix图像翻译的方法，虽然该方法能够对大多结构化的图像数据进行翻译，但是对于非结构化的图像数据容易造成结构上细节的缺失，本发明通过添加一种拉普拉斯金字塔的结构损失，有效的解决了这种在结构上细节缺失的问题。

发明内容

本发明的目的在于，提供一种人体交互动作的体验者动作生成方法及装置，在体验者交互设计上，使得体验者体验不同虚拟动作的乐趣。

为了达到本发明目的，本发明提供的一种基于人体交互动作的体验者动作生成方法，其特征在于：包括以下步骤：

步骤1、收集体验者的动作图像，对图片进行预处理，构成只有体验者单人的真实动作图像数据集；

步骤2、使用openpose算法，提取真实动作图像中的人体动作，所述方法在于：

将体验者的真实动作数据集中的每张真实动作图像经过openpose算法处理提取出人体动作图像，将预处理后的真实动作图像与提取出的人体动作图像相配对得到若干图像对，并对所述图像对划分，得到训练集和验证集；

步骤3、构建由人体动作图像生成体验者真实动作图像的模型，该模型包括生成器G和判别器D；生成器G用来模拟真实的数据分布，使得生成图像的数据分布接近真实动作图像x的数据分布p(x|s,l)，s是根据真实动作图像提取的人体动作图像，为生成图像，l是风格标签；真实动作图像x和风格标签作为生成器G的输入，该生成器G输出生成图像

判别器D用来判断输入图像的来源；当输入的信息是真实图像时，判别器判断出图像来源于真实图像的数据分布，判别器D输出结果为1；输入的信息为生成图像时，判别器判断数据来源于生成图像的数据分布，判别器D输出结果为0；

使用训练集对生成器G和判别器D进行训练，训练的损失函数为L＝L_pix+L_VGG+L_lap+L_GAN，L_pix为生成图像跟真实动作图像x之间的像素损失，L_VGG为生成图像跟真实动作图像x之间的VGG损失，L_lap为生成图像跟真实动作图像x之间的拉普拉斯金字塔特征损失，L_GAN为生成图像跟真实动作图像x之间的生成式对抗网络的损失；

其中，φ为预训练的VGG网络模型；

L^j是图像下采样的第j个拉普拉斯金字塔特征值；

E_(s,x,l)[logD(x,s,l)]是函数logD(x,s,l)的期望；是函数的期望；