[发明专利]一种动画视频自动生成方法及其装置

摘要

本发明公开了一种动画视频自动生成方法及其装置，其步骤包括：首先通过一个基于生成对抗网络的图像生成模块将两张手绘分镜草图转换为对应的动画风格的图像；然后通过一个基于卷积神经网络的预测模块预测这两张图像帧之间的多张图像帧；再通过一个基于卷积神经网络的插帧模块在任意两张图像帧之间插入多张图像帧，将动画视频的帧率进一步提升，最终得到一个包含多张连续图像帧的流畅的动画序列。本发明能利用少量手绘分镜草图直接生成动画视频，从而使得动画视频生成过程更简单高效自动化。

主权项

1.一种动画视频自动生成方法，其特征是按如下步骤进行：步骤1：构建一个基于生成对抗网络的图像生成模块T：设置所述图像生成模块T包含一个生成网络G和一个判别网络D；设置所述生成网络G依次包含两个U‑Net模块和一个ResNet模块；设置任意一个U‑Net模块包含：m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块；以每两个卷积模块为一组，前(m‑2)/4组卷积模块与k个池化模块交替相连，共同组成编码模块，后(m‑2)/4组卷积模块与k个反卷积模块交替相连，共同组成解码模块，从而依次由编码模块、解码模块和一组卷积模块形成U‑Net模块；设置所述ResNet模块包括：c个相同的残差块，且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成；设置所述判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块，以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块，其中s个所述判别卷积模块与s个池化模块交替相连，第s个池化模块后与所述输出模块相连；步骤2：构建一个基于卷积神经网络的预测模块P：设置所述预测模块P依次包含：p个所述U‑Net模块、q个所述ResNet模块、一个编码器模块和一个解码器模块；设置所述编码器模块依次包含：h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块；设置所述解码器模块依次包含：h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块；步骤3：构建一个基于卷积神经网络的插帧模块I：设置所述插帧模块I依次包含：w个所述U‑Net模块，v个所述ResNet模块；步骤4：将两张手绘分镜草图x₁,x₂输入所述图像生成模块T中，得到对应的两张动画风格的图像帧F₁,F₂；步骤5：将所述两张动画风格的图像帧F₁,F₂输入基于全卷积网络的语义分割网络中，得到两张语义分割图像；将所述两张语义分割图像和两张动画风格的图像帧F₁,F₂一起输入所述预测模块P中，得到图像帧F₁,F₂之间的J张预测图像帧{F_1,j|j＝1,2,...J}；将所述图像帧F₁,F₂分别作为第一帧图像和最后一帧图像，将J张预测图像帧{F_1,j|j＝1,2,...J}作为中间帧图像，从而共同构成J+2张的图像帧序列{f_i|i＝1,2,...J+2}；步骤6：将所述J+2张的图像帧序列{f_i|i＝1,2,...J+2}中任意相邻两张图像帧作为一组，从而得到J+1组相邻帧；将任意第x组相邻帧f_x,f_x+1输入所述插帧模块I，得到第x组相邻帧f_x,f_x+1的Y张插帧图像，记为并将所述第x组相邻帧f_x,f_x+1分别作为第一帧图像和最后一帧图像，将Y张插帧图像作为中间帧图像，从而共同构成Y+2张的插帧图像序列；从而得到J+1组相邻帧的插帧图像集合并与相应的相邻帧共同构成Y×(1+J)+2+J张图像帧集合作为由手绘分镜草图x₁,x₂生成的动画序列。