[发明专利]一种动画视频自动生成方法及其装置

说明书

本发明公开了一种动画视频自动生成方法及其装置，其步骤包括：首先通过一个基于生成对抗网络的图像生成模块将两张手绘分镜草图转换为对应的动画风格的图像；然后通过一个基于卷积神经网络的预测模块预测这两张图像帧之间的多张图像帧；再通过一个基于卷积神经网络的插帧模块在任意两张图像帧之间插入多张图像帧，将动画视频的帧率进一步提升，最终得到一个包含多张连续图像帧的流畅的动画序列。本发明能利用少量手绘分镜草图直接生成动画视频，从而使得动画视频生成过程更简单高效自动化。

技术领域

本发明涉及动画领域，具体是一种动画视频自动生成方法及其装置。

背景技术

动画是一种综合了绘画、电影、摄影、音乐、文学等众多艺术门类于一身的艺术表现形式，目前大多数动画的制作都是基于手绘，画师根据分镜脚本绘制出大量手绘线稿草图后上色，再通过连续播放一系列连续图像来完成一段动画的制作。这类方法对画师要求较高，需要经验丰富的画师来完成手绘线稿图像，同时对于一个精度较高的动画，包含成千上万帧，例如动画长片电影《至爱梵高》，导演耗费7年时间集结了全球125位优秀画师，临摹了梵高生前120幅经典画作，共绘制了65000幅手绘油画，才构成了最终的95分钟的成片，这是一个相当耗时耗力的过程。近年来计算机视觉、图像处理领域的方法，尤其是深度学习的方法，可以较好地完成图像风格迁移、视频插帧等任务，但这些任务都是单独没有形成系统的，仅可以完成生成动画图像或者对已有的动画进行处理。因此，更简单高效自动地生成动画具有重要意义。

发明内容

本发明为克服现有技术的不足之处，提供一种动画视频自动生成方法及其装置，以期通过少量的分镜草图即可自动生成动画序列，从而使得动画视频生成过程更简单高效自动化。

本发明为解决技术问题采用如下技术方案：

本发明一种动画视频自动生成方法的特点是按如下步骤进行：

步骤1：构建一个基于生成对抗网络的图像生成模块T：

设置所述图像生成模块T包含一个生成网络G和一个判别网络D；

设置所述生成网络G依次包含两个U-Net模块和一个ResNet模块；

设置任意一个U-Net模块包含：m个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的卷积模块、k个池化模块、k个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的反卷积模块；

以每两个卷积模块为一组，前(m-2)/4组卷积模块与k个池化模块交替相连，共同组成编码模块，后(m-2)/4组卷积模块与k个反卷积模块交替相连，共同组成解码模块，从而依次由编码模块、解码模块和一组卷积模块形成U-Net模块；

设置所述ResNet模块包括：c个相同的残差块，且任意一个残差块由包含快捷连接的卷积核的大小为n×n的卷积层、批正则化层、ReLU激活函数层依次构成；

设置所述判别网络D包含s个由卷积核的大小为n×n的卷积层、批正则化层和LeakyReLU激活函数层构成的判别卷积模块、s个池化模块，以及一个由卷积核的大小为n×n的卷积层、全连接层和Sigmoid激活函数层构成的输出模块，其中s个所述判别卷积模块与s个池化模块交替相连，第s个池化模块后与所述输出模块相连；

步骤2：构建一个基于卷积神经网络的预测模块P：

设置所述预测模块P依次包含：p个所述U-Net模块、q个所述ResNet模块、一个编码器模块和一个解码器模块；

设置所述编码器模块依次包含：h个由卷积核的大小为n×n的卷积层和ReLU激活函数层构成的模块；

设置所述解码器模块依次包含：h个由卷积核的大小为n×n的反卷积层和ReLU激活函数层构成的模块；

步骤3：构建一个基于卷积神经网络的插帧模块I：