[发明专利]一种视频风格转置方法和系统

权利要求书

1.一种视频风格转置方法，其特征在于，所述方法包括：

获取原视频中的当前帧图像、与所述当前帧图像对应的当前预生成图片、与所述当前帧图像对应的当前风格图片；

提取所述当前帧图像的第一内容特征和所述当前预生成图片的第二内容特征，并根据所述第一内容特征和所述第二内容特征计算出当前内容损失；

提取所述当前风格图片的第一风格特征和所述当前预生成图片的第二风格特征，并根据所述第一风格特征和所述第二风格特征计算出当前风格损失；

根据所述当前内容损失和所述当前风格损失，计算出所述当前预生成图片的总损失，并将所述总损失进行梯度下降，得到最小化损失；

根据所述最小化损失，将对所述当前预生成图片进行更新，得到所述当前帧的生成图片；

根据原视频的码率和帧率将所有帧的生成图片合成，以得到风格转置视频；其中，所述第一内容特征和所述第二内容特征通过以下方式计算所述当前内容损失：

其中，J_content(C,G₁)为当前内容损失，C为当前帧图像的第一内容特征，G₁为当前预生成图片的第二内容特征，a为当前特征矩阵，l₁为第一特定神经网络层；

所述第一风格特征S和所述第二风格特征G₂通过以下方式计算当前第一风格损失：

其中，J_style(S,G₂)为当前第一风格损失，S为当前风格图片的第一风格特征，G₂为当前预生成图片的第二风格特征，l₂为第二特定神经网络层，为第一特征矩阵或第二特征矩阵的第一维度值，为第一特征矩阵或第二特征矩阵的第二维度值，为第一特征矩阵或第二特征矩阵的第三维度值；

所述计算所述当前第一风格损失后，包括：

将多个所述第二特定神经网络层提取的多个所述第一风格特征和多个所述第二风格特征进行计算以得到一一对应的多个所述当前第一风格损失；

对多个所述当前第一风格损失求平均值以得到所述当前风格损失。

2.根据权利要求1所述的方法，其特征在于，所述提取所述当前帧图像的第一内容特征和所述当前预生成图片的第二内容特征包括：

将所述当前帧图像转换为与所述当前预生成图片同等大小尺寸的当前第一图片；

分别将所述当前第一图片和所述当前预生成图片输入到VGG-19；

提取输入到该第一特定神经网络层中的所述当前第一图片的内容特征，得到所述第一内容特征；以及，提取输入到该第一特定神经网络层中的所述当前预生成图片的内容特征，得到所述第二内容特征。

3.根据权利要求1所述的方法，其特征在于，所述提取所述当前风格图片的第一风格特征和所述当前预生成图片的第二风格特征包括：

将所述当前风格图片和所述当前预生成图片输入到VGG-19中第二特定神经网络层；

提取输入到该第二特定神经网络层中的所述当前风格图片的特征矩阵，得到第一特征矩阵；以及提取输入到第二特定神经网络层中所述当前预生成图片的特征矩阵，得到第二特征矩阵；

将所述第一特征矩阵与所述第一特征矩阵转置后的第一转置矩阵相乘以得到所述第一风格特征S；以及将所述第二特征矩阵与所述第二特征矩阵转置后的第二转置矩阵相乘以得到所述第二风格特征G₂。

4.根据权利要求1所述的方法，其特征在于，所述根据所述当前内容损失和所述当前风格损失，计算出所述当前预生成图片的总损包括：

通过以下方式计算所述当前预生成图片的总损失：

J(G)＝αJ_content(C,G₁)+βJ_style(S,G₂)

其中，α为当前内容损失在总损失中的占比，β为当前风格损失在总损失中的占比，α+β＝1。