[发明专利]基于深度学习的时间维视频超分辨率方法

摘要

本发明公开了一种基于深度学习的时间维视频超分辨率方法，主要解决现有技术重构的视频图像插帧稳定性差和精度低的问题。其技术关键是利用神经网络训练拟合原始视频图像和下采样视频图像之间的非线性映射关系，包括1)获取原始视频图像集和下采样视频图像集作为神经网络的训练样本；2)构建神经网络模型并利用训练样本训练神经网络的参数；3)将任给的一段视频作为测试样本，输入到训练好的神经网络模型中，神经网络的输出结果即为重构的视频图像。本发明降低了视频图像插帧重构的计算复杂度，提高了重构视频图像插帧的稳定性和精度，可用于场景插值、动画制作、实现低帧率视频的时间域插帧。

主权项

基于深度学习的时间维视频超分辨率方法，包括：(1)将彩色视频图像集S＝{S1,S2,...,Si,...,SN}转换为灰度视频图像集，即原始视频图像集X＝{X1,X2,...,Xi,...,XN}，并利用下采样矩阵F对原始视频图像集X进行直接下采样，得到下采样视频图像集Y＝{Y1,Y2,...,Yi,...,YN}，其中，表示第i个原始视频图像样本，表示第i个下采样视频图像样本，1≤i≤N，N表示原始视频图像集中图像样本的数量，M表示原始视频图像块的大小，Lh表示原始视频图像集每个样本中图像块的数量，Ll表示下采样视频图像集每个样本中图像块的数量，且Lh＝r×Ll，r表示原始视频图像集对下采样视频图像集的放大倍数；(2)构建神经网络模型，并利用下采样视频图像集Y和原始视频图像集X训练神经网络参数：(2a)确定神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数量，随机初始化各层的连接权值W(t)和偏置b(t)，给定学习速率η，选定激活函数为：其中，g表示神经网络节点的输入值，t＝1,2,…,n，n表示神经网络的总层数；(2b)随机输入下采样视频图像集中的一个下采样视频图像Yi作为输入训练样本，同时输入对应的原始视频图像集中的一个原始视频图像Xi作为输出训练样本，使用选定的激活函数计算神经网络每一层的激活值，计算得到：第1层即输入层的激活值为：a(1)＝Yi，第t'＝2,3,...,n层的激活值为：a(t′)＝f(W(t′‑1)*a(t′‑1)+b(t′‑1))，其中，在该网络的第二层，第三层，第四层即t'＝2，t'＝3，t'＝4时，为了充分提取视频帧间的相关性，设计了三个三维滤波器用来代替传统的二维滤波器，f(g)表示tanh(g)激活函数，g＝W(t′‑1)*a(t′‑1)+b(t′‑1)，W(t′‑1)和b(t′‑1)分别表示第t'‑1层的权重和偏置，a(t′‑1)表示第t'‑1层的激活值；(2c)计算神经网络各层的学习误差：输出层即第n层的误差为：δ(n)＝Xi‑a(n)，第t＝n‑1,n‑2,...,2层的误差为：δ(t′)＝((W(t”))Tδ(t”+1)).*f'(W(t”‑1)*a(t”‑1)+b(t”‑1))，其中，W(t”)表示第t层的权值，δ(t″+1)表示第t+1层的误差，W(t”‑1)和b(t”‑1)分别表示第t‑1层的权值和偏置，a(t”‑1)表示第t‑1层的激活值，f'(g')表示函数f(g')的导数，(g”)T表示转置变换，g'＝W(t”‑1)*a(t”‑1)+b(t”‑1)，g”＝W(t”)；(2d)按误差梯度下降方法更新神经网络各层的权值和偏置：将权值更新为W(t)＝W(t)‑ηδ(t+1)(a(t))T，将偏置更新为b(t)＝b(t)‑ηδ(t+1)，其中，δ(t+1)表示第t+1层的误差，a(t)表示第t层的激活值；(2e)反复执行步骤(2b)‑(2d)，直到神经网络的输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；(3)任给一段视频，输入到训练好的神经网络模型中，神经网络的输出即为时间维超分辨后的视频。