[发明专利]基于深度学习的时间维视频超分辨率方法

权利要求书

1.基于深度学习的时间维视频超分辨率方法，包括：

(1)将彩色视频图像集S＝{S₁,S₂,...,S_i,...,S_N}转换为灰度视频图像集，即原始视频图像集X＝{X₁,X₂,...,X_i,...,X_N}，并利用下采样矩阵F对原始视频图像集X进行直接下采样，得到下采样视频图像集Y＝{Y₁,Y₂,...,Y_i,...,Y_N}，其中，表示第i个原始视频图像样本，表示第i个下采样视频图像样本，1≤i≤N，N表示原始视频图像集中图像样本的数量，M表示原始视频图像块的大小，L_h表示原始视频图像集每个样本中图像块的数量，L_l表示下采样视频图像集每个样本中图像块的数量，且L_h＝r×L_l，r表示原始视频图像集对下采样视频图像集的放大倍数；

(2)构建神经网络模型，并利用下采样视频图像集Y和原始视频图像集X训练神经网络参数：

(2a)确定神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数量，随机初始化各层的连接权值W^(t)和偏置b^(t)，给定学习速率η，选定激活函数为：其中，g表示神经网络节点的输入值，t＝1,2,…,n，n表示神经网络的总层数；

(2b)随机输入下采样视频图像集中的一个下采样视频图像Y_i作为输入训练样本，同时输入对应的原始视频图像集中的一个原始视频图像X_i作为输出训练样本，使用选定的激活函数计算神经网络每一层的激活值，计算得到：

第1层即输入层的激活值为：a⁽¹⁾＝Y_i，

第t'＝2,3,...,n层的激活值为：a^(t′)＝f(W^(t′-1)*a^(t′-1)+b^(t′-1))，其中，在该网络的第二层，第三层，第四层即t'＝2，t'＝3，t'＝4时，为了充分提取视频帧间的相关性，设计了三个三维滤波器用来代替传统的二维滤波器，f(g)表示tanh(g)激活函数，g＝W^(t′-1)*a^(t′-1)+b^(t′-1)，W^(t′-1)和b^(t′-1)分别表示第t'-1层的权重和偏置，a^(t′^-1)表示第t'-1层的激活值；

(2c)计算神经网络各层的学习误差：

输出层即第n层的误差为：δ⁽ⁿ⁾＝X_i-a⁽ⁿ⁾，

第t"＝n-1,n-2,...,2层的误差为：δ^(t′)＝((W^(t”))^Tδ^(t”+1)).*f'(W^(t”-1)*a^(t”-1)+b^(t”-1))，其中，W^(t”)表示第t"层的权值，δ^(t″+1)表示第t"+1层的误差，W^(t”-1)和b^(t”-1)分别表示第t"-1层的权值和偏置，a^(t”^-1)表示第t"-1层的激活值，f'(g')表示函数f(g')的导数，(g”)^T表示转置变换，g'＝W^(t”-1)*a^(t”-1)+b^(t”-1)，g”＝W^(t”)；

(2d)按误差梯度下降方法更新神经网络各层的权值和偏置：

将权值更新为W^(t)＝W^(t)-ηδ^(t+1)(a^(t))^T，将偏置更新为b^(t)＝b^(t)-ηδ^(t+1)，其中，δ^(t+1)表示第t+1层的误差，a^(t)表示第t层的激活值；

(2e)反复执行步骤(2b)-(2d)，直到神经网络的输出层误差达到预设精度要求或训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型；

(3)任给一段视频，输入到训练好的神经网络模型中，神经网络的输出即为时间维超分辨后的视频。