[发明专利]一种基于网格结构深度学习的视频高帧率重制方法

权利要求书

1.一种基于网格结构深度学习的视频高帧率重制方法，其特征在于：其包括如下步骤：

步骤1，把原始的图像先统一设置为H*W的大小，然后将图像归一化到[-1,1]区间内，最终形成包含N个图像的配对集其中c∈{1,2,…,N}，H为图像高度，W为图像宽度，和分别是t时刻的前一帧和后一帧，是t时刻的当前帧；

步骤2，将图像和分别执行初始阶段、特征提取阶段、特征融合阶段、三维像素流估计阶段、重采样阶段，获得一帧的插值图像

所述步骤2具体包括以下步骤：

步骤2.1，初始阶段：将输入的图像和分别进行1次卷积运算和1次激活函数运算得到其对应的输出特征结果和其计算公式是：

其中W₁和b₁分别是第一层网络的卷积权值参数和偏置参数，β是激活函数的调整系数；

步骤2.2，特征提取阶段：将初始阶段得到的特征和分别进行1次卷积运算和1次激活函数运算得到其对应的输出特征结果和其计算公式是：

其中W₂和b₂分别是第二层网络的卷积权值参数和偏置参数，β是激活函数的调整系数；

步骤2.3，特征融合阶段：将特征提取阶段得到的两个特征和进行1次堆叠操作得到融合特征F₃，其计算公式是：

步骤2.4，三维像素流估计阶段：将融合特征F₃作为输入特征F_i输入到网格网络中进行三维像素流估计，网格网络包括一输入横向卷积组、一输出横向卷积组、第一横向卷积组群、第二横向卷积组群和第三横向卷积组群，输入横向卷积组的输出端连接第一横向卷积组群的输入端，第一横向卷积组群的输出端连接输出横向卷积组，第一横向卷积组群、第二横向卷积组群和第三横向卷积组群均包括依次连接的5个横向卷积组，第一横向卷积组群的前三个横向卷积组的输入端分别通过依次连接的两个下采样卷积组一一对应输出至第三横向卷积组群的前三个横向卷积组的输入端，第三横向卷积组群的后三个横向卷积组的输出端分别各自通过依次连接的两个上采样卷积组一一对应输出至第一横向卷积组群的后三个横向卷积组的输出端，联通第一横向卷积组群的第一个横向卷积组输入端和第三横向卷积组群的第一个横向卷积组输入端的第一个下采样卷积组的输出端与第二横向卷积组群的输入端连接，联通第三横向卷积组群的最后一个横向卷积组输出端和第一横向卷积组群的最后一个横向卷积组输出端的第一个上采样卷积组的输出端与第二横向卷积组群的输出端连接；输入特征F_i经过17次横向卷积组操作、6次下采样卷积组操作和6次上采样卷积组操作后，得到估计到的三维像素流V；其计算公式如下：

V＝G(F_i) (10)

其中G代表的是横向卷积组操作、下采样卷积组操作和上采样卷积组操作组成的网格网络；

步骤2.5，重采样阶段：用三维像素流估计阶段得到的像素流V，V＝{Δx,Δy,Δz}；对输入图像和进行重采样，得到插值的图像其计算公式是：

其中，代表图像像素的x坐标，代表图像像素的y坐标，L代表的是双线性采样；

步骤3，将插值的图像与真实的图像进行比较，计算两幅图像之间的欧式距离；

步骤4，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；

当插值的图像与其对应的原始图像进行比较时没有获得预先设定的合成效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2-步骤3；

当插值的图像与其对应的原始图像进行比较时已经获得预先设定的合成效果时，则停止反向传播，并最终求得步骤2所获得的卷积权值参数和偏置参数。

2.根据权利要求1所述的一种基于网格结构深度学习的视频高帧率重制方法，其特征在于：步骤1之前还包括：

步骤0，训练数据库的图像挑选；采用UCF-101动作数据集，将UCF-101动作数据集涵盖的动作视频进行随机采样，选择高质量的并且具有明显运动量的视频帧，选取24000组视频帧，每组由连续的三个图像组成。

3.根据权利要求2所述的一种基于网格结构深度学习的视频高帧率重制方法，其特征在于：步骤0中视频帧的选择标准是选取PSNR大于35的高质量图像。

4.根据权利要求1所述的一种基于网格结构深度学习的视频高帧率重制方法，其特征在于：步骤2.4具体包括以下步骤：

步骤2.4.1，横向卷积组操作：将输入特征F_i进行2次激活函数运算和2次卷积运算，得到其对应的输出结果G_i+1，其计算公式是：

其中和分别是横向卷积组的第1次卷积运算的权值参数和第2次卷积运算的权值参数，和分别是横向卷积组的第1次卷积运算的偏置参数和第2次卷积运算的偏置参数，β是激活函数的调整系数；

步骤2.4.2，上采样卷积组操作：将输入特征F_i进行1次双线性插值，2次激活函数运算和2次卷积运算，得到其对应的输出结果R_i+2，其计算公式是：

R_i＝f(F_i) (6)

其中f是双线性插值，和分别是上采样卷积组的第1次卷积运算的权值参数和第2次卷积运算的权值参数，和分别是上采样卷积组的第1次卷积运算的偏置参数和第2次卷积运算的偏置参数，β是激活函数的调整系数；

步骤2.4.3，下采样卷积组操作：将输入特征F_i进行2次激活函数运算和2次卷积运算，得到其对应的输出结果S_i+1，其计算公式是：

其中W_sⁱ和W_sⁱ⁺¹分别是下采样卷积组的第1次卷积运算的权值参数和第2次卷积运算的权值参数,其中卷积的步长为2，和分别是下采样卷积组的第1次卷积运算的偏置参数和第2次卷积运算的偏置参数，β是激活函数的调整系数。