[发明专利]一种基于网格结构深度学习的视频高帧率重制方法

摘要

本发明公开一种基于网格结构深度学习的视频高帧率重制方法，采用网格结构的方式估计到的三维像素流能够在各种运动量的运动场景中得到较为精准的结果。本发明的方法比现有的技术都更加鲁棒。为了进一步提高三维像素流的精度和高帧率重制的效果，本发明提出了一种卷积特征提取层与网格网络结构组合的方式。采用本发明的方法得到的高帧率重制的结果比其他现有技术，在合成帧的细节纹理更加细腻真实。

主权项

1.一种基于网格结构深度学习的视频高帧率重制方法，其特征在于：其包括如下步骤：步骤1，把原始的图像先统一设置为H*W的大小，然后将图像归一化到[‑1，1]区间内，最终形成包含N个图像的配对集其中c∈{1，2，...，N}，H为图像高度，W为图像宽度，和分别是t时刻的前一帧和后一帧，是t时刻的当前帧；步骤2，将图像和分别执行初始阶段、特征提取阶段、特征融合阶段、三维像素流估计阶段、重采样阶段，获得一帧的插值图像所述步骤2具体包括以下步骤：步骤2.1，初始阶段：将输入的图像和分别进行1次卷积运算和1次激活函数运算得到其对应的输出特征结果和其计算公式是：其中W1和b1分别是本发明的第一层网络的卷积权值参数和偏置参数，β是激活函数的调整系数；步骤2.2，特征提取阶段：将初始阶段得到的特征和分别进行1次卷积运算和1次激活函数运算得到其对应的输出特征结果和其计算公式是：其中W2和b2分别是本发明的第二层网络的卷积权值参数和偏置参数，β是激活函数的调整系数；步骤2.3，特征融合阶段：将特征提取阶段得到的两个特征和进行1次堆叠操作得到融合特征F₃，其计算公式是：步骤2.4，三维像素流估计阶段：将融合特征F3作为输入特征Fi输入到网格网络中进行三维像素流估计，输入特征Fi经过17次横向卷积组操作、6次下采样卷积组操作和6次上采样卷积组操作后，得到估计到的三维像素流V；其计算公式如下：V＝G(Fi)  (10)其中G代表的是横向卷积组操作、下采样卷积组操作和上采样卷积组操作组成的网格网络；步骤2.5，重采样阶段：用三维像素流估计阶段得到的像素流V，V＝{Δx，Δy，Δz}；对输入图像和进行重采样，得到插值的图像其计算公式是：其中，代表图像像素的x坐标，代表图像像素的y坐标，L代表的是双线性采样；步骤3，将插值的图像与真实的图像进行比较，计算两幅图像之间的欧式距离；步骤4，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；当插值的图像与其对应的原始图像进行比较时没有获得预先设定的合成效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤2‑步骤3；当插值的图像与其对应的原始图像进行比较时已经获得预先设定的合成效果时，则停止反向传播，并最终求得步骤2所获得的卷积权值参数和偏置参数。