[发明专利]一种基于高效时空信息融合的视频比特增强方法

权利要求书

1.一种基于高效时空信息融合的视频比特增强方法，其特征在于，所述方法包括：

构建基于高效时空信息融合的视频比特深度增强网络；

在训练阶段，将训练集的低比特视频序列通过零填充增强到高比特视频序列，将粗糙的高比特深度视频序列输入深度增强网络，输出为重建后的高比特深度中间帧，训练期间采用均方误差损失函数，并采用Adam优化器训练网络；

在测试阶段，将粗糙的高比特深度视频序列送入加载好训练后的模型参数的网络中，采用客观图像质量评价对重建的高比特深度中间帧的质量进行评估；

其中，所述视频比特深度增强网络包括：

第一部分隐式对齐模块；

第二部分包含特征提取部分和高效时空信息融合组，高效时空信息融合组由串联的时空信息融合模块构成；

第三部分是重建输入视频序列的高比特深度中间帧模块；

所述时空信息融合模块中，特征图组经过两层卷积单元，提取空间特征，表示为：

f²＝C²(C¹(f⁰))

其中，C¹，C²分别表示第一层卷积单元和第二层卷积单元，f²表示f⁰经过第一层卷积单元和第二层卷积单元后所得到的特征图集，f²再经一层卷积单元，将通道数降为1，得到特征图集合F，将集合F中的特征图在通道方向级联，在通道方向上进行softmax操作；

用公式表达为：

F＝C³(f²)

其中，C³为第三层卷积单元，F_T(i,j)表示F_T中位于(i,j)位置的像素点，M_T(i,j)表示第T帧位于(i,j)位置的时间注意力权重，将f²集合中的特征图与对应的时间注意力图按元素相乘，得到特征图集合f³；

用公式表示为：

其中，⊙表示按元素相乘，为第T帧包含时间注意力的特征图，将f²中的特征图在通道方向上进行级联，通过一个卷积单元进行时空信息融合，得到特征图f_fused,将f_fused与特征图集合f³中的特征图进行相加，得到特征图集合f⁴，将特征图集合f⁴经过一层卷积单元，得到特征图集合f⁵，用公式表示为：

f⁵＝C⁴(f⁴)。

2.根据权利要求1所述的一种基于高效时空信息融合的视频比特增强方法，其特征在于，所述特征提取部分包含若干个个支路，对应着相应个数的输入视频帧，每个支路包含一个卷积单元，该部分接收隐式对齐模块输出的隐式对齐后的视频帧，将每帧视频帧送入相应的支路进行空间特征提取，得到特征图，将特征图组输入时空信息融合模块中。