[发明专利]一种基于轻量级可形变卷积神经网络的实时视频增强方法

说明书

本发明公开了一种基于轻量级可形变卷积神经网络的实时视频增强方法，涉及如何基于可形变卷积操作构造神经网络以实现视频增强的效果，以及如何通过剪枝使视频增强网络轻量化以满足实时性要求。构造由可形变卷积计算部分以及图像质量增强部分构成的视频增强网络，网络将多帧连续图像作为输入，将中间帧的增强结果作为输出，同时利用可形变卷积操作综合时间维度和空间维度的特征信息，可达到良好的视频增强效果。而后，通过对于卷积层的权重进行剪枝，降低视频网络的参数量和计算量，满足视频增强任务的实时性要求。

技术领域

本发明涉及图像及视频领域，具体涉及一种基于轻量级可形变卷积神经网络的视频增强方法。

背景技术

伴随着市场需求的变化，视频图像的高清化发展方向愈发明显，但是视频在传输中往往需要在发送端先编码以降低传输量，而在接收端后解码出视频，根据编码视频压缩程度不同，解码出的视频清晰度不同，对于较为模糊的视频，往往需要进行一定的增强。与此同时，伴随着数据量的增加和计算机算力的提高，深度神经网络在图像分类、目标检测等若干图像问题上表现出色，开始出现基于深度学习的视频增强算法研究。

非专利文献2（C.Dong, et.al,“Deep Convolution Networks for CompressionArtifacts Reduction.”Proc.ICCV, 2015)中最开始用深度卷积神经网络针对压缩图像的人工痕迹修复，取得了相对于传统图像处理算法更好的效果，但是其将单帧图像作为输入，存在没有充分利用视频时间维度信息的问题，同时其神经网络模型参数量大，计算复杂度高，难以满足实时性要求。

为了针对于视频增强任务，设计了一种基于轻量级可形变卷积神经网络的实时视频增强方法。

发明内容

本发明目的在于针对现有技术的不足，提出一种基于轻量级可形变卷积神经网络的实时视频增强方法，该方法利用视频时间维度和空间维度的信息，同时满足于实时性的要求，实现模糊视频的实时增强。

本发明的目的是通过以下技术方案来实现的：一种基于轻量级可形变卷积神经网络的实时视频增强方法，该方法包括以下步骤：

1）构建基于可形变卷积的视频增强网络；

1.1）视频增强网络包括两个部分：可形变卷积计算部分和图像质量增强部分；

可形变卷积计算部分由若干卷积层、若干激活层和若干可形变卷积层组成，图像质量增强部分由若干卷积层和若干激活层组成，可形变卷积计算部分的输出作为图像质量增强部分的输入；

1.2）视频增强网络的输入输出关系为：

对于待增强的模糊视频，按照时间先后顺序，从前往后逐帧增强视频图像；记待增强的视频图像为目标帧，对时间为的目标帧进行增强处理时，分别取其相邻的前R帧和后R帧，与目标帧连接起来，共2R+1帧图像作为视频增强网络的输入；输入的每帧图像的高为H，宽为W；视频增强网络的输出为：时间为的与目标帧相对应的增强帧；

2）视频增强网络的训练以及压缩；

从公开的数据集中选择未经过压缩的视频并做压缩处理得到压缩后的模糊视频，并将所有视频分为训练数据集和验证数据集，训练数据集以及验证数据集中每个模糊视频都会有其对应的清晰视频；

2.1）通过训练使得视频增强网络收敛，记录此时在验证数据集上的峰值信噪比PSNR为；设置目标剪枝率，初始剪枝率等于0，剪枝循环次数为N；

2.2）剪枝操作的迭代过程具体为：

式中，表示第h次迭代后的剪枝率；

根据迭代后的剪枝率对卷积层和可形变卷积层按照如下规则进行剪枝：