[发明专利]一种基于轻量级可形变卷积神经网络的实时视频增强方法

权利要求书

1.一种基于轻量级可形变卷积神经网络的实时视频增强方法，其特征在于，该方法包括以下步骤：

1）构建基于可形变卷积的视频增强网络；

1.1）视频增强网络包括两个部分：可形变卷积计算部分和图像质量增强部分；

可形变卷积计算部分由若干卷积层、若干激活层和若干可形变卷积层组成，图像质量增强部分由若干卷积层和若干激活层组成，可形变卷积计算部分的输出作为图像质量增强部分的输入；

1.2）视频增强网络的输入输出关系为：

对于待增强的模糊视频，按照时间先后顺序，从前往后逐帧增强视频图像；记待增强的视频图像为目标帧，对时间为的目标帧进行增强处理时，分别取其相邻的前R帧和后R帧，与目标帧连接起来，共2R+1帧图像作为视频增强网络的输入；视频增强网络的输出为：时间为的与目标帧相对应的增强帧；

2）视频增强网络的训练以及压缩；

从公开的数据集中选择未经过压缩的视频并做压缩处理得到压缩后的模糊视频，并将所有视频分为训练数据集和验证数据集，训练数据集以及验证数据集中每个模糊视频都会有其对应的清晰视频；

2.1）通过训练使得视频增强网络收敛，记录此时在验证数据集上的峰值信噪比PSNR为；设置目标剪枝率，初始剪枝率等于0，剪枝循环次数为N；

2.2）剪枝操作的迭代过程具体为：

式中，表示第h次迭代后的剪枝率；

根据迭代后的剪枝率对卷积层和可形变卷积层按照如下规则进行剪枝：

卷积层和可形变卷积层的输入通道数为，卷积核的尺寸为K×K，输出通道为，那么卷积核参数为；将卷积核参数用矩阵形式表示，记为，矩阵的行数为，列数为，矩阵中第i行第j列的参数表示为；对参数矩阵的每行求取绝对值均值：

对于每行的绝对值均值按照从小到大的顺序进行排序；将排序后的前个绝对值均值所对应参数矩阵中的行移除，获得新的参数矩阵，其中的取值在(0,1)之间；对新的参数矩阵每行进行归一化，得到归一化后的参数矩阵；求取方阵；

对矩阵每行求取绝对值之和，然后将每行的绝对值之和按照从小到大的顺序进行排序；将排序后的前个值所对应的新的参数矩阵中的行移除；获得剪枝后的参数矩阵；对于卷积层参数而言，只保留剪枝后参数矩阵所对应的参数值；

2.3）重新训练剪枝后的网络，待网络收敛之后，记录此时在验证数据集上的峰值信噪比PSNR为；判断是否满足终止条件，终止条件有两个，第一个如下：

，为精度下降的容忍度，取值为；

第二个终止条件为：；

满足两个终止条件中的任意一个，则终止剪枝过程，获得剪枝后的视频增强网络，否则，重复步骤2.2）和2.3）；

3）将待增强的模糊视频输入到剪枝后的视频增强网络中，实现视频的实时增强。

2.根据权利要求1所述的一种基于轻量级可形变卷积神经网络的实时视频增强方法，其特征在于，可形变卷积计算部分为通过可形变卷积对输入的(2R+1)帧图像进行可形变卷积计算；首先由输入的2R+1帧视频图像经过卷积层和激活层获得可形变卷积计算所需的偏移量；偏移量数目为，其中H和W为输入图像的高和宽，K为卷积核的大小；可形变卷积对于视频中每帧、每个位置的像素均有的偏移量，可形变卷积的计算公式如下：

其中表示时间为t的卷积核参数，表示当前运算的像素点位置，表示卷积的偏移量，表示时空坐标为(t,p)的偏移量，表示整体可形变卷积层的偏移量，表示时间为t时的可形变卷积计算部分的输入的视频帧；为可形变卷积层输出特征图像素点位置为的值。

3.根据权利要求1所述的一种基于轻量级可形变卷积神经网络的实时视频增强方法，其特征在于，可形变卷积计算部分的卷积层、激活层和可形变卷积层的数量以及图像质量增强部分的卷积层和激活层数量根据视频增强的效果以及实时性的要求来确定。

4.根据权利要求1所述的一种基于轻量级可形变卷积神经网络的实时视频增强方法，其特征在于，从公开数据集Xiph和VQEG中选择130个未经过压缩的视频，然后将选择的视频通过H.265/HEVC算法做压缩处理，得到压缩后的模糊视频，其中106个视频作为训练数据集，24个视频作为验证数据集。