[发明专利]一种网络直播视频的压缩伪影去除方法及装置

权利要求书

1.一种网络直播视频的压缩伪影去除方法，其特征在于，包括：

获取压缩视频；

将所述压缩视频输入压缩伪影去除模型中，得到所述压缩伪影去除模型输出的与所述压缩视频相对应的高质量恢复视频；

其中，所述压缩伪影去除模型利用循环神经网络RNN和膨胀卷积，对未知压缩码率且含有压缩伪影的所述压缩视频进行恢复，以生成所述高质量恢复视频，

其中，所述循环神经网络包括：底层特征提取模块、循环模块、图像重建模块和跳跃连接；所述循环模块包括：N个卷积组和两个用于调整输出通道的卷积层ConvA和ConvB，其中N等于4；所述卷积组包括：三个不同膨胀率的并行卷积、多尺度特征融合层和密集残差连接；并且

其中，所述循环模块的输入为前一次迭代时循环模块产生的输出，与当前循环神经网络中提取的图像浅层特征的拼接；

所述循环模块提取到的高水平特征信息分别作为下一次循环神经网络迭代时所述循环模块的输入和当前迭代时所述图像重建模块的输入；

所述循环模块中膨胀率较小的卷积核ConvS充分地提取图像的细节信息；所述循环模块中膨胀率较大的卷积核ConvM和ConvL提升循环神经网络的感受野，获得局部信息；

每个膨胀率相同的膨胀卷积之间使用密集残差连接，以使得低质量视频中存在的图像信息在循环神经网络中传输；

对于三个并行卷积的输出，按通道方向进行拼接后，通过一个多尺度特征融合模块ConvF来融合三个膨胀卷积提取的不同感受野的信息，生成卷积组的输出。

2.根据权利要求1所述的网络直播视频的压缩伪影去除方法，其特征在于，所述底层特征提取模块包括两个卷积层Conv1和Conv2，

其中，所述底层特征提取模块提取到的图像浅层特征信息和前一次迭代时所述循环模块提取的高水平特征信息，按通道维度进行拼接后输入到所述循环模块中，使用所述循环模块进一步处理，以提取图像的高层语义特征信息。

3.根据权利要求1所述的网络直播视频的压缩伪影去除方法，其特征在于，所述图像重建模块包括卷积层Conv3，所述卷积层Conv3对所述循环模块提取的特征进行重建，从而得到恢复高质量视频的残差信息。

4.根据权利要求1所述的网络直播视频的压缩伪影去除方法，其特征在于，所述跳跃连接将所述高质量视频残差信息与低质量输入视频相加，得到去除压缩伪影后的高质量恢复视频。

5.根据权利要求1-4任一项所述的网络直播视频的压缩伪影去除方法，其特征在于，所述循环神经网络中所有激活函数使用PReLU激活函数。

6.根据权利要求1所述的网络直播视频的压缩伪影去除方法，其特征在于，所述方法还包括：训练所述压缩伪影去除模型，

其中所述训练所述压缩伪影去除模型包括：

使用H.264算法对原始视频进行编码压缩；

将所述原始视频和编码压缩后的视频转换为视频帧，构成成对的视频样本库；

基于所述成对的视频样本库训练所述压缩伪影去除模型。