[发明专利]一种网络直播视频的压缩伪影去除方法及装置

说明书

本发明提供一种网络直播视频的压缩伪影去除方法，该方法包括：获取压缩视频；将所述压缩视频输入压缩伪影去除模型中，得到所述压缩伪影去除模型输出的与所述压缩视频相对应的高质量恢复视频；其中，所述压缩伪影去除模型利用循环神经网络RNN和膨胀卷积，对未知压缩码率且含有压缩伪影的所述压缩视频进行恢复，以生成所述高质量恢复视频。本发明可以在未知压缩码率的状况下，通过使用单个网络模型来恢复压缩视频，从而可以提供高质量的网络直播视频。

技术领域

本发明涉及数字图像/视频信号处理领域，更具体地，涉及一种网络直播视频的压缩伪影去除方法及装置。

背景技术

近年来，随着视频采集设备的发展，网络直播视频分辨率变得越来越大，其所占用的传输带宽和存储空间也越来越大。为了节省直播视频的传输和存储成本，需要对高质量视频进行压缩。在对视频进行编码的过程中，一般都采用了有损压缩的算法，例如常见的H.264算法等。

H.264算法可以通过控制视频码率来调整视频压缩质量，然而，较低的视频码率在大幅减小视频体积的同时，会导致视频出现压缩块效应、振铃效应、模糊、锯齿等压缩伪影。这些因素会导致视频的质量严重退化，影响用户的主观观看体验。与此同时，存在大量压缩伪影的视频会影响后续的目标检测、图像分类、图像分割等智能化分析处理。因此，对高压缩比例导致的，产生压缩伪影的视频进行后处理，有效的去除压缩伪影具有重要意义。

在许多压缩伪影去除的工作中，基于压缩码率未知的方法和压缩码率已知的方法都被考虑，其中已知码率方法假设压缩码率已知，通常比使用压缩码率未知的视频训练出来的单个网络表现得更好。已知码率方法有一个很大的缺点，即需要针对不同的压缩码率专门训练多个网络来恢复压缩视频。因此，通常需要占用大量内存，并且对于相近的压缩码率，模型之间可能存在冗余。一些现存的未知码率方法通过加深网络的深度来提高网络的感受野，使得网络能够适应各种压缩码率带来的伪影。然而较深的网络不能保证直播视频处理的实时性。

发明内容

针对现有技术中的不足，本发明提供了一种网络直播视频的压缩伪影去除方法及装置，可以在未知压缩码率的状况下，以视频帧的方式，使用单个网络模型来恢复压缩视频，从而可以提供高质量的网络直播视频。

具体地，本发明是通过以下技术方案来实现的：

第一方面，本发明提供了一种网络直播视频的压缩伪影去除方法，其特征在于，包括：获取压缩视频；将所述压缩视频输入压缩伪影去除模型中，得到所述压缩伪影去除模型输出的与所述压缩视频相对应的高质量恢复视频；其中，所述压缩伪影去除模型利用循环神经网络RNN和膨胀卷积，对未知压缩码率且含有压缩伪影的所述压缩视频进行恢复，以生成所述高质量恢复视频。

进一步地，所述循环神经网络包括：底层特征提取模块、循环模块、图像重建模块和跳跃连接。

进一步地，所述循环模块包括：N个卷积组和两个用于调整输出通道的卷积层ConvA和ConvB，其中N等于4；所述卷积组包括：三个不同膨胀率的并行卷积、多尺度特征融合层和密集残差连接。

进一步地，所述循环模块的输入为前一次迭代时循环模块产生的输出，与当前循环神经网络中提取的图像浅层特征的拼接；所述循环模块提取到的高水平特征信息分别作为下一次循环神经网络迭代时所述循环模块的输入和当前迭代时所述图像重建模块的输入；所述循环模块中膨胀率较小的卷积核ConvS充分地提取图像的细节信息；所述循环模块中膨胀率较大的卷积核ConvM和ConvL提升循环神经网络的感受野，获得局部信息；每个膨胀率相同的膨胀卷积之间使用密集残差连接，以使得低质量视频中存在的图像信息在循环神经网络中传输；对于三个并行卷积的输出，按通道方向进行拼接后，通过一个多尺度特征融合模块ConvF来融合三个膨胀卷积提取的不同感受野的信息，生成卷积组的输出。