[发明专利]提升空间可分级编码视频在丢包网络中重建质量的方法

说明书

本发明提供一种提升空间可分级编码视频在丢包网络中的重建质量的方法，其中：获得初步高分辨率图像，该初步高分辨率图像经过一个CNN网络获取其图像特征；分别提取当前帧的所述初步高分辨率图像和前几帧解码得到的高分辨率图像的运动特征，将所述运动特征与所述初步图像特征进行融合，得到融合特征；将所有融合特征级联，恢复出当前帧高分辨率图像。本发明结合空间分级编码视频的特点，充分利用了当前帧低分辨率图像信息和前几帧存在的高分辨率图像信息，因而能够在增强层丢失处恢复出高质量的高分辨率图像。

技术领域

本发明涉及视频重建质量优化领域，具体涉及一种空间分级编码视频重建质量优化技术，尤其涉及一种提升空间可分级编码视频在丢包网络中重建质量的方法。

背景技术

视频流量占互联网总流量的比重越来越大，如何更好地在网络上传输视频内容成了研究的焦点。相较于传统编码的视频，可分级编码的视频在网络上传输时可以更好地适应网络带宽的波动或者克服网络丢包，因为即使部分增强层码流发生丢失，解码端仍能通过解码基本层码流得到基本质量的视频。

可分级编码分为空间分级、时间分级、质量分级等。以最常用的空间分级编码为例，编码得到的码流包括一个基本层码流和若干个增强层码流，其中，基本层码流可以通过解码得到最低分辨率的视频内容，而结合基本层码流和增强层码流，可以依次得到更高分辨率的视频。由于编码复杂度的限制，在实际使用中，往往采用两层结构，即一个基本层和一个增强层。在视频内容传输时，往往对基本层内容的传输添加更强的保护，包括前向保护或者丢包重传等，而对增强层的保护则相对较弱。

对于空间分级编码，如果发生了增强层的丢失，则该帧只能通过解码基本层码流得到一个低分辨率的图像，播放时必须通过超分辨率算法将该帧超分辨率到增强层视频分辨率后才能正常播放。传统超分辨率算法性能不佳，不能准确还原图片中的细节，所以在视频播放时，会因为该帧质量的忽然下降产生严重的视觉伪影。而基于神经网络的图像超分辨率算法或者视频超分辨率算法往往比传统方法性能更好，尤其是视频超分辨率算法，由于其利用了视频的前后帧信息，恢复得到的图像的细节更加丰富。但是，这些超分辨率算法都不是针对可分级编码视频设计的，没有充分利用已经解码得到的前几帧高分辨率图像信息。另外，部分视频超分辨率算法为了提升质量，需要用到后续帧信息，这会引入额外的延迟。

发明内容

针对现有超分辨率算法不能充分利用可分级编码视频信息的问题，本发明提供一种提升空间可分级编码视频在丢包网络中重建质量的方法，该方法通过充分利用解码得到的前几帧高分辨率图像信息和当前帧低分辨率图像信息，能够获得更高质量的当前高分辨率帧。

为实现上述目的，本发明采用以下技术方案：

本发明提供一种提升空间可分级编码视频在丢包网络中重建质量的方法，包括：

S1，获取当前帧的初步高分辨率图像；

S2，将所述初步高分辨率图像经过CNN网络获取初步图像特征；

S3，采用一个CNN网络作为循环网络，分别提取当前帧的所述初步高分辨率图像和前几帧解码得到的高分辨率图像的运动特征，将所述运动特征与所述初步图像特征进行融合，得到融合特征；

S4，将所述循环网络输出的所有融合特征级联，通过一个CNN网络恢复出当前帧高分辨率图像。

上述S1中，空间分级编码视频码流在网络上进行传输时，其增强层允许发生丢失，以适应网络带宽的波动，这些位置的帧只能解码获得低分辨率图像；因此，本发明在解码空间分级编码视频时，如果当前帧增强层丢失，只能解码得到低分辨率图像，则通过一个基于神经网络的图像超分辨率算法得到一个初步高分辨率图像。

上述S3中，所述运动特征是指包含前后帧图像间的运动信息的图像特征，将前后帧图像级联起来，通过一个CNN网络隐式获取。