[发明专利]一种由粗到细地融合时空信息的压缩视频质量增强方法

说明书

本发明公开一种由粗到细地融合时空信息的压缩视频质量增强方法，应用于视频处理领域，针对现有技术中存在的压缩后的视频不可避免地会出现压缩伪影，严重影响主观上的体验和客观上的质量的问题；本发明使用一种无需光流估计进行显示地预测对齐偏移的多帧质量增强网络，通过由粗到细地融合帧间信息来更好地预测对齐偏移从而充分利用相邻帧间的时间信息实现了压缩视频质量的提高，使得压缩视频从主观和客观上都得到增强。

技术领域

本发明属于视频处理领域，特别涉及一种增强压缩视频质量的技术。

背景技术

压缩视频质量增强方法自视频压缩国际标准被提出以来，就得到了工业界和学术界的广泛研究。在深度学习被提出之前，增强压缩视频质量的方法主要是以数学推导为基础的对单帧图像进行增强的空域法和频域法。在深度学习成功地应用到图像增强领域之后，各种新的方法被提出来用于增强压缩视频的质量，得到了比传统方法更好的结果和更强的泛化性。

现在最常用的H.265/HEVC标准，都采用基于块的混合编码框架，其核心过程包括：预测编码、变换编码、量化和熵编码以及基于块的预测。变换和量化操作忽略了块与块之间的相关性，导致编码重建图像呈现块效应，即人眼可以感知到块边界的明显不连续性(当步长较大且比特率较低时，这些效果更加明显)；同时，量化是基于变换域中的块扩展，这个量化过程是不可逆的。另外，运动补偿中的高精度插值很容易产生振铃效应。由于帧间编码过程中误差的积累，上述效应也会影响后续帧的编码质量，从而导致视频图像的客观评价质量下降，人眼的视觉感知质量降低。

北京航空航天大学徐迈、杨韧、王祖林的发明《一种基于卷积神经网络的图像或视频质量增强方法》2017年9月26日向中国国家知识产权局申请专利并获得批准，于2017年12月15日公开，公开号为：公开号CN107481209A；首先设计了两个用于视频(或图像)质量增强的卷积神经网络，两个网络具有不同的计算复杂度；然后选择若干个训练图像或视频对两个卷积神经网络中的参数进行训练；根据实际需要，选择一个计算复杂度较为合适的卷积神经网络，将质量待增强的图像或视频输入到选择的网络中；最后，该网络输出经过质量增强的图像或视频。该发明可以有效增强视频质量；用户可以根据设备的计算能力或剩余电量指定选用计算复杂度较为合适的卷积神经网络来进行图像或视频的质量增强。

该专利设计了两个不同复杂度的卷积神经网络，由用户根据设备的情况来选择网络，两个网络的区别只是卷积神经网络的深度不同，仅仅通过加深网络深度来提高质量增强效果的方案是不可行的，而且没有针对图像视频的特点设计网络，即网络未能利用视频帧与帧之间的时间相关性，因此该方法质量增强的效果有限。

福建帝视信息科技有限公司高钦泉、聂可卉、刘文哲、童同的发明《一种基于自适应可分离卷积的视频质量增强方法》2018年6月12日向中国国家知识产权局申请专利并获得批准，于2018年11月27日公开，公开号为：CN108900848A。

《一种基于自适应可分离卷积的视频质量增强方法》将自适应可分离卷积作为第一个模块应用于网络模型当中，将每个二维卷积转化为一对水平方向和垂直方向的一维卷积核，参数量由n²变为n+n。第二，利用网络对于不同输入学习出来的自适应变化的卷积核以实现运动矢量的估计，通过选取连续的两帧作为网络输入，对于每两张连续输入可以得到一对可分离的二维卷积核，而后该2维卷积核被展开成四个1维卷积核，得到的1维卷积核随输入的改变而改变，提高网络自适应性。该发明用一维卷积核取代二维卷积核，使得网络训练模型参数减少，执行效高。

该方案使用五个编码模块和四个解码模块、一个分离卷积模块和一个图像预测模块，其结构是在传统的对称编解码模块网络的基础上，把最后一个解码模块替换为一个分离卷积模块，虽然有效的降低了模型的参数，但是质量增强的效果还有待进一步的提高。

北京航空航天大学徐迈、杨韧、刘铁、李天一、方兆吉的发明《一种有损压缩视频的多帧质量增强方法及装置》2018年2月8日向中国国家知识产权局申请专利并获得批准，于2018年7月20日公开，公开号为：公开号CN108307193A。