[发明专利]一种端到端的视频压缩编码方法

说明书

本发明公开了一种端到端的视频压缩编码方法，首先对输入的待压缩视频进行帧提取，然后对其视频帧重新设置尺寸；其次，使用基于学习的光流估计获取运动信息并重建当前视频帧；然后，使用两个自编码器样式的神经网络来压缩相应的行为和残差信息，可以显著的压缩当前视频帧的大小；将压缩后的各视频帧合成为一个新的视频，在不影响观看效果的前提下，有效的压缩了当前视频的整体大小，减少了占用内存空间。并且可以作为云端上的视频编码方法，其优于H.264视频编码方式。

技术领域

本发明涉及计算机图形学处理技术，具体涉及一种端到端的视频压缩编码方法。

背景技术

现如今，视频内容贡献了80％以上的互联网流量，而且这一比例有望进一步提高。因此，在给定的带宽预算下，构建高效的视频编码系统并生成更高质量的帧至关重要。另外，大多数与视频相关的计算机视觉任务对压缩视频的质量敏感，并且有效的视频编码可能为其它计算机视觉任务带来好处。

在过去一段时间内，人们提出了很多图像压缩算法。这些方法严重依赖手工技术。例如，JPEG标准通过使用DCT将像素线性映射到另一个空间表征，并在熵编码之前量化相应的系数。这种方法的缺点是这些模块是单独优化的，可能无法达到最佳的压缩性能。

然而，在过去的几十年，视频编码算法依赖于手动设计的模块，比如基于块的运动估计和离散余弦变换DCT，为了减少视频冗余，每个模块精心设计，整体的压缩系统不是端到端进行优化的，可以通过优化整个压缩系统来进一步提升压缩性能。

近年来，基于深度学习模型DNN的自编码器用于图像压缩领域，并且超过了传统编码性能比如JPEG,JPEG2000,BPG。一个可能的解释是基于DNN的图像压缩方法可以利用大规模端到端的训练和高度非线性变换。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种处理过程简单、快捷，并可显著减小视频存储大小的端到端的视频压缩编码方法。

为了实现上述目的，本发明采用以下技术方案予以实现：

一种端到端的视频压缩编码方法，包括如下步骤：

步骤1，输入待压缩的视频A；

步骤2，对视频A进行帧提取；

步骤3，对步骤2提取出的视频帧进行归一化处理；

步骤4，对经步骤3归一化处理后的视频帧进行运动估计与压缩处理；

先采用CNN估算当前帧x_t与前一个重构帧的光流，得到其运动信息为v_t，然后采用运动编码解码网络对运动信息v_t进行压缩，经过运动编码网络编码，得到量化后的运动信息经过运动解码网络解码出运动信息为

步骤5，对经步骤4进行运动估计与压缩处理后的视频帧进行运动补偿；

基于和前一个重构帧利用深度网络和失真优化损失函数进行运动补偿得到预测帧

步骤6，将步骤5得到的预测帧依次进行变换、量化与反变换；将当前帧x_t的预测残差r_t经过残差编解码网络编码成y_t，然后再量化成经过残差解码网络得到重建/解码残差

步骤7，将步骤4中生成的与步骤6中生成的重建/解码残差进行熵编码；

步骤8，将步骤5生成的和步骤6中的相加得到重构后的视频帧重构帧将被下一帧用于步骤4中的运动估计；

步骤9，重复步骤4-8，当所有视频帧重构完成后，以重构后的视频帧为元素，设置合成参数，得到压缩后的视频A。

进一步地，所述步骤3中的归一化处理具体为将视频A提取出的每一视频帧的像素值设置为832×448。