[发明专利]基于卷积神经网络的视频编解码方法及装置

说明书

本发明提出了一种基于卷积神经网络的视频编解码方法及装置，视频编码方法包括：通过当前帧图像创建缩放参考图像并通过图像编码网络进行编码得到压缩图像；通过图像解码网络对压缩图像进行解码得到解压图像并还原为原始尺寸，得到基线预测图像；通过当前帧图像和基线预测图像获取基线残差图像；通过当前帧图像和参考帧生成多个参考残差图像，在基线残差图像和多个参考残差图像中使用残差生成器生成最优残差图像，获取对应的运动向量映射；通过残差编码网络对最优残差图像进行编码得到残差压缩图像；将压缩图像、残差压缩图像及运动向量映射进行编码后输出或直接输出；其中，图像网络和残差网络为卷积神经网络。

技术领域

本发明涉及视频转码技术领域，尤其涉及一种基于卷积神经网络的视频编解码方法及装置。

背景技术

随着对实时流媒体、视频点播和云游戏等需求的增加，对压缩视频流的需求也不断增加。此外，4K、8K和HDR等高清新技术不断普及也推动了对通过互联网发送的视频比特数的需求增加。而这些数据的传输和存储都有很大的成本，并且随着时间的推移，成本也在增加。为了应对这一趋势，近年来，视频的压缩技术不断进步，H.265和AV1在原有的视频压缩标准的基础上可以进一步提高视频数据的压缩比。

如图1所示，目前用于压缩视频的大多数视频编解码器都遵循类似的算法。将视频的一个帧与某个参考帧进行比较。在比较时，该帧被分解成很多更小的块，并采用特定算法将其与前一帧或先前已经完成编码的块进行比较。通过分析参考帧中的信息，这些算法作为“工具”可以预测需要编码块的内容。然后使用熵编码器量化和编码猜测块和真实块之间的差异。这些算法或工具的目标是预测/创建最接近真实图像的匹配。算法越优异，其预测和真实的误差就越小，因此熵很低，可以有效地进行编码减少码率。

然而，这些新技术仍然跟不上高清/超高清视频快速发展的需求，需要进一步改进。为针对特定的视频质量优化编解码器是一个复杂的问题，还有着很大的发展空间。

发明内容

本发明要解决的技术问题是如何提高视频压缩性能，本发明提出一种基于卷积神经网络的视频编解码方法及装置。

根据本发明实施例的基于卷积神经网络的视频编码方法，包括：

通过当前帧图像创建缩放参考图像并通过图像编码网络进行编码得到压缩图像；

通过图像解码网络对所述压缩图像进行解码得到解压图像，并将所述解压图像还原为所述当前帧图像的原始尺寸，得到基线预测图像；

通过所述当前帧图像和所述基线预测图像获取基线残差图像；

选择一个或多个重建的已编码图像作为参考帧，采用帧间编码的方式，进行运动估算，在所述当前帧图像和每个所述参考帧中获取运动向量映射，同时生成多个参考残差图像；

在所述基线残差图像和多个所述参考残差图像中使用残差生成器，生成最优残差图像，同时获取对应的运动向量映射，所述运动向量映射用于确定所述最优残差图像中每个块对应来源的所述参考帧或所述压缩图像，以及对应的位置；

通过残差编码网络对所述最优残差图像进行编码得到残差压缩图像；

将所述压缩图像、所述残差压缩图像及所述运动向量映射进行编码后输出或直接输出；

其中，所述图像编码网络、所述图像解码网络和所述残差编码网络均为卷积神经网络。

根据本发明的一些实施例，基于所述基线残差图像和多个通过运动矢量扫描获生成的所述参考残差图像，通过残差生成器生成所述最优残差图像。

在本发明的一些实施例中，所述方法还包括：通过残差解码网络对所述残差压缩图像进行解码，获取残差解压图像。

根据本发明的一些实施例，对所述压缩图像、所述残差压缩图像及所述运动向量映射进行熵编码后分别获得原始编码、残差编码和映射编码并输出。