[发明专利]基于卷积神经网络的视频编解码方法及装置

权利要求书

1.一种基于卷积神经网络的视频编码方法，其特征在于，包括：

通过当前帧图像创建缩放参考图像并通过图像编码网络进行编码得到压缩图像；

通过图像解码网络对所述压缩图像进行解码得到解压图像，并将所述解压图像还原为所述当前帧图像的原始尺寸，得到基线预测图像；

通过所述当前帧图像和所述基线预测图像获取基线残差图像；

选择一个或多个重建的已编码图像作为参考帧，采用帧间编码的方式，进行运动估算，在所述当前帧图像和每个所述参考帧中获取运动向量映射，同时生成多个参考残差图像；

在所述基线残差图像和多个所述参考残差图像中使用残差生成器，生成最优残差图像，同时获取对应的运动向量映射，所述运动向量映射用于确定所述最优残差图像中每个块对应来源的所述参考帧或所述压缩图像，以及对应的位置；

通过残差编码网络对所述最优残差图像进行编码得到残差压缩图像；

将所述压缩图像、所述残差压缩图像及所述运动向量映射进行编码后输出或直接输出；

其中，所述图像编码网络、所述图像解码网络和所述残差编码网络均为卷积神经网络。

2.根据权利要求1所述的基于卷积神经网络的视频编码方法，其特征在于，基于所述基线残差图像和多个通过多个运动向量扫描生成的所述参考残差图像，通过残差生成器生成所述最优残差图像。

3.根据权利要求1所述的基于卷积神经网络的视频编码方法，其特征在于，所述方法还包括：通过残差解码网络对所述残差压缩图像进行解码，获取残差解压图像。

4.根据权利要求1所述的基于卷积神经网络的视频编码方法，其特征在于，对所述压缩图像、所述残差压缩图像及所述运动向量映射进行熵编码后分别获得原始编码、残差编码和映射编码并输出。

5.一种基于卷积神经网络的视频编码装置，其特征在于，包括：

尺寸缩放模块，用于通过当前帧图像创建缩放参考图像；

图像压缩模块，用于将所述缩放参考图像通过图像编码网络进行编码得到压缩图像；

图像解码模块，用于通过图像解码网络对所述压缩图像进行解码，得到解压图像，所述图像压缩模块将所述解压图像还原为所述当前帧图像的原始尺寸，得到基线预测图像；

残差计算模块，用于通过所述当前帧图像和所述基线预测图像获取基线残差图像；及用于选择一个或多个重建的已编码图像作为参考帧，采用帧间编码的方式，进行运动估算，在所述当前帧图像和每个所述参考帧中获取运动向量映射，同时生成多个参考残差图像；

残差生成器，用于基于所述基线残差图像和多个所述参考残差图像，生成最优残差图像，同时获取对应的运动向量映射，所述运动向量映射用于确定所述最优残差图像中每个块对应来源的所述参考帧或所述压缩图像，以及对应的位置；

残差压缩模块，用于通过残差编码网络对所述最优残差图像进行编码得到残差压缩图像；

编码输出模块，用于将所述压缩图像、所述残差压缩图像及所述运动向量映射进行编码后输出或直接输出；

其中，所述图像编码网络、所述图像解码网络和所述残差编码网络均为卷积神经网络。

6.根据权利要求5所述的基于卷积神经网络的视频编码装置，其特征在于，所述残差生成器通过所述基线残差图像和多个所述参考残差图像，获取最小残差块，基于所述最小残差块生成所述最优残差图像。

7.根据权利要求5所述的基于卷积神经网络的视频编码装置，其特征在于，所述装置还包括：残差重构模块，用于通过残差解码网络对所述残差压缩图像进行解码，获取残差解压图像。

8.根据权利要求5所述的基于卷积神经网络的视频编码装置，其特征在于，所述编码输出模块为熵编码模块，用于对所述压缩图像、所述残差压缩图像及所述运动向量映射进行熵编码后分别获得原始编码、残差编码和映射编码并输出。