[发明专利]一种基于卷积神经网络的帧间图像模式决策方法

说明书

本发明公开了一种基于卷积神经网络的帧间图像模式决策方法，涉及图像处理技术领域，包括步骤：获取目标帧间图像执行合并模式后下一编码深度的编码图像和残差图像；以连接后的编码图像和残差图像作为输入信息，通过多层树CNN中的卷积层提取输入信息中的底层特征；通过多层树形CNN中预设层级数的残差层进行基于底层特征的逐层卷积；通过多层树形CNN中的全连接层进行各层卷积输出的全连接并获得目标帧间图像当前编码深度和分区划分下编码块的分区划分模式；根据各编码深度下各编码块的分区划分模式对目标帧间图像进行编码。本发明利用合并模式低编码比特率需求和卷积神经网络特征学习的优点，保持率失真性能的同时减少编码时间。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于卷积神经网络的帧间图像模式决策方法。

背景技术

随着多媒体技术的发展，出现了超高清（UHD)、虚拟现实（VR）、360度视频等新型视频格式。因此，对于支持更高分辨率和更高编码效率的新型视频编码标准的需求日益增长。通用视频编码（VVC）是由VCEG和MPEG联合视频开发团队（JVET）开发的。该协议于2020年7月最终确定。VVC作为最新的视频编码标准，采用了几种新的编码方案和工具，如最大尺寸为128×128的编码树单元（CTU）、编码单元（CU）划分的四叉树加多类型树结构（QT+MTT）、仿射运动补偿预测等。在比特率降低方面，这些新技术比HEVC标准实现了大约50%的增益。然而，编码和解码的计算复杂度也相应急剧增加。

VVC编码器利用了图像之间存在的冗余。分块后，对每个编码块进行运动补偿。内部预测模式主要有两种编码方法：高级运动向量预测（AMVP）模式和合并模式。在AMVP模式下，将多个运动向量候选的最优值、运动向量差值、参考图数和单向/双向预测模式进行编码。在合并模式下，只对多个候选运动向量的最优值进行编码。AMVP模式具有参数自由确定和编码的优点，但编码参数所需的位数较高，且需要复杂的编码过程、运动估计。对于Merge模式，编码所需的比特数非常少，但预测值不准确。一些关于VVC编码标准下编码的研究已经完成，然而，很少有研究考虑到相互预测的特点，相关研究表明，基于CNN的方法适合于处理图像。因此，我们将问题定义为使用卷积神经网络（CNN）来决定编码树单元（CTU）的分裂模式，并提出了一种新的卷积神经网络的VVC帧间预测快速模式决策方法。

发明内容

为减少由于采用高级运动向量预测模式带来的帧间编码高额编码计算复杂度，本发明提出了一种基于卷积神经网络的帧间图像模式决策方法，包括步骤：

S1：获取目标帧间图像执行合并模式后下一编码深度的编码图像和残差图像；

S2：以连接后的编码图像和残差图像作为输入信息，通过多层树形CNN中的卷积层提取输入信息中的底层特征；

S3：通过多层树形CNN中预设层级数的残差层进行基于底层特征的逐层卷积，并获取各层的卷积输出；

S4：通过多层树形CNN中的全连接层进行各层卷积输出的全连接并获得目标帧间图像当前编码深度和分区划分下编码块的分区划分模式；

S5：判断当前编码深度是否到达最大深度，若是，根据各编码深度下各编码块的分区划分模式对目标帧间图像进行编码，若否，进入下一编码深度并返回S1步骤。

进一步地，所述S1步骤之前还包括步骤：

S0：基于高级运动向量模式获取的各编码深度下的分区划分模式选取结果和对应的帧间图像训练多层树形CNN。

进一步地，所述S0步骤中，多层树形CNN基于加权分类交叉熵损失函数进行训练，加权分类交叉熵损失函数可以表示为如下公式：

式中，loss为加权分类损失，L为多层树形CNN中残差层的总层数，为初始为1的常数，为第层残差层的权重，为多层树形CNN在第层残差层时的交叉熵损失。