[发明专利]一种基于卷积神经网络的帧间图像模式决策方法

权利要求书

1.一种基于卷积神经网络的帧间图像模式决策方法，其特征在于，包括步骤：

S1：获取目标帧间图像执行合并模式后下一编码深度的编码图像和残差图像；

S2：以连接后的编码图像和残差图像作为输入信息，通过多层树形CNN中的卷积层提取输入信息中的底层特征；

S3：通过多层树形CNN中预设层级数的残差层进行基于底层特征的逐层卷积，并获取各层的卷积输出；

S4：通过多层树形CNN中的全连接层进行各层卷积输出的全连接并获得目标帧间图像当前编码深度和分区划分下编码块的分区划分模式；

S5：判断当前编码深度是否到达最大深度，若是，根据各编码深度下各编码块的分区划分模式对目标帧间图像进行编码，若否，进入下一编码深度并返回S1步骤；

所述分区划分模式包括不划分模式、四叉树模式、水平二叉树模式、垂直二叉树模式、水平三叉树模式和垂直三叉树模式；

所述S4步骤之后还包括步骤：

S41：判断当前编码深度和分区划分下编码块的分区划分模式是否为不划分模式，若是，进入S42步骤，若否，进入S5步骤；

S42：终止该编码块后续编码深度的分区划分模式决策，并在所有编码块的分区划分模式决策后，根据各编码深度下各编码块的分区划分模式对目标帧间图像进行编码。

2.如权利要求1所述的一种基于卷积神经网络的帧间图像模式决策方法，其特征在于，所述S1步骤之前还包括步骤：

S0：基于高级运动向量模式获取的各编码深度下的分区划分模式选取结果和对应的帧间图像训练多层树形CNN。

3.如权利要求2所述的一种基于卷积神经网络的帧间图像模式决策方法，其特征在于，所述S0步骤中，多层树形CNN基于加权分类交叉熵损失函数进行训练，加权分类交叉熵损失函数可以表示为如下公式：

式中，loss为加权分类损失，L为多层树形CNN中残差层的总层数，为初始为1的常数，为第层残差层的权重，为多层树形CNN在第层残差层时的交叉熵损失。

4.如权利要求1所述的一种基于卷积神经网络的帧间图像模式决策方法，其特征在于，所述S3步骤之后，还包括步骤：

S31：将卷积输出与图像编号信息以及当前编码深度和分区划分下编码块的量化参数进行信息向量连接。

5.如权利要求1所述的一种基于卷积神经网络的帧间图像模式决策方法，其特征在于，所述多层树形CNN包括：

卷积层，包括一个3×3的卷积核，用于提取输入信息中的底层特征；

过渡残差层，用于根据底层特征输出第一残差块；

首端残差层，用于通过底层特征与第一残差块之间的卷积输出第一卷积输出和第二残差块；

中间残差层，用于通过底层特征与第二残差块之间的卷积输出第二卷积输出和第三残差块；

末端残差层，用于通过底层特征与第三残差块之间的卷积输出第三卷积输出；

全连接层，用于将第一卷积输出、第二卷积输出、第三卷积输出全连接并输出分区划分模式决策；

其中，卷积层、过渡残差层、首端残差层、中间残差层、末端残差层依次连接。

6.如权利要求5所述的一种基于卷积神经网络的帧间图像模式决策方法，其特征在于，所述首端残差层、中间残差层、末端残差层与全连接层之间分别连接有一个信息向量连接层，所述信息向量连接层用于将卷积输出与对应的图像编号信息以及编码块的量化参数进行信息向量连接。