[发明专利]用于视频压缩的基于深度学习的图像分区

说明书

通过使用经由使用基于深度学习的图像分区获得的分区选择，使用几种可能的分区操作中的一种或多种来拆分视频数据块。在至少一个实施例中，使用卷积神经网络在一个或多个拆分操作中拆分块。在另一实施例中，卷积神经网络的输入来自运动向量场和对应的残差。提供了用于编码的方法、设备、和信号实施例。

技术领域

本原理涉及视频压缩的领域。

背景技术

在HEVC视频压缩标准(国际电信联盟，ITU-T H.265高效视频编码)中，画面被划分为所谓的编码树单元(CTU)，其尺寸通常为64×64、128×128或256×256像素。

每个CTU由压缩域中的编码树表示。这是CTU的四叉树划分，其中每个叶子称为编码单元(CU)，如图1所示。

然后，每个CU被给予一些帧内或帧间预测参数(预测信息)。为此，将其在空间上分区为一个或多个预测单元(PU)，每个PU均分配有一些预测信息。在CU级别上分配帧内或帧间编码模式，参见图2。

根据在比特流中用信号通知的分区类型，进行将编码单元分区为(多个)预测单元。对于帧内编码单元，仅使用图3中所示的分区类型2N×2N和N×N。这意味着在帧内编码单元中仅使用方形预测单元。

相反，帧间编码单元可以使用图3所示的所有分区类型。

根据HEVC标准，在“转换树”之后，编码单元也以递归的方式被划分成所谓的转换单元。因此，转换树是编码单元的四叉树划分，并且转换单元是转换树的叶子。转换单元封装与所考虑的方形空间区域相对应的每个画面分量的方形转换块。转换块是单个分量中样本的方形块，其中应用了相同的转换。

在基于贝叶斯决策规则的HEVC的快速编码单元尺寸选择(Fast coding unitsize selection for HEVC based on Bayesian decision rule)(在画面编码研讨会中；IEEE会议记录，2012年5月7日)中，X.Shen等人描述了贝叶斯决策规则，以通过率失真优化来协助决策编码器侧编码单元的拆分。但是，X.Shen等人的建模，其在输入处获取每个编码单元确定的标量值的集合(例如，每个CU的运动向量)，并输出关于是否将CU拆分为4个子CU的概率决策，未能解决最新视频压缩工具所涉及的更复杂的分区问题。

新出现的视频压缩工具包括压缩域中的编码树单元表示，这允许在压缩域中以更灵活的方式表示画面数据。编码树的这种灵活表示的优点是，与HEVC标准的CU/PU/TU布置相比，它提供了增加的压缩效率。

四叉树加二叉树(QTBT)编码工具提供了这种增加的灵活性。该编码工具在于编码树，其中编码单元既可以按四叉树也可以按二叉树方式拆分。编码树单元的这种编码树表示如图4所示。块上的QTBT表示如图5所示。

通过率失真优化过程在编码器侧决策编码单元的拆分，所述率失真优化过程在于以最小的率失真成本确定CTU的QTBT表示。

在QTBT技术中，CU具有方形或矩形形状。编码单元的尺寸始终为2的幂，并且通常为从4到256。

除了用于编码单元的各种矩形形状之外，与HEVC相比，这种新的CTU表示具有以下不同的特性。

首先，CTU的QTBT分解由两个阶段组成：首先以四叉树的方式拆分CTU，然后可以以二进制方式进一步划分每个四叉树叶子。这在图4的右侧进行了说明，其中实线表示四叉树分解阶段，并且虚线表示空间嵌入在四叉树叶子中的二元分解。

其次，在帧内片段中，亮度和色度块分区结构是分开的，并且独立地决策。

接下来，不再采用CU分区为预测单元或转换单元。换句话说，每个编码单元系统地由单个预测单元(以前是2N×2N预测单元分区类型)和单个转换单元(不划分为转换树)组成。

但是，需要进一步改进的压缩效率用于QTBT技术。