[发明专利]视频代码化的感受野一致卷积模型

说明书

确定用于对块进行编码的模式决策的卷积神经网络包括特征提取层和多个分类器。非重叠卷积运算通过设置等于内核大小的步幅值来在特征提取层处执行。所述块具有N×N大小，并且所述块的最小分割输出具有S×S大小。每个分类器的分类层接收具有特征尺寸的特征映射。初始分类层接收所述特征映射作为最终特征提取层的输出。每个分类器通过以下操作来针对所述块中的大小为(αS)×(αS)的子块推断分割决策，其中，α是2的幂，且α＝2、……、N/S：在一些连续分类层处应用1×1内核，以减小相应特征尺寸；并且通过所述分类层中的最后一个分类层来输出与N/(αS)×N/(αS)×1输出映射对应的输出。

背景技术

数字视频流可以使用帧或静止图像的序列来表示视频。数字视频可以用于各种应用，包括：例如，视频会议、高清视频娱乐、视频广告或用户生成的视频的共享。数字视频流可以包含大量数据，并且消耗用于处理、传输或存储视频数据的计算装置的大量计算或通信资源。已经提出了各种方法来减少视频流中的数据量，包括压缩和其它编码技术。

多年来，视频编码器的代码化效率已经提高。代码化效率可以意味着以最低可能的比特率对视频进行编码，同时使失真最小化(即，同时维持一定级别的视频质量)。然而，提高的代码化效率已导致了增加的计算复杂度。也就是说，编码器需要更多的计算时间来实现提高的代码化效率。因而，需要以更少的计算时间(即，降低的计算复杂度)获得提高的代码化效率。

发明内容

所公开的实施方式的一个方面是一种用于确定用于在视频代码化时对块进行编码的模式决策的卷积神经网络(CNN)。该CNN包括用于提取用于确定模式决策的块的特征的特征提取层。非重叠卷积运算通过设置等于内核大小的步幅值来对特征提取层中的至少一个处的输入执行，模式决策包括对块的块分割，该块具有N×N大小，并且块的最小分割输出具有S×S大小。CNN还包括多个分类器。每个分类器包括分类层，该分类层中的每个分类层接收具有相应特征尺寸的相应特征映射。每个分类器配置为通过以下操作来针对块中的大小为(αS)×(αS)的子块推断分割决策，其中，α是2的幂，且α＝2、……、N/S：在分类层中的一些连续分类层处应用大小为1×1的内核，以减小相应特征尺寸；并且通过分类层中的最终层来输出与N/(αS)×N/(αS)×1输出映射对应的输出。每个分类器的初始分类层可以接收特征映射作为特征提取层中的最终特征提取层的输出。输出映射可以指示针对块的一个或多个模式决策。例如，输出映射可以指示分割决策。输出映射可以用于对块进行编码。

另一方面是一种使用卷积神经网络(CNN)确定用于在视频代码化时对块进行编码的模式决策的方法。该方法包括：使用CNN的特征提取层来提取用于确定模式决策的块的特征，其中，非重叠卷积运算通过设置等于内核大小的步幅值来对特征提取层中的至少一个处的输入执行，模式决策包括对块的块分割，该块具有N×N大小，并且块的最小分割输出具有S×S大小。该方法还包括：通过CNN的其中每一个均包括分类层的多个分类器来推断模式决策。推断模式决策包括：通过每个分类层接收具有相应特征尺寸的相应特征映射；并且通过多个分类器中的相应分类器来针对块中的大小为(αS)×(αS)的子块推断分割决策，其中，α是2的幂，且α＝2、……、N/S。推断模式决策包括：在分类层中的一些连续分类层处应用大小为1×1的内核，以将相应特征尺寸减小一半；并且通过分类层中的最终层来输出与N/(αS)×N/(αS)×1输出映射对应的输出。每个分类器的初始分类层可以接收特征映射作为特征提取层中的最终特征提取层的输出。如由输出指示的模式决策可以用于对块进行编码。