[发明专利]一种基于神经网络的帧内编码单元尺寸划分方法

说明书

本申请涉及硬件编码器技术领域，具体来说，本申请涉及一种基于神经网络的帧内编码单元尺寸划分方法。所述方法包括：获取第一预设尺寸的编码单元；将编码单元输入到训练好的神经网络模型中，获得第二预设尺寸的编码单元；在模型预测结果中找到其相应位置并进行加和平均操作，获得对该编码单元不划分的概率；如果所述不划分的概率大于第一阈值，则提前终止划分；如果所述不划分的概率小于第二阈值，则计算对该编码单元划分为子块的概率，然后获取第二预设尺寸的编码单元在当前划分模式下的概率。所述方法省去了统计信息和手工设计特征过程，降低了数据依赖度，灵活限制了划分模式，能达到有效提高编码器编码效率的目的。

技术领域

本申请涉及帧内编码技术领域，更为具体来说，本申请涉及一种基于神经网络的帧内编码单元尺寸划分方法。

背景技术

帧内预测是在相同解码图像中使用先前解码的样值生成当前样本预测值的过程。AVS代表中国数字音视频编解码技术标准，AVS3代表新一代的编解码技术标准。现有技术中的包括基于相关性分析的传统方法和基于机器学习的分类方法。基于相关性分析的传统方法中主要有，当父块和子块的率失真代价即成本满足特定约束时，可跳过第二个子块的二叉树划分过程，及利用不同深度级别与空间相邻CU之间的RD成本和模式相关性，来跳过在空间上相邻的CU中很少选择为最佳深度的深度级别。基于机器学习的分类方法中，设计了联合分类器决策树结构，以消除当前深度不必要的划分模式，减少迭代；基于机器学习的分类方法中还有一种基于两级二进制分类的方法，其中将因分类错误而导致的RD成本增加建模为支持向量机(SVM)训练中的权重，对是否提前终止划分进行选择。

然而，基于相关性分析的传统方法高度依赖于已编码CU的全局统计信息，很难处理复杂情况，随着划分模式种类增加，人工统计分析容易造成重要信息缺失。基于机器学习的分类方法过于依赖于人工设计提取有用编码特征，划分模式复杂，准确率低。

因此，本申请提出了基于神经网络的帧内编码单元尺寸划分方法，以解决此问题。

发明内容

为实现上述技术目的，本申请提供了一种基于神经网络的帧内编码单元尺寸划分方法，包括以下步骤：

获取第一预设尺寸的编码单元；

将所述编码单元输入到训练好的神经网络模型中，获得第二预设尺寸的编码单元；

记录所述第二预设尺寸的编码单元的尺寸，在模型预测结果中找到其相应位置并进行加和平均操作，获得对该编码单元不划分的概率；

如果所述不划分的概率大于第一阈值，则提前终止划分；

如果所述不划分的概率小于第二阈值，则计算对该编码单元划分为子块的概率，然后进行加和平均操作回溯到该编码单元的尺寸以获取所述第二预设尺寸的编码单元在当前划分模式下的概率；

获取预设数目的概率进行大小比较并排序，选取前N个最大概率对应的划分模式进行划分。

具体地，所述计算对该编码单元划分为子块的方法包括：四叉树划分，横向二叉树划分、纵向二叉树划分、横向扩展的四叉树划分和纵向扩展的四叉树划分。

再具体地，所述神经网络模型包括1个输入层、4个卷积层、1个添加层和2个反卷积层。

优选地，所述神经网络模型的训练步骤如下：

获取样本；

将所述样本按预设比例分为训练样本和验证样本；

设计损失函数与优化算法；

输入所述训练样本进行训练，每训练一次就用所述验证样本进行验证；

在达不到预设的验证效果时重新设计损失函数与优化算法；

当迭代次数达到预设次数时，终止训练。