[发明专利]一种基于多分支卷积神经网络的HEVC帧内预测方法

说明书

本发明涉及一种基于多分支卷积神经网络的HEVC帧内预测方法，属于视频编码领域，本方法使用多分支卷积神经网络，对每个CTU进行预处理，并分别作为不同分支的卷积神经网络的输入，经过卷积计算之后，将得到的特征进行全连接，考虑不同QP值的影响，并最终输出三个分支的分类结果，三个分支分别对应每个CTU中深度等级0，1，2，判断三个深度等级的CU是否继续划分或者停止划分。本发明一种基于多分支卷积神经网络的HEVC帧内预测方法能够有效地减少编码器计算开销，在保持编码性能基本不变的情况下，减少编码时间。

技术领域

本发明涉及视频编解码领域，特别是指一种基于多分支卷积神经网络的HEVC帧内预测方法。

背景技术

随着视频逐渐地超高清化，且短视频、网络直播以及网络点播等新兴的视频应用方式的出现，对视频的存储与传输是一个巨大的挑战。因此，2013年，联合专家组发布了新一代高效视频编码标准(High Efficiency Video Coding,HEVC),旨在对庞大的视频数据进行有效地压缩使其能在有限的带宽内进行存储和传输，其压缩率比上一代视频编码标准H.264/AVC提高一倍。在提高编码效率的同时，HEVC采用四叉树划分方式等更复杂的编码结构，急剧增加了编码的复杂度，严重影响了HEVC的实用性。

因此，针对HEVC的编码复杂度高的问题，提出复杂度优化方法，在保持编码性能基本不变的情况下尽可能地降低编码复杂度，具有一定的研究意义和实用价值。

发明内容

本发明的主要目的在于克服现有HEVC编码复杂度高的不足，提出一种基于多分支卷积神经网络的HEVC帧内预测方法，在保持编码性能基本不变的情况下，降低编码时间开销。

本发明采用如下技术方案：

一种基于多分支卷积神经网络的HEVC帧内预测方法，其特征在于，包括：

收集数据时，选取多种不同纹理的视频，取前25帧在不同QP值下用原始HEVC编码器进行编码，将每个编码树单元CTU中三种不同深度等级的编码单元CU是继续划分或者终止划分的结果作为标签，所有标签记录在一个编码树单元CTU中，作为训练集；

训练数据时，对于训练集中的每一个编码树单元CTU，进行预处理，输出三个降采样程度不一的编码树单元CTU，并输入至多分支卷积神经网络进行训练，随后进行四层卷积层计算，每次卷积的卷积核不重叠，将输出的三个分支的卷积结果输入到一维的全连接层中，进行两次全连接，并加入对应QP值到全连接中进行计算；最后，再次分成三个分支，根据输出的标签确定分支的输出；得到训练好的多分支卷积神经网络；

测试数据时，选取20种不同分辨率不同视频内容的视频序列作为测试集，将每一帧图像的编码树单元CTU，输入到训练好的多分支卷积神经网络，输出每个编码树单元CTU中不同深度等级编码单元CU的最佳尺寸。

全连接层之后再次分成三个分支，根据输出的标签确定分支的输出，具体包括如下：

第一分支对应64×64的编码单元CU，第二分支对应32×32的编码单元CU，第三分支对应16×16的编码单元CU；第一分支先输出对应的标签，若标签显示不停止划分，则不进行另外两个分支的输出，若显示继续划分，则进行第二分支的输出；若第二分支输出标签显示停止划分，则停止第三分支的输出，否则，进行第三分支的输出。

测试数据时，所述每一帧图像的编码树单元CTU经过一些列预处理和卷积计算之后，首先处理第一分支的全连接计算，若输出的编码单元CU是停止划分，当前最佳编码单元CU尺寸为64×64；

若显示继续划分，则进行第二分支的全连接计算，输出有4个标签，对应不同位置的32×32的编码单元CU，若某32×32的编码单元CU显示停止划分，则该位置最佳编码单元CU尺寸是32×32；