[发明专利]基于神经网络优化的质量SHVC编码方法

说明书

本发明涉及SHVC视频编码领域，具体涉及一种基于神经网络优化的质量SHVC编码方法；所述方法包括在Intra模式和ILR模式的选择过程中，采用第一神经网络模型做出提前预判；利用当前模式的模式可能性来选择不同比率的网络模型进行预测，实现视频编码过程的加速；在Intra模式的帧内模式的遍历过程中，针对帧内模式的方向特性，采用第二神经网络模型进行分类，来跳过繁杂的方向模式遍历。在深度的预测过程中，利用第三神经网络模型实现CU的深度预测。通过本发明对编码过程的优化，在几乎不损失视频质量的情况下，有效节约了编码时间。

技术领域

本发明涉及SHVC视频编码领域，具体涉及一种基于神经网络优化的质量SHVC编码方法。

背景技术

随着网络技术的不断发展和移动设备的逐渐普及，信息的传递方式也发生了变化，从之前静态的文字图片变为了动态的视频。视频应用技术和人们的生活息息相关，特别是在短视频方面，依靠着日益强大的网络带宽技术和普及的移动通信设备，迎来了爆发式的增长。在近几年的疫情时代，视频会议在学校、公司、政府等机构都有着广泛的应用，这也给视频编码技术也提出了新的要求。

为了满足人们对于高分辨率视频传输要求，视频编码专家组(VCEG)和运动图像专家组(MPEG)联合成立了一个视频编码联合协作小组(JCT-VC)，由JCT-VC来开发新一代视频编码标准HEVC，现在已经取代了过去的H.264标准，成为了主流的视频压缩标准。HEVC不仅提升了视频图像质量，同时在压缩效率方面也能达到H.264/AVC两倍之多。同时，关于HEVC的可伸缩视频编码技术(SHVC)也应运而生。SHVC是基于HEVC的可分级版本，可通过对码流的一次解码而产生不同的分辨率大小的视频，从而满足人们多样的需求。SHVC在视频会议、视频监控、互联网视频等领域都有着很广泛的应用。

当前对于SHVC的研究主要分为两类：一种是基于启发式的研究方法，这种方法一般利用了SHVC多层编码的特点，通过计算或数理统计得到相对应的阈值，来提前预测或终止某些编码过程，如：CU划分过程、模式选择过程、帧内方向模式遍历等；另一种是基于机器学习和深度学习的研究方法，随着AlexNet夺得ImageNet比赛的冠军，深度学习在各个领域都有着十分广泛的应用，在视频编码方面，这几年也利用了决策树和卷积神经网络等技术来对视频编码过程进行优化，并取得了良好的效果。

数理统计等方法的研究取得了不错的进展，但是这方面的时间减少和码流减少仍然有着进步空间。同样的，在深度学习方面，虽然利用深度学习技术加速编码有一个不错的提升，但是这些研究都没有很有效的利用CU之间的相关性。

发明内容

基于数理统计的研究方法性能方面有待提升，而基于深度学习的方法却没有很好的适配当前编码器的特点，即没有很好的利用CU之间的相关性。本发明提出的方案在于如何在神经网络中充分利用已编码CU的特征，对视频编码进行优化。

针对SHVC的的神经网络优化方法共包括以下三点：

1.在Intra模式和ILR模式的选择过程中，采用第一神经网络模型做出提前预判。利用第一卷积神经网络判断是否跳过帧内模式的编码，将与模式相关的系数被放入至第一卷积神经网络模型的全连接层中。并利用当前模式的模式可能性来选择不同比率的网络模型进行预测，实现视频编码过程的加速；为了降低模型运行时间，对其进行剪枝处理。

2.在Intra模式的帧内模式的遍历过程中，需要对35种模式进行遍历选择。本发明针对帧内模式的方向特性，采用了非对称的卷积核，将提取到的特征送入第二神经网络模型中进行分类，来跳过繁杂的方向模式遍历。

3.在深度的预测过程中，利用第三神经网络模型实现CU的深度预测，为了降低模型运行时间，对其进行剪枝处理。并利用已编码信息，计算CU当前深度的可能性，按照不同可能性区间选择模型。对CU划分进行提前预测。

本发明的一种基于神经网络优化的质量SHVC编码方法，所述方法包括：