[发明专利]一种3D-HEVC深度图帧内快速编码的方法

说明书

本发明涉及一种3D‑HEVC深度图帧内快速编码的方法，采用多分支卷积神经网络结构，对应多种不同深度等级，可以有效区分不同深度等级CU的分类结果。本发明可以直接测试每一帧所有CTU中不同深度等级CU的分类结果，而不需要对每个CU进行测试，进而能够有效降低网络预测过程的计算时间。

技术领域

本发明涉及视频编解码技术领域，更具体地说，涉及一种3D-HEVC深度图帧内快速编码的方法。

背景技术

多媒体技术飞速发展，从音频到图像再到视频，多媒体技术带给人们越来越强烈的感官体验。2D视频逐渐无法满足人们对立体场景的需求感，3D视频逐渐走进我们的生活。3D视频在电影游戏以及家用电视中得到广泛应用。但随着对3D视频的需求增加，立体视频编码迎来挑战。人们在享受视频的同时也对视频提出了更高的要求:分辨率更高、立体感更强。然而立体视频要传输多个视点的视频信息，这使得数据量急剧增加，严重限制了立体视频的发展。

在2013年MPEG和ITU-T成立了联合专家组(Joint Collaborative Team on 3DVideo Coding Extension Development，JCT-3V)，建立了以新一代高效视频编码标准(High Efficient Video Coding，HEVC)为基础的3D-HEVC编码标准。3D-HEVC标准主要包括多视点纹理数据和对应的深度信息，采用多视点加深度(Multi-view video plus depth，MVD)的视频格式，利用时域、空域和各个视点间的相关性，使3D视频有很高的压缩效率。

3D-HEVC帧内编码复杂度较高有以下两方面原因：一方面是沿用HEVC四叉树编码结构，编码单元(Coding Unit，CU)递归划分，遍历0～3深度级并选择出最优编码深度；另一方面是帧内模式数目较多，除了35种HEVC帧内模式，还针对深度视频特征引入帧内编码新技术，新增了两种复杂度较高的深度模型模式(Depth Modeling Modes，DMMs)，进一步增加了帧内编码复杂度。这些编码技术虽然一定程度上提高了压缩效率，但也大大增加了深度视频的编码复杂度。

发明内容

本发明的目的在于克服现有技术的不足，提供一种3D-HEVC深度图帧内快速编码的方法，针对3D-HEVC编码标准计算复杂度高的问题，在保持编码性能基本不变的情况下，降低编码时间开销。

本发明的技术方案如下：

一种3D-HEVC深度图帧内快速编码的方法，包括如下步骤：

训练步骤：选取多种纹理不同的3D视频，在不同QP值设定时，分别在3D-HEVC编码器中编码每个编码树单元CTU中多种不同深度等级的CU，并记录继续划分或者终止划分的分类结果，将分类结果作为标签，形成训练集；

编码步骤：先利用训练集对待编码的3D视频序列进行训练，判断并记录3D视频序列每一帧的每个CTU中不同深度等级CU的分类结果；然后在3D-HEVC编码器中编码待编码的3D视频序列的每个CTU中多种不同深度等级的CU，基于记录的CU分类结果，进行提前终止划分或者继续划分的判断，直至完成编码；

其中，对待编码的3D视频序列进行训练时，对3D视频序列每一帧的每个CTU进行预处理，并分别作为多分支卷积神经网络的不同分支的输入，经过卷积计算后，得到的卷积结果进行全连接，输出对应多分支卷积神经网络的不同分支的分类结果，分类结果分别对应每个CTU中CU的不同深度等级；判断不同深度等级的CU是否继续划分或者终止划分，即为不同深度等级CU的分类结果。

作为优选，对3D视频序列每一帧的每个CTU进行的预处理包括去均值以及降采样，进而输出多个降采样程度不一的CTU。

作为优选，对经预处理的CTU进行若干次卷积计算，每次卷积计算的卷积核不重叠。