[发明专利]基于HEVC的3D质量可伸缩视频编码

说明书

联合研究 

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。 

技术领域

本发明涉及数字视频处理领域，更具体而言，涉及高效视频编码(HEVC)，再更具体而言，涉及基于HEVC的3D质量可伸缩视频编码的方法和装置。 

背景技术

随着视频服务领域的快速发展，人们在注重视频高压缩率的同时，也把更多的目光投向了视频的可伸缩性。当前，诸如高清晰度电视(High Definition Television，HDTV)、数字视频服务器(Digital Video Server，DVS)等高带宽网络设备，和低带宽移动网络日益成为人们生活中不可或缺的部分。尤其3G/4G网络的进一步普及，越来越多的人通过他们的移动终端分享浏览视频内容。然而，在不稳定和低效的网络中视频传输系统会因为信号衰落、干扰和偏差而引起网络异变、数据包损失等问题。针对于此，人们提出可伸缩(scalable)视频编码来解决网络和终端设备的异构问题。通过衡量视频分辨率，计算能力和网络带宽等因素作为可伸缩编码的判断准则，以在任意时刻传递匹配的视频内容满足网络和用户的要求。通常来讲，可伸缩编码是一种备受关注的视频处理方法，它可以用来解决现代网络传输系统导致的特殊问题。人们已经研究可伸缩视频编码至少二十年了。在之 前的视频编码标准中，可伸缩特性已经成功被引入，例如视频标准MPEG-2，MPEG-4的细粒度可伸缩编码，还有基于H.264/AVC的中等精度可伸缩编码。在抛弃高计算复杂度的小波变换后，精确而又简单的层间预测被引入可伸缩方案。尽管如此，由于传统视频编码本身的复杂特性和可伸缩解码的低效和复杂度高的特点，上述一系列标准的可伸缩扩展仍旧难以广泛地适用于实际。然而，随着下一代视频编码标准HEVC的制定，这一现象正在发生转变。HEVC在视频分辨率和帧率方面的特殊性使可伸缩编码成为可能。 

HEVC使用与H.264/AVC类似但更具复杂性的混合编码结构。HEVC等级四叉树结构包括三种块分割结构单元，它们分别是编码单元(Code Unit，CU)，预测单元(Prediction Unit，PU)和变换单元(Transform Unit，TU)。相比较之前的H.264/AVC编码标准，HEVC支持更大的编码树单元，这对于高分辨率视频编码有更高效的编码性能。对HEVC而言，不仅仅是编码性能的提升，还包括计算复杂度的降低，多种编码工具的统一，友好的并行设计等方面在历次会议中都做了进一步研究。HEVC的目标是在一定的视频质量的情况下，具有低码率，高分辨率，低延时的编码特性。经过一系列工具的结合，新设计的HEVC标准在同等质量前提下较之前的视频标准节省近50％的码流。作为HEVC的扩展标准，可伸缩编码(Scalable High Efficiency Video Coding，SHVC)和3D视频编码也在探索和准备中，不久以后这些扩展将会具有重要的实际应用。 

近年来，3D视频编码正进入广泛的大众市场。作为HEVC扩展之一，制定中的3D视频编码充分利用HEVC单视角编码工具并参照3D特性采用其他特殊的编码方法。基于深度图像绘制(Depth-Image-Based Rendering，DIBR)技术就是广泛应用于视频合成的特殊技术方法之一。DIBR技术是典型的处理深度感知图像的视角合成算法。3D深度图像是由三维系统提供，可以用于确保人们看到一个特殊的三维视角。因此，3D视频编码也可以称为加深度多视角视频(Multiview Video plus Depth，MVD)。对于其中一个视角而言，它仅需有一个视频图像和一个深度图像来合成三维视角，视角合成系统如图2所示。深度图像会根据本身特性以4:0:0的色度采样方法压缩码率。尽管我们会获得比2维传统视频更多的视觉体验，但仍需要高带宽环 境和快速计算能力等要求来满足3D视频编码的需要，这阻碍了3D视频编码的广泛应用。但随着传统编码性能的提升，可伸缩3D视频编码方案将有可能解决3D视频编码应用于互联网和无线网络所遇到的难题。 

但是，3D视频编码仍然存在网络异构和不可靠网络等问题。 

发明内容