[发明专利]基于WMSE的360度视频快速帧内预测算法

说明书

一种用于基于高效视频编码(HEVC)而对视频帧进行帧内预测的方法。当当前CU的PartMode为2N×2N时，获取当前CU与其4个子CU的8×8的预测像素采样块，并计算第一指标(SIMI)，所述第一指标表示子块和母块之间的相似度，同时也反映了当前CU对于视频质量的重要程度；以及如果所述第一指标小于第一阈值(T₁)，则提前结束当前CU的帧内预测；或者当当前CU的PartMode为N×N时，获取当前CU的8×8原始像素块和预测像素块，并且计算第二指标(DIST)，所述第二指标表示当前CU的失真，同时也反映了当前CU对于视频质量的重要程度；以及如果所述第二指标小于第二阈值(T2)，则提前结束当前CU的帧内预测。

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金(No.61103113，No.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187)；江苏省自然科学基金(BK2011455)，北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)；国家973计划(2012CB316400)，中央高校基础研究基金(No.2011JBM214)。

技术领域

本发明涉及图像与视频处理领域，更具体而言，涉及在高效视频编码(HEVC)中对360度虚拟现实视频进行快速帧内预测的方法、装置和计算机程序产品。

背景技术

虚拟现实视频是用专业摄像机捕捉整个场景的图像信息，视频由软件拼接，由专用设备播放。它还为观看者提供了各种操作图像的功能，可以放大、缩小和向各个方向移动来观看场景，从而模拟和再现场景的真实环境。在虚拟现实系统中，多个摄像机捕获360度场景并将所有场景拼接成球形视频，从而创建360度视频。当我们对360度视频进行编码时，我们必须将球形视频投影到平面视频中以适应广泛使用的编码标准，例如H.264/AVC和H.265/高效视频编码(HEVC)。多种投影格式，如等矩形投影(ERP)，调整的等面积(AEP)，立方体贴图(CMP)，等角立方图(EAC)，截断方形金字塔(TSP)，紧凑八面体(COHP)，紧凑二十面体(CISP)已被提议。在这些格式中，ERP是一种简单且广泛使用的格式。它将经线映射到恒定间距的垂直线，将纬线映射到恒定间距的水平线，进而将球形视频转换为平面视频。然而，ERP投影格式导致拉伸和失真，并且两极区域特别严重，导致冗余度增加和编码效率降低。在本研究中，我们使用ERP投影格式来说明我们提出的算法。

2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding)，一同开发高效视频编码HEVC(Highefficiency video coding)标准，其也称为H.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50％。

就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架，如图1所示。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。

目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。

HEVC标准的第一版已经在2013年的一月份完成。并于2013年4月、2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述HEVC标准的三个版本并入本说明书中作为本发明的背景技术。