[发明专利]360度视频帧内预测快速决策方法、装置、编解码器和介质

说明书

360度视频具有超高分辨率(通常为4K到8K)，造成编码时间大幅增加。为了减少编码复杂度，设计了一种基于纹理特征的360度视频帧内预测快速决策装置。一方面，所提出的决策方法基于纹理复杂度来确定是否尽早终止编码单元划分；另一方面，所提出的方法根据纹理方向性减少了模式决策中候选模式的数量。这两种方法可同时使用，或分开使用。

技术领域

本发明涉及图像处理领域，更具体而言，涉及在高效视频编码(HEVC)中用于处理360度视频的基于纹理特征的帧内预测CU划分和模式选择。

背景技术

高效率视频编码(High Efficient Video Coding，HEVC)标准由联合视频编码组(Joint Collaborative on Video Coding，JCT-VC)推出，是最新的视频编码标准[1]。跟已有的视频编码标准相比，HEVC能极大提高编码效果，尤其是对高分辨率的视频。2013年1月份HEVC视频编码标准尘埃落定，关于HEVC研究工作转到扩大HEVC应用范围的领域中，提出了针对虚拟现实视频的编码。

随着近年来对虚拟现实(VR)领域的商业兴趣日益增长，ITU-T的VCEG和ISO/IEC的MPEG共同建立了联合视频探索团队(JVET)，用于未来的视频编码研究，并提出了VR 360度视频编码框架[2]。360度视频通常从多相机阵列获得，例如GoPro Omni相机。来自多个摄像机的图像被组装以实现水平360度方向和垂直180度方向的球面投影。

由于VR 360视频的球形特征，传统的视频编码方法难以直接应用。因此，JVET提出了11种不同的球形视频投影格式来解决编码问题。360度视频投影到二维平面上，并按一定的比例转换为二维投影格式[3]，如等矩形投影(ERP)，八面体投影(OHP)，截顶四角锥投影(TSP)，旋转球体投影(RSP)，立方体投影(CMP)和分段球体投影(SSP)等。投影之后360度视频被转换为传统视频并进行下一步编码。考虑到HEVC是针对传统视频提出的，基于HEVC的360度视频编码并不能高效地编码360度视频。为了提高360度视频编码的性能，目前有许多研究工作从投影框架或者率失真优化等方面提出了很多新技术来提高360度视频编码质量和效率[4]-[7]。

在文献[4]中，为了减少压缩后OVs的比特率，提出了两种适用于全向视频(OV)的自适应编码技术算法。文献[5]中提出了一个实时的360度视频拼接框架用以呈现整个场景的不同细节层次。文献[6]提出了一种可以提高360度视频运动预测精度的运动估计算法。考虑到球面域的畸变，文献[7]中提出了球面域的最优率失真关系，并得出了最优解，可以节省高达11.5％的比特率。

传统视频和360度视频的投影格式显示出不同的图像纹理。本发明中，我们将采用一种基于视频图像纹理特征的快速帧内预测方法，使之能够应用于ERP格式的360度视频。我们计算CU划分过程中的纹理复杂度用于CU划分大小的决策，并将纹理方向性决策添加到模式选择过程。该决策分为两部分。首先，根据图像纹理复杂度的阈值，对复杂度进行分类以确定当前CU是否被跳过或进一步划分。其次，基于纹理方向性进一步减少候选预测模式。

在本发明的说明书中，引用了如下文献，在此将其并入本发明作为本发明的公开内容的一部分。

[1]G.J.Sullivan，J.R.Ohm，W.J.Han and T.Wiegand，“Overview of theHighEfficiency Video Coding(HEVC)Standard，”IEEE Transactions on CircuitsandSystems for Video Technology，Vol.22，No.12，PP.1649-1668，Dec.2012.