[发明专利]一种基于宏像素的光场视频帧间预测方法

说明书

基于宏像素的光场视频帧间预测方法：输入当前预测单元的最佳预测向量并校正；以校正的预测运动向量指向的参考块左上角像素点为中心设定搜索范围，以宏像素宽度和高度作为横向间隔和纵向间隔计算得到(2p+1)×(2q+1)个待搜索点位置，p和q为正整数；从搜索范围内的以这些待搜索点为左上角像素位置的预测单元中找出最小代价预测单元，其运动向量为最佳运动向量；计算最佳预测向量与最佳运动向量之间的变化量并进行量化；对量化得到的运动向量变化量进行反量化并结合最佳预测向量重新计算最佳运动向量；根据更新的最佳运动向量来重新计算预测单元残差，以更新的最佳运动向量和预测单元残差，采用代价模型选择帧间预测模式完成帧间预测。

技术领域

本发明涉及计算机视觉与数字处理领域，具体涉及一种基于宏像素的光场视频帧间预测方法。

背景技术

近年来，光场相机所捕获的光场图像在立体显示、三维重建以及虚拟现实等计算机视觉领域引发了人们的广泛关注。光场视频，作为光场图像的进一步延伸，也有着广泛的应用前景。与光场图像相同，光场视频在记录了光线角度和位置信息的同时，也具有超高分辨率和特殊的像素分布，这使得相对于传统设备采集的视频，光场视频数据量急剧增大。数据量的激增给光场视频的存储和传输带来了巨大压力，对现有解码算法和编解码软硬件架构提出了巨大挑战，也制约了光场相机的发展和应用。因此，研究针对光场视频数据的编码技术，寻找针对光场视频数据高效的压缩方法成为由平面多媒体迈向立体影像时代急需且必须的核心技术。

在目前尚未有针对光场视频利用帧间预测技术的直接压缩方法，但是用传统图像的方法也能对光场视频进行压缩，只是能够获得的压缩率十分有限；如HEVC(HighEfficiency Video Coding)自身的帧间预测方法能够处理光场视频，达到一定的压缩效果。但是由于光场视频的数据量较普通视频急剧上升，将光场视频作为传统视频进行压缩，将带来巨大计算复杂度。使用HEVC里的全搜索虽然能提供较高质量的压缩图像和节省较多的码流，但是巨大的计算复杂度是难以接受的，而其中的快速搜索方法虽然能够大幅降低计算复杂度，但是压缩后的视频质量还有一定提升空间，在节省码流的效果上也不尽人意。目前利用帧间预测对光场图像进行直接压缩的方法中，统一存在的缺陷就是由于图像中宏像素结构和编码器架构不匹配导致宏像素间的相关性未能充分利用，进而影响了编码效率。

发明内容

为了提升光场视频的编码压缩效率，同时降低编解码两端的计算复杂度，本发明提出了一种基于宏像素的光场视频帧间预测方法，该方法基于光场数据中宏像素之间具有的较高相关性和相似性的分析，有针对性的选择搜索点，从而缩小搜索范围以在保证较高匹配质量的前提下，有效降低计算复杂度，在处理运动向量变化量时，根据宏像素的特征，做出有针对性的量化以节约码流，进而实现编码效率的有效提升。

本发明为达上述目的所提供的技术方案如下：

一种基于宏像素的光场视频帧间预测方法，包括以下步骤S1至S8：

S1、筛选出当前预测单元的最佳预测向量MV_pred(x,y)；

S2、基于宏像素特征对所述最佳预测向量MV_pred(x,y)进行校正，得到校正的预测运动向量MV'_pred(x,y)；

S3、以所述校正的预测运动向量MV'_pred(x,y)所指向的参考块左上角的像素点为中心设定搜索范围，以宏像素的宽度和高度分别作为横向间隔和纵向间隔计算得到(2p+1)×(2q+1)个待搜索点的位置，其中，p和q为正整数；

S4、从所述搜索范围内的(2p+1)×(2q+1)个以所述待搜索点为左上角像素位置的预测单元中，筛选出最小代价预测单元，并设定该最小代价预测单元的运动向量为最佳运动向量MV(x,y)；