[发明专利]一种光场图像智能编码方法

说明书

本发明公开了一种光场图像智能编码方法，所述方法包括以下步骤：根据光场相机参数，对宏像素进行竖直坐标、水平坐标变换，且对缺少像素值的空白区域采取自适应像素插值实现光场图像的变换；根据变换后的光场图像中相邻宏像素之间的空间相似性，以宏像素为单位进行下采样；针对下采样后的低分辨率编码树单元进行编码传输；在解码端，采用基于宏像素复制的上采样恢复编码树单元的原始分辨率；为进一步提高重建编码树单元质量，利用特征提取获取宏像素的局部特征和视差特征；将局部特征和视差特征融合在一起，实现粗细融合；利用图像重建将融合后的特征映射到RGB空间，实现宏像素级的精细化上采样重建。

技术领域

本发明涉及视频图像编码领域，尤其涉及一种光场图像智能编码方法。

背景技术

近年来，随着真三维立体显示技术的快速发展和用户需求的不断提升，光场相机凭借独特的光场捕获能力获得了极大的关注。与传统相机不同，基于微透镜阵列的光场相机可以通过单次曝光，同时记录三维空间中的光线强度和传播方向。经过后处理和校准后，捕获的光场图像可以应用于无视觉疲劳的真三维立体显示、3D电视、显著性检测和物体识别等领域，实现成像质量的提高。然而，光场图像所包含的信息量远远超过2D图像，给数据的存储和传输带来了巨大挑战。因此，针对光场图像进行压缩算法研究具有重要的理论和实际应用价值。

由于光场相机独特的成像特点，所捕获的光场图像也呈现出和普通2D图像不同的特性。光场图像由大量近似六边形结构的宏像素组成，每个宏像素源自锥形光束，对应一个微透镜的投影成像，相邻宏像素具有移位相似性等特点。而传统的图像/视频编码标准对光场数据特性的利用尚不充分，如何有效利用这些数据特性实现光场图像压缩效率的提升成为当前研究的一个热点。

Li等提出一种位移帧内预测编码方法，该方法使用当前编码帧的已重建区域作为参考帧，通过将运动补偿预测工具引入到帧内预测过程中，去除光场图像内部的空间冗余信息。Jin等基于宏像素的六边形结构，提出一种可逆的光场图像变换方法，该方法将每个六边形的宏像素和块状的编码单元进行边界对齐，通过降低块内纹理复杂度，增加相邻块之间的空间相关性，达到降低空间冗余的目的。Aggoun等提出一种3D离散小波变换方法，分别在单个视点和视点间图像上执行空间小波分解，通过去除空间和视点间冗余信息，获得率失真性能的提升。Liu等根据视点的空间位置关系将子孔径图像组织成一个伪视频序列，通过对序列的编码顺序、预测结构和码率分配进行探究，提高了压缩效率。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术中的方法往往在像素级设计图像的下采样机制，而未考虑宏像素的数据结构特性和上采样重建之间的联系；现有方法通常基于图像的深层细粒度特征进行上采样重建，缺少对粗细融合特征的研究。

发明内容

本发明提供了一种光场图像智能编码方法，本发明通过分析光场图像的数据结构特性，设计一种宏像素级的下采样帧内智能编码方法，降低帧内信息冗余，提高光场图像的编码效率，详见下文描述：

一种光场图像智能编码方法，所述方法包括以下步骤：

根据光场相机参数，对宏像素进行竖直坐标、水平坐标变换，且对缺少像素值的空白区域采取自适应像素插值实现光场图像的变换；

根据变换后的光场图像中相邻宏像素之间的空间相似性，以宏像素为单位进行下采样；

针对下采样后的低分辨率编码树单元进行编码传输；在解码端，采用基于宏像素复制的上采样恢复编码树单元的原始分辨率；

为进一步提高重建编码树单元质量，利用特征提取获取宏像素的局部特征和视差特征；将局部特征和视差特征融合在一起，实现粗细融合；利用图像重建将融合后的特征映射到RGB空间，实现宏像素级的精细化上采样重建。

其中，所述以宏像素为单位进行下采样具体为：