[发明专利]基于线性重建的光场图像压缩方法

说明书

本发明公开了一种基于线性重建的光场图像压缩方法，包括：将光场图像分解为视角图阵列，再分为A、B两个集合；在编码端，采用第一视频编码器对A集合中的视角图进行压缩，码流传输给编码端中的视频解码器与解码端的视频解码器；将B集合中的视角图结合编码端中的视频解码器重建出的A集合中视角图，并利用光场视角图的线性重建理论，求得B集合中视角图与A集合中视角图的关系，并传输给解码端的第二视频解码器；在解码端，利用光场视角图的线性重建理论，并结合解码端的第一与第二视频解码器的解码结果，重建出B集合；利用重建的A集合与B集合重新组成光场图像。该方法可大幅度减少编码端编码数据，并在解码端以较好的质量重建。

技术领域

本发明涉及光场图像压缩技术领域，尤其涉及一种基于线性重建的光场图像压缩方法。

背景技术

光场相机可以记录下空间场景中的光线强度和方向信息(即光场信息)。在光场相机内部，一个微透镜阵列被放置在CCD传感器前方，并位于主透镜的焦距附近。每个微透镜对应于一个像素块(即宏像素)，光场图像由N*M个宏像素组成，其中N和M分别为微透镜阵列的高和宽。若将每个微透镜视为小孔，则主透镜背面在每个宏像素上成倒立的像——即每个宏像素可视为对主透镜在特定方向上的一个采样。

相同空间分辨率下，数据量要数百倍于传统2D图像(Lytro二代光场相机拍摄单幅YUV图像大小50M左右)，这是制约光场技术应用的一个重要因素。因此一套光场图像的高效压缩方案对于图像的存储传输是必须的。

主流的压缩方案可以分为基于raw文件、基于伪视频序列、基于稀疏编码三种。

基于raw文件的压缩方法将宏像素阵列视为2D图像，使用传统编码方法如JEPG压缩。很显然这种方法不能充分利用光场本身的结构特征，实际操作亦不能取得好的效果。

基于伪视频序列的方法将光场分解为多个视角图，采用一定的顺序构成一个视频序列，采用传统的视频压缩方法，如HEVC等进行压缩。该方法压缩效率高，但没有充分利用光场的2D结构。

基于稀疏编码的方法往往利用光场图像中一些关键视角，利用字典训练等手段进行光场重建。此类方法压缩率高，但往往需要在编解码端进行字典学习和重建系数求解。由于光场的维度高数据量大，此类方法有复杂度很高，解码时间长的缺陷。

发明内容

本发明的目的是提供一种基于线性重建的光场图像压缩方法，可以大幅度减少编码端编码数据，并在解码端以较好的质量重建。

本发明的目的是通过以下技术方案实现的：

一种基于线性重建的光场图像压缩方法，包括：

将光场图像分解为视角图阵列，再将视角图阵列分为A、B两个非空的集合；

在编码端，采用第一视频编码器对A集合中的视角图进行压缩后，码流传输给编码端中的视频解码器与解码端中的第一视频解码器；将B集合中的视角图结合编码端中的视频解码器重建出的A集合中视角图，再利用光场视角图的线性重建理论，求得B集合中视角图与A集合中视角图的关系，并传输给解码端的第二视频解码器；

在解码端，利用光场视角图的线性重建理论，并结合解码端的第一与第二视频解码器的解码结果，重建出B集合中视角图；

利用重建的A集合与B集合重新组成光场图像。

由上述本发明提供的技术方案可以看出，将光场图像分解为视频，使用视频编码器去除角度域和空间域的冗余，同时利用所提出的线性重建理论，大幅度减少编码端编码数据，并在解码端以较好的质量重建；与基于稀疏编码的方法相比，本方案无须进行复杂耗时的字典训练和重建过程，同时因为编码数据量的减少，降低了编码复杂度，节约了编解码时间；同时，本方案可以与任意的序列扫描顺序技术相结合，因此具有良好的可拓展性。

附图说明