[发明专利]涉及深度图转换的编码器、编码方法以及三层表达式的存储方法和格式

说明书

公开了一种深度图转换成三层表达式的编码器，包括：深度图输入接收模块，用于接收8位模式或者16位模式的深度图的输入；间隔/区间划分模块；直方图创建模块；像素数计算模块，位于直方图创建模块内；最大计数间隔/区间识别模块；以及三层表达式转换模块，用于将深度图的深度值转换成三层表达式：其中D'(x,y)是转换后的深度值；在8位模式下执行转换三层表达式时，上述表达式中的阈值A、B分别为51、77、102、153、179、204，在16位模式下执行转换三层表达式时，上述表达式中的阈值A、B分别为13107、19662、26214、32768、39321、54523。由此降低了整体计算复杂性，从而提高渲染帧速率并改善用户体验。

技术领域

本发明涉及一种用于把自动立体(3D)显示器的视图合成的深度图转换成三层表达式的编码器、编码方法以及三层表达式的存储方法。

背景技术

立体显示器(也是三维(3D)显示器)是能够通过用于双目视觉的立体视觉向观看者传达深度感知的显示设备。立体显示器的基本技术是呈现偏移图像，其分别显示在左眼和右眼上。然后将这两个二维(2D)偏移图像组合在大脑中以给出3D深度的感知。立体显示器可以主要分为立体显示器和自动立体显示器。前者要求用户佩戴一对主动式快门或被动式偏光眼镜，而后者不要求用户戴眼镜。这种自动立体显示器的输入通常是i)传统的2D视频加上深度图(2D+Z)，其描述视频中每个像素的深度，或者是ii)相邻视点处的一组视频，有时称为多视图视频，以特定格式复制在图像帧上。

深度图通常以8位(0-255)到16位(0-65536)的实数存储。传统的3D视图合成可以通过像素单元卷绕算法(Warping algorithm)来执行，它以数字方式操纵图像，以便将当前视图映射到由提供的深度值指示的指定视图变化。在以下文献中公开了使用传统卷绕算法的现有技术，[1]N.Stefanoski,D.E.Hannover,A.Smolic et.al.,“synthesizing viewsbased on image domain warping,”US2013/0057644A1,Mar.2013；[2]姚莉,许辉,“Virtual view synthesis method using contour perception,”CN 201510182858,Mar.2017；[3]Sanyo Electric Co.,Ltd.,“Methods for creating an image for athree-dimensional display,for calculating depth information,and for imageprocessing using the depth information,”US20010045979A1；[4]N.Stefanoski,O.Wang,M.Lang et.al.,“Automatic view synthesis by Image-Domain-Warping,”IEEETransactions On Image Processing,vol.22,no.9,pp.3329-3341,Sep.2013；[5]P.Kauff,N.Atzpadin,C.Fehn,et.al.,“Depth map creation and image-basedrendering for advanced 3DTV services providing interoperability andscalability,”Signal Processing:Image Communication,vol.22,no.2,pp.217-234,Feb.2007.

以[2]CN201510182858为例，先要(1)以参考视点的图像进行网格化处理，并用轮廓感知算法找到图像中的物体轮廓，(2)再用3DWarping算法进行图像映射，(3)利用选择算法找到合适映射后的图像进行融合，(4)最后用空洞填补算法来修复融合后的虚拟视点图像，以生成最终的虚拟视点图像。以这种方法的一个主要限制是它非常耗时，而且最佳适用于规则物体的场景。