[发明专利]景深图校正方法及系统

说明书

技术领域

本申请一般而言涉及一景深图校正方法及系统。

背景技术

根据动态图像专家组（Moving Picture Experts Group，简称MPEG）组织目前制定的立体视频压缩标准（3D Video Coding，简称3DVC），希望能在达到符合现今数字传输环境的流量限制下，呈现多视角（multi-view）的立体视觉效果。3DVC与之前的多视角编码方法（multi-view video coding，MVC）相比，其不用纪录数量庞大的视角信息，而是以视角合成的方式去建立这些视角，可以节省大量的数据量。

3DVC整体的架构主要希望能在多张纹理图像（texture image）中，仅运用其中少数几张图框（frame）的纹理图像（实际视角图像）配合它们对应的场景深度图（景深图、depth map），以视角合成（view synthesis）的方式来合成出多张虚拟视角（virtual view）图像。举例来说，景深图像为基础渲染（Depth Image Based Rendering，简称DIBR）的算法，可使用三张实际视角图像加上对应的景深图这三组信息，产生出九张不同视角图像（包括了实际视角图像及虚拟视角图像），无论观众从哪个角度位置观看，只要让左右眼接收到对应的视角图像，就能观赏到3D的立体图像。

纹理图像为摄影机拍摄场景的实际图像，而景深图可视为对应实际图像的一8位灰阶图像，景深图的像素值（介于0～255之间）代表场景中物体距离摄影机的远近，亦即景深图展现的是物体间在空间坐标的相对应关系，而与物体本身的实际纹理信息无关。

举例来说，如果定义纹理图像中：像素点对应的深度值比较大（颜色较亮）将之归属于前景物件，而深度值比较小（颜色较暗）将之归属于背景。可简化来解释，视角合成（view synthesis）的过程可以看成是实际视角图像里面的像素点视角位移（view warping）了多少距离，跑到虚拟视角图像上，而每个纹理图像像素点（pixel）要位移多少距离则是由景深图上与该像素点相对应坐标的景深图像素值（pixel value），简称为深度值（depth value）决定，按照视角合成的理论，纹理图像像素点所对应的景深图上的深度值越大，那么此像素点的位移量也会越大。

进行视角合成过程中，深度值比较大的像素点，位移（warp）了比较多的距离，而深度值比较小的像素点，位移了比较少的距离。因为位移的距离不等，所以虚拟视角图像上面可能有些像素点没有值，这些空着的像素点称为“洞”（hole）。一般而言譬如说，洞信息可标注在所谓的洞遮罩（hole mask）在对应的像素点坐标位置，而供后续程序中参考，以洞填补（hole filling）算法来填补洞。

一般而言，如果景深图和纹理图像的前景背景相吻合，合成的图像就不会产生噪声；但如果不吻合，则合成的图像会形成些许的碎噪声（noise）。

发明内容

依据本揭露的一实施范例，提供一种景深图校正方法。此方法包括以下步骤。将一实际视角图像的一左视角图像、一右视角图像依据各自对应的景深图进行一视角位移，以取得一左虚拟视角图像、一右虚拟视角图像、一左侧洞信息及一右侧洞信息。点对点地将不是洞的至少一像素点的左、右虚拟视角图像坐标的像素值相减，以取得前述像素点的冗余差值。如果取得的冗余差值大于第一阈值，则进行一位移反推，以得到前述像素点位于所对应的实际视角图像的一坐标，并以所得的此坐标邻近范围的深度值来校正前述像素点的深度值，以进行一景深校正。

依据本揭露的一实施范例，提供一种景深图校正系统。景深图校正系统包括一视角位移单元、一冗余差值计算单元、一第一判断单元、一位移反推单元及一景深校正单元。视角位移单元用以将一实际视角图像的一左视角图像跟一右视角图像依据各自对应的景深图进行一视角位移，以取得一左虚拟视角图像、一右虚拟视角图像、一左侧洞信息及一右侧洞信息。冗余差值计算单元用以点对点地将不是洞的至少一像素点的左、右虚拟视角图像坐标的像素值相减，以取得前述至少一像素点的一冗余差值。第一判断单元用以判断如果取得的冗余差值大于一第一阈值，则进行一位移反推。位移反推单元用以进行该位移反推，以得到前述至少一像素点位于所对应的实际视角图像的一坐标。景深校正单元用以进行一景深校正，以所得坐标的邻近范围一或多个像素点的深度值来校正前述至少一像素点的深度值。为了对本发明的上述及其他方面有更佳的了解，下文特举若干实施范例，并配合附图，作详细说明如下：

附图说明