[发明专利]一种深度图像的后处理方法

摘要

一种深度图像的后处理方法，包括：(1)小孔填充，利用圆形填充模板，将小孔用相邻像素的视差值填充；(2)较大孔填充，利用方形闭合模板填充较大空洞，同时闭合离散的物体边缘，并保持边缘平滑；(3)边缘收缩，利用方形模板收缩在第二步中膨胀的物体边缘；(4)Mask填充，将第(2)步第(3)步得到的结果，填充到第(1)步操作后视差图的空洞中，保持视差图的细节。通过以上4个步骤，可以有效填充视差图中不同大小的空洞，并且得到平滑的物体边缘。

主权项

1.一种深度图像的后处理方法，包括下列步骤：1)小孔填充；针对视差图Disp中稀疏的小孔，设计一个5*5的圆形填充模板C，用该模板遍历Disp中的每一个像素，得到圆形填充模板C所覆盖像素的视差最大值，将其作为当前像素的视差值Disp(x,y)；该圆形填充模板C可以将视差图中的小孔用相邻像素的视差值很好地填充，解决了视差图中的小孔问题；圆形填充模板C的填充公式如下，其中Disp表示视差图，(x,y)表示视差图中各个像素的坐标，x和y分别代表水平坐标和垂直坐标，Disp(x,y)表示视差图中像素的视差值，(i,j)属于填充模板C，Disp(x+i,y+j)表示圆形填充模板C覆盖的各个像素的视差值，max操作表示求圆形填充模板C所覆盖Disp中像素的视差最大值；2)较大孔填充；经过小孔填充后，视差图中仍然存在一些较大的空洞，同时物体边缘粗糙不平滑；设计一个15*15的方形闭合模板S，该模板既可以填充较大尺寸的空洞，又可以将物体边缘闭合，并且得到比较平滑的边缘；需要先将视差图Disp复制得到副本DispCopy，接下来的操作将在DispCopy上进行；将方形闭合模板S依次遍历DispCopy中的每一个像素，得到闭合模板S所覆盖像素的视差最大值，将其作为当前像素的视差值DispCopy(x,y)；较大孔填充的公式如下，其中DispCopy表示视差图副本，(x,y)表示DispCopy中的各个像素坐标，x和y分别代表水平坐标和垂直坐标，DispCopy(x,y)表示视差图副本中像素的视差值，(i,j)属于方形闭合模板S，DispCopy(x+i,y+j)表示方形闭合模板S覆盖的各个像素的视差值，max操作表示求方形闭合模板S所覆盖DispCopy中像素的视差最大值；3)边缘收缩；经过以上操作，DispCopy中空洞基本消失，物体边缘也比较平滑，但存在物体边缘膨胀的现象，需要将边缘收缩；利用上一步骤中使用的15*15的方形模板S，做边缘收缩操作；将方形模板S遍历DispCopy中的每一个像素，得到模板S所覆盖像素的视差最小值，将其作为当前像素的视差值DispCopy(x,y)；该操作可以收缩物体膨胀的边缘，同时保持边缘的平滑；边缘收缩的表示公式如下，其中DispCopy(x,y)、DispCopy(x+i,y+j)表示的意义和第二步中一样，(i,j)属于方形模板S，min操作表示求方形模板S所覆盖DispCopy中像素的视差最小值；4)Mask填充；最后，针对视差图Disp中无视差值的像素，使用副本DispCopy对应位置的视差值填充；不将DispCopy作为最终视差图，是因为过程中使用较大尺寸的方形模板S对副本DispCopy求最值并赋值，该操作使副本视差图DispCopy呈现块状化，损失较多细节；Mask填充的公式如下，Disp(x,y)表示视差图中的像素视差值，DispCopy(x,y)表示视差图副本中的像素视差值，当Disp(x,y)不等于0，即视差图中像素视差有效时，取值不变，当Disp(x,y)等于0，即视差图中像素无有效视差时，则将视差图副本中对应的像素视差值DispCopy(x,y)赋值给Disp(x,y)；