[发明专利]基于图像序列的空洞填充方法

摘要

本发明公开了一种基于图像序列的空洞填充方法，根据三维图像变换前后的参考图像R_t和目标图像D_t得到视差图，对目标图像D_t进行小空洞预处理，根据参考图像R_t前后的一组邻近参考图像生成邻近目标图像，计算邻近目标图像与目标图像D_t的深度差值，对邻近目标图像中的像素点进行可用标记，从邻近目标图像拷贝可用像素点对目标图像D_t进行空洞填充，然后使用邻近参考图像对目标图像D_t采用运动补偿的方式进行空洞填充，此时再对小于阈值的空洞采用基于视差图的空洞填充方法，然后选取下一组邻近参考图像进行填充；最终剩下的空洞由图像修复算法完成填充。本发明只需一路视频，可达到较佳的图像质量，节省传输视频数据所需的带宽，减少硬件实现的时间复杂度。

主权项

一种基于图像序列的空洞填充方法，其特征在于，包括以下步骤：S1：根据三维图像变换前后的参考图像R_t和目标图像D_t，计算各对应像素点的视差矢量，得到视差图MV_D_tR_t；S2：对目标图像D_t进行小空洞预处理，包括以下步骤：S2.1对目标图像D_t进行中值滤波；S2.2：按从左往右的顺序遍历视差图MV_D_tR_t，检测空洞，除图像边缘的空洞以外，当空洞的连续空洞点个数小于空洞长度阈值len，进入步骤S2.4，否则进入步骤S2.3；S2.3：判断该空洞两端的像素点是否均为前景像素点，如果是，进入步骤S2.4，否则不作任何操作：S2.4：对该空洞采用基于视差图的空洞填充方法进行填充；S3：基于图像序列依次对剩余空洞进行填充，具体步骤包括：S3.1：设置k＝1；S3.2：根据图像序列中的参考图像R_t‑k和参考图像R_t+k，得到目标图像D_t‑k和目标图像D_t+k；S3.3：将当前目标图像D_t的深度图，分别与目标图像D_t‑k和D_t+k的深度图求差，得到两个深度差值矩阵，遍历深度差值矩阵，当深度差值大于0且小于预设阈值时，将目标图像D_t‑k或D_t+k中的对应像素点的可用标记设置为1，否则设置为0；当目标图像D_t‑k或D_t+k不存在时，直接将对应像素点的可用标记设置为0；S3.4：按行遍历视差图MV_D_tR_t，如果检测到D_t(u,v)为空洞点，按以下方法进行填充：$D_t(u,v)=\left\{\begin{array}{cc}{D}_{t+k}(u,v),& m_{t-k}(u,v)=0,m_{t+k}(u,v)=1\\ D_{t-k}(u,v),& m_{t-k}(u,v)=1,m_{t+k}(u,v)=0\\ (D_{t+k}(u,v)+D_{t-k}(u,v))/2,& m_{t-k}(u,v)=1,m_{t+k}(u,v)=1\\ 0,& m_{t-k}(u,v)=0,m_{t+k}(u,v)=0\end{array}\right.$其中，D_t(u,v)表示目标图像D_t的中像素点(u,v)，D_t‑k(u,v)表示目标图像D_t‑k中的像素点(u,v)，m_t‑k(u,v)表示目标图像D_t‑k中像素点(u,v)的可用标记，D_t+k(u,v)表示目标图像D_t+k中的像素点(u,v)，m_t+k(u,v)表示目标图像D_t+k中像素点(u,v)的可用标记；同时将目标图像中行方向上距离D_t(u,v)最近的背景像素点的视差值和深度值作为D_t(u,v)的视差值和深度值更新视差图和深度图；S3.5：分别判断参考图像R_t‑k、R_t+k与参考图像R_t相比，前景是否相对于背景发生运动，如果是，则将参考图像R_t‑k或R_t+k记为图像R′，对目标图像D_t进行运动补偿后进入步骤S3.6，否则进入步骤S3.6，运动补偿的方法为：遍历当前目标图像D_t的视差图，得到所有空洞的非空洞端点中为背景像素的端点集合，依次选择端点集合中的各个端点D_t(p,q)，通过视差值得到参考图像中的对应像素点R_t(p′,q′)，选取以像素点R_t(p′,q′+αn)为中心、边长为2n+1的图像块作为当前块，其中n为正整数，α为偏移方向指示，当端点D_t(p,q)为空洞的左端点，α＝‑1，当端点D_t(p,q)为空洞的右端点，α＝1；在图像R′中搜索当前块的最佳匹配块，计算得到当前块至匹配块的运动矢量然后对目标图像D_t中以D_t(p,q‑αn)为中心、边长为n的图像块中的空洞点进行填充，当D_t(p+i,q‑αn+j)为空洞点，其中i、j的取值范围分别为‑n≤i≤n、‑n≤j≤n，图像R′中用于填充该空洞点的像素点为同时将目标图像中行方向上距离D_t(p+i,q‑αn+j)最近的背景像素点的视差值和深度值作为像素点D_t(u,v)的视差值和深度值更新视差图和深度图；S3.6：遍历视差图MV_D_tR_t，检测空洞，当空洞的连续空洞点个数小于空洞长度阈值len，采用基于视差图的空洞填充方法对该空洞进行填充，否则不作任何操作；S3.7：判断是否k＝max(a,b)，其中a表示图像序列中参考图像R_t之前的可用图像数量，b表示图像序列中参考图像R_t之后的可用图像数量，如果是，进入步骤S4，否则令k＝k+1，返回步骤S3.2；S4：采用图像修复方法对步骤S3得到的目标图像进行修复。