[发明专利]基于网格变形的内容感知双目图像缩放方法

说明书

技术领域

本发明属于图像处理领域，尤其涉及一种基于网格变形的内容感知双目图像缩放方法，可应用于双目图像的多尺度缩小和放大处理。

背景技术

随着不同规格3D显示设备的推广，为了适应不同横纵比显示屏幕的播放要求，双目图像的非等比例缩放得到国内外学者的关注。传统的内容感知图像缩放方法重点研究2D图像的缩放。研究点包括显著区域的准确检测，图像扭曲、断裂的避免，图像主要特征和平滑性的保持等，可大致分为离散型和连续型两种缩放方法。其中离散型方法包括基于seam carving、分块处理以及智能裁剪的方法，连续型方法主要是基于网格变形的图像缩放方法。由于传统方法没有引入双目图像的立体约束，导致缩放过程中左、右目视图对应区域缩放程度不一致，此类方法并不适用于双目图像的非等比例缩放。

近年来，内容感知的双目图像缩放研究取得一定的成果。相关方法可分为离散型方法和连续型方法。离散型方法主要是基于seam carving的方法。Utsugi Kei最早将seam carving算法用于双目图像缩放，之后Basha Tali等学者于2011年提出的几何一致的seam carving双目图像缩放方法。这类方法通过同时删除双目视图的对应seam点维持立体信息。但是离散型方法删除了图像有效信息，容易破坏物体结构和连续性。连续型方法主要是基于网格变形的方法，这类方法能够一定程度上弥补离散型方法破坏图像连续性的缺陷。Che-Han Chang等学者于2011年提出内容感知的双目图像编辑方法。该方法采用尺寸不变特征转换(SIFT，Scale-invariant Feature Transform)稀疏匹配点在网格变形过程中加入立体约束，保持图像的立体信息。但是，经这种方法处理后，图像中直线物体容易发生弯曲，给用户带来不舒适的观看体验。同时尺寸不变特征转换稀疏对应关系取决于图像的场景结构，该方法存在应用场景的限制。

综上可知，现有的内容感知双目图像缩放方法在实际使用上显然存在局限与缺陷，所以有必要加以改进。

发明内容

针对现有技术在双目图像缩放时存在的缺陷和不足，本发明提出一种基于网格变形的内容感知双目图像缩放方法。该方法在网格变形过程中引入直线特征约束，能够保留图像的直线特征。采用梯度图和显著图检测图像重要区域以增强图像中的物体边缘信息，更好地突出重要物体。并采用内容感知的随机匹配关系有效保持双目图像的立体信息。

本发明所解决的技术问题可采用如下的技术解决方案来实现：

一种基于网格变形的内容感知双目图像缩放方法，包括以下步骤：

A、输入原始左目视图和右目视图，并设定目标图像的分辨率，确定双目图像在水平方向和垂直方向的缩放比例；

B、对原始左目视图和右目视图分别构造覆盖图像的均匀四边形网格；

C、对原始左目视图和右目视图分别计算左、右目视图的网格级重要程度图；

具体的，左、右网格级重要程度图由融合对应的显著图和梯度轮廓图的方法确定。首先对左、右目视图进行显著区域检测得到左、右目显著图，然后将左、右目视图转换为灰度图像后计算出对应的左、右目梯度轮廓图像，融合显著图与梯度轮廓图得到像素级重要程度图，对网格内的像素重要程度求平均得到网格级重要程度图。

D、对原始左目视图和右目视图分别进行直线特征检测操作，构造网格级直线特征集合；

首先利用Hough变换分别从左、右目梯度轮廓图识别直线特征，再将直线特征从像素级别映射到网格中，构造网格级直线特征集合。

E、根据步骤C得到的左、右目视图的网格级重要程度图，建立网格缩放能量函数；

具体的，步骤E所述的网格缩放能量函数包括：

网格扭曲能量函数，用于限制不同重要程度的网格发生扭曲的程度；网格扭曲能量函数由网格顶点位置决定，并考虑左、右目视图的网格级重要程度。

网格边弯曲能量函数，用于限制网格边尽可能不发生弯曲；

边界失真能量函数，用于避免网格缩放过程中出现越界而丢失边界信息；

垂直视差能量函数，用于减少缩放过程中左、右目视图水平不对称而产生的垂直视差；

视差一致失真能量函数，用于维持左、右目视图重要区域的视差信息。

其中垂直视差能量函数或视差一致失真能量函数，属于双目图像立体约束能量函数，用于保持双目图像的立体信息，采用内容感知的随机匹配点确定。