[发明专利]一种基于内容感知的图像缩放方法

摘要

本发明一种基于内容感知的图像缩放方法，涉及在图像平面内的图形图像转换，采用融合显著图、边缘直线图和梯度图的混合特征模型得到能量函数，依据该能量函数进行线裁剪操作完成图像的缩放，步骤是：输入彩色图像预处理；同时进行：提取原始彩色图像的显著图和显著目标图像、提取灰度图像的融合直线信息的边缘图和提取灰度图像的梯度图；利用HFPM算法对三种特征图融合得到能量函数；使用线裁剪算法对原始图像进行裁剪。本发明方法克服了现有的线裁剪方法采用图像的梯度图定义能量函数，在图像缩放时仍然存在失真和部分图像信息丢失的缺陷。

主权项

1.一种基于内容感知的图像缩放方法，其特征在于采用融合显著图、边缘直线图和梯度图的混合特征模型得到能量函数，步骤如下：第一步，输入彩色图像预处理：通过USB接口向计算机输入原始彩色图像，并输入目标图像的大小，将得到的原始彩色图像O由RGB空间转化到灰度空间得到灰度图像I，采用的公式(1)如下：I＝0.299R+0.587G+0.114B  (1)，其中R、G、B分别是RGB空间图像的红色、绿色和蓝色通道，同时保留原始输入RGB空间的原始彩色图像O，供第二步中Context‑Aware算法计算使用，所输入原始彩色图像O的大小为M×N像素，所输入目标图像的大小为M′×N′像素；第二步，提取原始彩色图像的显著图和显著目标图像：(1)通过Context‑Aware算法提取原始彩色图像显著图：对第一步保留的原始输入的RGB空间的原始彩色图像O，通过Context‑Aware算法计算显著图，并将由此计算得到的该显著图输出为原始输入的RGB空间的原始彩色图像O的尺寸，提取到原始彩色图像的显著图Sal；(2)使用分水岭分割算法加强显著图：使用分水岭分割算法对上述第二步步骤(1)得到的原始彩色图像的显著图Sal进一步加强，分割出原始彩色图像显著图中的目标，先对显著图Sal的每个像素的灰度级进行从低到高排序，然后再从低到高实现淹没过程，对每一个局部极小值采用先进先出结构进行判断及标注，由此通过分水岭算法分割得到原始彩色图像的显著目标图像Is；第三步，提取灰度图像的融合直线信息的边缘图：提取第一步得到的灰度图像I中的直线信息，并对图像I进行模糊处理，提取边缘图，将直线信息与边缘图进行叠加融合，得到融合直线信息的边缘图，具体步骤如下；(1)检测灰度图像中的直线信息：对第一步中获得的灰度图像I运用霍夫变换检测其中的直线信息，设置霍夫变换算法中所能检测到的最小长度为个像素以及直线间的最小间隔为个像素，其中q为图像对角线的长度，将检测得到直线信息的图片进行二值化处理，设置阈值为Th，得到具有直线信息的二值图I_w，所采用的公式(2)如下：上述公式(2)中，w为标有直线线段的图片，w(x,y)为该图片的(x,y)处的像素值；(2)对原始彩色图像进行模糊处理：利用基于总变差模型的纹理结构提取算法对原始输入的RGB空间的原始彩色图像O进行模糊处理，模糊原图中不重要的纹理部分，突出主结构，得到去除纹理的图像，达到模糊的效果；(3)提取图像的边缘特征：利用Canny边缘检测算法对上述第三步步骤(2)模糊处理后得到的图像提取边缘信息，增强图像的边缘，得到边缘图，其中Canny算子模板如下公式(3)所示，其中，Dx为水平方向的算子，Dy为垂直方向的算子，(4)将直线信息融合到边缘图中：将上述第三步步骤(1)中得到的具有直线信息的二值图Iw与上述第三步步骤(3)得到的边缘图采用的公式(4)进行融合，Ic＝Iw+Icanny  (4)，其中，Iw为含有直线信息的二值图，Icanny为使用Canny边缘检测算法得到的边缘图，Ic为融合直线信息的边缘图；第四步，提取灰度图像的梯度图：对第一步得到的灰度图像I通过Sobel梯度算子来提取梯度信息，即以图像像素点I(x,y)为中心计算其3×3邻域的x方向偏导数Gx和y方向的偏导数Gy如下：梯度大小为：根据公式(7)求出每个像素的梯度值，即可得到灰度图像的梯度图Ig；第五步，利用HFPM算法对三种特征图融合得到能量函数：将上述第二步得到的原始彩色图像的显著目标图像Is、第三步得到的融合直线信息的边缘图Ic以及第四步得到的灰度图像的梯度图Ig用HFPM算法进行融合，采用公式如下：EHFPM(x,y)＝αIs(x,y)+βIc(x,y)+γIg(x,y)  (8)，其中EHFPM为最终得到的能量函数，α、β、γ分别为Is、Ic、Ig三种图像不同的权重系数，α是原始彩色图像的显著目标图像Is的权重系数，其定义如下：其中Areat为缩放后图像的面积，M和N分别是第一步得到的图像的长度值和宽度值，单位为像素；β是融合直线信息的边缘图Ic的权重系数，其定义为：其中num为图像中通过Hough变换算法检测出的直线的条数，Len(l)即为第l条直线的长度，Lmax为所有直线中最长直线的长度，Lmin为所有直线中最短直线的长度；γ是灰度图像的梯度图Ig的权重系数，由上述第二步得到的原始彩色图像的显著图Sal的面积决定，显著目标面积大的图像，γ值应越大，可以更好地保护图像中不同显著目标之间的边缘信息，其定义为：其中，原始彩色图像的显著图Sal的尺寸为M×N像素，Sal(mc,nc)为在原始彩色图像的显著图中(mc,nc)处的像素值，Ts为设定的阈值；第六步，使用线裁剪算法对原始图像进行裁剪：原始彩色图像O的大小为M×N像素，目标图像大小为M′×N′像素，线裁剪是提取|M‑M′|条行像素线和|N‑N′|条列像素线，如果目标图像尺寸小于原始图像尺寸，则删除该像素线使原始图像尺寸缩小一行或一列，如果目标图像尺寸大于原始图像，则复制该像素线插入到原始图像相应位置，循环处理|M‑M′|或|N‑N′|次使得原始图像尺寸达到目标图像大小，通过动态规划找出合适的裁剪线，并进行裁剪操作，具体步骤如下：(1)计算列裁剪线中由非相邻像素点成为相邻像素产生的能量：利用下式(14)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：其中，I是第一步得到的灰度图像，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i‑1,j‑1)时所产生的能量，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i‑1,j)时所产生的能量，表示进行列裁剪时移除灰度图像I中像素(i,j)与(i‑1,j+1)时所产生的能量；(2)计算当前最小列裁剪线能量：计算当前最小能量列裁剪线能量的公式如下所示：ey(i,j)为当前最小能量列裁剪线能量，也即最小能量列裁剪线中像素点(i,j)处累积能量；(3)寻找累计能量最小的列裁剪线：在ey计算灰度图像I最后一行中最小能量值的像素即为列裁剪线最后一个像素，以ey(i,j)像素为起点，从最后一行回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一直找到灰度图像I的第一行，所有联通的像素所组成的像素线即为累计能量最小的列裁剪线；(4)计算行裁剪线中由非相邻像素点成为相邻像素产生的能量：利用下式(16)计算移除像素时，由非相邻像素点成为新的相邻像素点而产生的能量：其中，I是第一步得到的灰度图像，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i+1,j‑1)时所产生的能量，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i,j‑1)时所产生的能量，表示进行行裁剪时移除灰度图像I中像素(i,j)与(i‑1,j‑1)时所产生的能量；(5)计算当前最小行裁剪线能量：计算当前最小能量行裁剪线能量的公式如下所示：ex(i,j)为当前最小行裁剪线能量，也即最小能量列裁剪线中像素点(i,j)处累积能量；(6)寻找累计能量最小的行裁剪线：在ex计算灰度图像I最后一列中最小能量值的像素即为行裁剪线最后一个像素，以ex(i,j)像素为起点，从最后一列回溯寻找累积能量最小的八联通裁剪线，按照这个步骤，一直找到灰度图像I的第一列，所有联通的像素所组成的像素线即为累计能量最小的行裁剪线；(7)对输入的原始彩色图像O的图像进行线裁剪：根据上述第六步步骤(3)和第六步步骤(6)分别得到的列裁剪线与行裁剪线，根据第五步得到的能量函数，通过上述第六步步骤(3)和第六步步骤(6)找出当前图像中累计能量最小的裁剪线进行复制或者删除操作，原始彩色图像O的大小为M×N像素，目标图像大小为M′×N′像素，线裁剪是提取|M‑M′|条行像素线和|N‑N′|条列像素线，如果目标图像尺寸小于原始彩色图像尺寸，则删除该像素线使原始彩色图像尺寸缩小一行或一列，如果目标图像尺寸大于原始彩色图像尺寸，则复制该像素线插入到原始彩色图像相应位置，循环处理|M‑M′|次或|N‑N′|次使得原始彩色图像尺寸达到目标图像大小。