[发明专利]一种内容感知的图像缩放方法及系统

说明书

本发明公开了一种内容感知的图像缩放方法及系统，首先，为控制图像缩放，对输入图像进行显著性检测和特征直线检测；其次，在图像上构建一个平面三角网格，视三角网格的每一条边为一根弹簧，则整个三角网格构成一个弹簧系统，可利用该弹簧系统的变形实现图像缩放，其中，根据每根弹簧所在图像区域的显著度设置弹簧的弹性系数，该系数可在缩放时有效保持图像的主体区域，避免主体内容缩放不均匀或变形；然后，以图像直线特征保持为约束，构造用于约束弹簧系统变形的目标函数；最后，利用纹理贴图技术把弹簧系统的每个三角形对应的图像贴回弹簧系统，得到缩放后的目标图像。

技术领域

本发明涉及一种内容感知的图像缩放方法及系统。

背景技术

数字图像已成为信息时代的重要组成部分，在实际应用中为适用于不同显示设备和网页，图像的尺寸或纵横比需要时刻转化。好的图像缩放方法是在改变图像任意尺寸的同时，保持图像主体部分的结构完整性，使图像中的缩放扭曲尽量发生在非主体区域。对于该问题，存在两类典型的技术：一类是传统缩放方法，直接拉伸图像为目标图像，如最近邻域插值、双线性插值、双三次插值等技术，但该类方法在改变图像纵横比时会使图像中的重要区域产生压扁或拉伸等失真畸形现象；另一类是裁剪方法，由于该方法删除裁剪窗口外的全部像素，从而导致图像部分内容丢失。

为解决传统图像缩放方法存在的问题，Avidan和Shamir提出内容感知图像缩放技术。与忽视图像内容的传统方法不同，内容感知图像缩放是基于用户的视觉关注度来标示图像中各个区域的重要度，并针对各区域重要度的差异进行不同处理。对图像中高重要度的主体区域尽量保持其原有的长宽比例不变，同时改变重要度低的背景区域来满足目标大小的几何约束。

目前对于内容感知的图像缩放技术主要分为3类：离散型、多操作型和连续型。

离散型的方法主要是基于线裁剪的缩放方法，该类方法把图像看成离散的像素点，计算每个像素点的重要度，本着删除低能量像素，保留高能量像素的原则，根据图像像素的重要度，连续插入或删除连通的水平或垂直穿过整幅图像的裁剪线，进而实现图像缩放。另外，聂等人采用能量均衡原理对图像整行或整列像素进行操作。离散型的方法在图像缩放尺寸不大时效果出色,但是当图像尺寸变化较大时，往往会丢失图像的大量背景信息，也可能会造成图像重要内容扭曲或假象。

多操作方法结合线裁剪、传统插值缩放和裁剪3种操作方法中的前两种或三种来实现内容感知的图像缩放。该类方法的实质是权衡结构信息破坏、主体对象变形、产生人工噪声、图像内容丢失等对图像整体效果的影响程度，然后再折中选择，确定各个操作方法的顺序及数量。但是绝大部分多操作的优化过程都找不到最优结果，只能得到相对较优结果，而且效率较低。

连续的方法主要是基于网格变形的图像缩放方法。该类方法根据原图像构造覆盖图像的平面网格，在重要度及边界条件约束下，以图像高重要度主体区域的网格尽量不变或做长宽等比例缩放为原则，通过优化网格形变量的总和，来对网格进行非均匀形变至目标尺寸，实现图像缩放。该类方法具有插值缩放的连续性，能够很好的保护图像主体对象特征，图像内容丢失较少。其中现有技术采用四边形网格，Wang等人通过使网格变形能量和网格线的弯曲能量最小化实现图像的缩放。现有技术在缩放图像时可通过简单参数调整改变主体对象大小的方法。Chen等人利用全局优化的框架，使用二次规划实现主体区域放大和直线结构保持，在网格变形过程中，网格线始终保持水平或垂直。Zhang等人提出用共性能量来优化网格，允许网格发生一定程度的旋转和扭曲。Wang等人根据图像的显著性加权的能量缩放因子实现图像缩放。Lin等人通过对四边形网格块的缩放来达到图像缩放。在网格变形过程中，与四边形网格相比较，三角形网格更能灵活的适应特征约束。现有技术采用三角形网格，Guo等人利用三角网格参数化，根据主体区域分布划分图像区域，估计不同区域目标网格的边长。Jin等人改进了方法，不再计算目标网格边长，而运用最优化框架实现网格的缩放。Xu等人通过拟共形映射实现缩放。但是以上方法大多采用相似的技术，即在网格上建立一个凸二次能量函数，通过迭代技术求解得到目标图像，效率较低。

发明内容