[发明专利]一种基于潜在区域对的显著性感知图像裁剪方法

说明书

本发明公开了一种基于潜在区域对的显著性感知图像裁剪方法，通过构建了一个基于深度学习的裁剪图像框架，以生成美观的裁剪图像。该框架包括多尺度CNN特征提取器，可变形的显著性位置敏感ROI(ROD)对准算子，孪生的全连接网络以及混合损失函数。本发明充分利用了显著图，考虑了显著性信息以消除不良的候选裁剪图，防止了模型发生过度拟合问题，并且将其集成到池化算子中，以帮助构建能够编码内容偏好的显著性感知的感受野。本发明揭示了裁剪过程的内在机理，也揭示了潜在区域对的内部联系。不仅能达到更好的图像裁剪的美学效果，所需要的计算负担更是可以忽略不计。

技术领域

本发明属于人工智能技术领域，涉及一种基于潜在区域对的显著性感知 图像裁剪方法。

背景技术

图像裁剪是旨在找到具有最佳美学质量的图像裁剪物，作为一项重要技 术,被广泛使用于图像后期处理,视觉推荐和图像选择中。尤其在需要裁剪大量 图像时,图像裁剪变为了一项费力的工作。因此，近年来自动图像裁剪已经引 起了研究界和行业内越来越多的关注。

早期的裁剪方法基于摄影知识(例如三分法和中心法等)明确设计了各 种手工操作的特征。随着深度学习的发展，大量研究人员致力于以数据驱动 的方式来开发裁剪方法，以及一些用于比较的基准数据集的发布,极大地促进 了相关研究进展。

然而，获得最佳候选裁剪图依然是极其困难的，主要是受以下三个方面 的影响：1)图像显著性信息的潜力无法得到完全释放。以前基于显著性的裁 剪方法重点是保留最佳裁剪图中最重要的内容，但却忽略了这样的情况：如 果显著性区域的矩形位于源图像的边界附近，则显著性区域和最佳裁剪图会 重叠。而且，显著性信息仅用于候选裁剪图的产生，并没有继续用于后续的 裁剪模块中。2)潜在区域对(感兴趣区域(ROI)和丢弃区域(ROD))及 其内部规律没有得到很好地表示。通常，成对的裁剪方法明确地形成一对源 图像并将其馈入自动裁剪模型中，但由于过于依赖详细而不确定的源图像对 的选择，导致这种方法的性能通常很差。3)用于评估裁剪方法的传统指标不 可靠且不准确。在某些情况下，交并比(IoU)和边界位移误差(BDE)不 足以主观地评估其裁剪方法的性能。

发明内容

本发明的目的在于提供一种基于潜在区域对的显著性感知图像裁剪方法， 以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种基于潜在区域对的显著性图像裁剪方法，包括以下步骤：

步骤1)、通过研究专业摄影的准则和程序，产生基于网格锚的候选裁剪 图。

步骤2)、采用一个多尺度、轻量级的特征提取网络来描述源图像的特征， 然后利用可变形感兴趣池化和可变形不感兴趣池化来对提取特征进去裁剪。

步骤3)、训练孪生美学评价网络，通过最小化混合损失函数来预测候选 裁剪图的美学得分。

进一步的，产生基于显著性的候选裁剪物，首先基于显著性区域创建初 始裁剪图，之后以网格锚框的方式产生候选裁剪图。

进一步的，创建初始裁剪图的算法如下：

输入：图像(I)的大小宽(W)×高(H)，放大率λ_large，缩小率λ_small， 面积函数area(·),两个矩形Re₁和Re₂的轮廓之间的最近距离Clo_Dis(Re₁， Re₂)。

输出：初始裁剪物S_{init_crop}。

其中s₁∈(0,1]和d₁∈[0,1]分别为situation(b)和situation(a)的阈值