[发明专利]基于深度神经网络与级联回归的图像美感增强方法

说明书

本发明实施例提供一种基于深度神经网络与级联回归的图像美感增强方法，包括以下步骤:S1，提供尺寸为C₀的原始图像，通过级联回归算法进行求解获得最小化目标；S2，通过AVA数据集与CHUKPQ数据集训练深度卷积神经网络的提取图像特征功能；S3，通过深度卷积神经网络提取深度特征x^t，并通过深度卷积神经网络的空间金字塔池化层将尺寸为C₀原始图像变转化为(2*2+3*3+4*4)*32的特征向量；S4，将提取的深度特征x^t应用于随机蕨回归器中，并采用梯度下降方法学习获得基元回归器，通过级联回归器来输出候选结果C_j(1≤j≤4)；不断迭代直到误差不再减小，获得基元回归器的最小化目标函数；S5，将步骤S4中获得的基元回归器与深度特征x^t按照迭代的方式进行T次循环，通过多级循环剪切获得最终裁剪图像。

技术领域

本发明涉及计算机视觉的技术领域，具体而言，涉及一种基于深度神经网络与级联回归的图像美感增强方法。

背景技术

人类感知世界一个重要来源就通过图像信息，研究表明人类获取外界信息中大约有80％～90％的信息来自于人类眼睛获取的图像信息。而图像信息的理解不仅包括图像分类，物体检测，物体追踪等常见的计算机视觉任务，也包含图像的语义美感信息理解。图像的美感信息的理解有着丰富的应用，比如可以在图像存储库中向用户提供令人产生愉快的美感图像。一般消费者或者设计师可以利用来自动化的图像美感增强系统做出更好的决策。因此，运用计算机视觉实现自动图像美感增强具有重要的现实意义。

目前在学术界，图像美感增强是一个具有挑战性的问题。因为图像美感评价是一种高度主观的评价，难以使用详细的数学方法进行解释。尽管图像美感评价是主观的，人们仍然尝试使用图像中的美学特性来进行美感评价。例如，在2006年，Datta等人提出采用颜色，纹理以及其他低级视觉特征进行训练的分类树模型来进行图像美感评价，从而实现图像美感增强。具体来说，首先对美感图像提取手工设计的特征，然后训练机器学习模型，找出哪些视觉属性在美感评价中具有关键的作用，同时对这些部分进行增强。

原始图像的裁剪是图像美感增强中的重要的一步，目前学术界主流的图像裁剪方法可以分为三类。三大类第一类的方法是基于注意力的，这种裁剪方法围绕着原始图像中的信息对象，信息对象可以是原始图像中较为凸显的部分。例如，Marchesotti等人提出的视觉显著性框架，该框架对原始图像进行检测并从中获取一个或多个显著图。显著图通常是显著的前景区域而非信息对象则成为背景的一部分。Fang等还通过使用空间金字塔显著图方式对原始图像进行裁剪。第二类的方法则是基于裁剪结果的美学评价。采用机器学习的方式来定义裁剪区域同时也考虑了美学元素的空间分布，但是这种方法对如何保留原始图片过于关注。为克服上述问题，Yan等人提出了属于第三种的图像裁剪方法，这种方法称之为基于经验的图像裁剪方法。在该方法中，他们构建了多个裁剪数据集并由三名专业摄影人员对图像裁剪结果进行了注释。然后，提取各种手工特征训练了分类器对专业摄影人员的注释进行了回归。这种方法强调专业人士的经验以及由图像裁剪的操纵引起的变化。尽管这种方法取得了较好的结果，但仍然存在一些缺点。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于深度神经网络与级联回归的图像美感增强方法，以改善现有技术中数据缺乏标记、图像过于关注原图导致美感增强效果较差的问题。

本发明较佳实施例提供了基于深度神经网络与级联回归的图像美感增强方法，所述图像美感增强方法包括以下步骤:

S1，提供尺寸为C₀的原始图像，通过级联回归算法进行求解获得最小化目标为：

其中，代表一个矩形区域，C为裁剪后图像的尺寸，为数据集提供的图像裁剪尺寸；

S2，通过AVA数据集与CHUKPQ数据集提供的预训练图像数据，训练深度卷积神经网络的提取图像特征功能；