[发明专利]一种基于结构约束的多风格图像美学质量增强的方法

说明书

本发明公开了一种结构约束的多风格图像美学质量增强方法。本发明步骤如下：(1)将输入图像数据转换为LAB空间的向量；(2)将转化为LAB空间的向量输入增强网络中，增强网络包含两个结构调整网络和像素调整网络；其中结构调整网络用于提升构图美观性；像素调整网络通过调整每个像素的数值，进一步调整图像的色彩和光影效果；(3)对提取的特征进行精进处理；将增强网络输出的特征输入精进网络中，得到最终输出的美学质量增强图像；(4)多尺度的多分布约束判别网络；采用多尺度的多分布约束判别网络来优化增强网络和精进网络，提高最终输出的美学质量增强图像的质量。本发明的结构调整网络可以自动提取最优的n个美化区域，而无需人为干预。

技术领域

本发明提到了一种基于结构约束的多风格图像美学质量增强(Multi-styleimage aesthetic quality enhancement based on structural constraints)的新方法，主要涉及一种利用卷积神经网络进行训练，对图像部分区域进行重建与捕捉深层特征信息并混入特定风格，得到一个可以对图像进行多风格美学质量优化的模型。

背景技术

图像美学质量增强(Image aesthetic quality enhancement)过程通常涉及色调、饱和度以及构图等因素的调整。现有方法普遍采用裁剪和像素调整两种模式，且通常基于专家知识对调整过程增加了多种规则约束，限定了增强效果的多样性。此外，现有方法在图像像素的调整过程中，并未考虑图像内部的相关性，无法确保增强后图像在光影、色彩方面的合理性。最后，图像美学具有各种各样的风格，不同风格之间在构图、色彩、光影等方面具有很大的差异。然而，现有方法并未把风格因素考虑在内，通常只能得到单一风格的增强效果，难以满足用户的不同需求。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于结构约束的多风格图像美学质量增强的方法。为突破基于剪裁的图像结构调整框架，并引入图像内容的结构性约束，实现多风格的图像美学质量增强框架。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)特征空间转换

将输入图像数据转换为LAB空间的向量，使图像在色彩等光影因素的表达与人眼主观感知相一致。

步骤(2)特征提取

将转化为LAB空间的向量输入增强网络中，增强网络包含两个结构调整网络和像素调整网络；其中结构调整网络用于提升构图美观性；像素调整网络通过调整每个像素的数值，进一步调整图像的色彩和光影效果。

步骤(3)对提取的特征进行精进处理

将增强网络输出的特征输入精进网络中，得到最终输出的美学质量增强图像。

步骤(4)多尺度的多分布约束判别网络

采用多尺度的多分布约束判别网络来优化增强网络和精进网络，从而提高最终输出的美学质量增强图像的质量。

进一步的，所述的步骤(1)所述的特征空间转换：

1-1将输入图像经过裁剪，翻转等预处理；

1-2将预处理理后的图像作为输入转换为LAB空间的向量。

进一步的，步骤(2)所述的特征提取实现如下：

2-1结构调整网络：

采用一个预训练好的目标检测基准网络，结合构图标记数据集和美学质量评价数据集对预训练目标检测基准网络进行训练，在训练过程中对该网络进行图像美学任务微调，微调策略拟采用图评价模型对候选区域进行评分，然后基于排序结果，选择最优的前n个候选区域。使得预训练好的目标检测基准网络具备较好的构图评价和美学质量预测能力，从而为候选区域的生成提供可靠的反馈。