[发明专利]一种基于结构约束的多风格图像美学质量增强的方法

权利要求书

1.一种结构约束的多风格图像美学质量增强方法，其特征在于具体包括如下步骤：

步骤(1)特征空间转换；将输入图像数据转换为LAB空间的向量；

步骤(2)特征提取；将转化为LAB空间的向量输入增强网络中，增强网络包含两个结构调整网络和像素调整网络；其中结构调整网络用于提升构图美观性；像素调整网络通过调整每个像素的数值，进一步调整图像的色彩和光影效果；

步骤(3)对提取的特征进行精进处理；将增强网络输出的特征输入精进网络中，得到最终输出的美学质量增强图像；

步骤(4)多尺度的多分布约束判别网络；采用多尺度的多分布约束判别网络来优化增强网络和精进网络，从而提高最终输出的美学质量增强图像的质量。

2.根据权利要求1所述的一种结构约束的多风格图像美学质量增强方法，其特征在于步骤(1)所述的特征空间转换：

1-1将输入图像经过裁剪、翻转的预处理；

1-2将预处理理后的图像作为输入转换为LAB空间的向量。

3.根据权利要求1或2所述的一种结构约束的多风格图像美学质量增强方法，其特征在于步骤(2)所述的特征提取实现如下：

2-1结构调整网络：

采用一个预训练好的目标检测基准网络，结合构图标记数据集和美学质量评价数据集对预训练目标检测基准网络进行训练，在训练过程中对该网络进行图像美学任务微调，微调策略拟采用图评价模型对候选区域进行评分，然后基于排序结果，选择最优的前n个候选区域；使得预训练好的目标检测基准网络具备较好的构图评价和美学质量预测能力，从而为候选区域的生成提供可靠的反馈；

将训练好的目标检测基准网络的输出作为图注意力网络的输入；目标检测基准网络从输入图像中提取目标特征、关联特征和区域特征，并构成图；然后将构成的图输入到多层图注意力网络中，输出美化后输入图像对应的美化图、特征矩阵；在GAT的迭代过程中，每一层图注意力网络的特征表述了图像结构的递进式变换以及对应内容的语义表达，因此拟将预测的美化图和GAT中所有层的特征矩阵{X⁽¹⁾,X⁽²⁾,...,X^(L)}输入到精进网络中，用于增强后图像的合成；

2-2像素调整网络：旨在针对不同风格自适应地调整图像的光影和色彩；将输入图像的Lab三通道数据输入到内容编码器中，提取高层语义特征；同时将风格标记One-Hot矢量输入到风格编码器中，提取风格高层语义特征；然后将高层语义特征与风格高层语义特征串接后输入到解码器中，利用可调的Sigmoid激活函数kσ(·)，预测Lab三通道各个位置对应的像素调整因子矩阵T；其中，k为调节因子，σ(·)表示Sigmoid函数；最后将像素调整因子矩阵T与原输入图像的Lab矩阵X进行点乘，即可得到亮度及颜色调整后的图像T⊙X；

所述的内容编码器、风格编码器和解码器之间整体采用U-Net连接形式；考虑到输入图像中的相似区域，其调节因子k也需要相近，因此采用引导注意力机制，对解码器输出特征进行重构；内容编码器的特征图y和其对应的解码层特征图x的引导注意力计算流程为：

α(·)表示注意力计算函数；f(·),g(·),h(·)为特征图x的映射；α(·)描述了输入图像中所有位置之间的相关性；因此将α(·)作为输入图像的结构描述，并利用α(·)对解码器输出特征进行重构；将重构得到的特征图z与内容编码器特征图y及风格编码器特征图s串接后，输入到后续解码层中得到输出；从而保证了输入图像中相似的位置，在输出的像素调整因子矩阵T中也具有相近的表达，促使输出图像与输入图像保留了相近的结构。