[发明专利]基于上下文感知的注意力机制的图像美学质量评价方法

说明书

基于上下文感知的注意力机制的图像美学质量评价方法，包括：数据预处理得到初始训练数据；将经过归一化的输入图像和美学分数分布标签进入主干基准网络，得到主干基准网络的输出数据特征；输出数据特征进入层次上下文注意力模块，经过融合后形成图像的层次上下文表示；初始训练数据单独进入空间上下文注意力模块，形成图像的空间上下文表示；将空间上下文表示与层次上下文表示融合，生成最终的注意力图；将最终的注意力图与主干基准网络的输出特征相乘，得到主干基准网络的最终输出特征；最终输出特征经过一层全连接层以及S型激活函数层，输出模型模拟的美学分数分布结果。本方法考虑了人类审美的主观性，有效提升了模型的准确率和效率。

技术领域

本发明涉及图像处理领域，更具体地涉及一种基于上下文感知的注意力机制的图像美学质量评价方法。

背景技术

相似方法：用于图像美学质量评价的基于注意力的多补丁融合(Attention-basedMulti-Patch Aggregation for Image Aesthetic Assessment)方法，请参见参考附录[1]。该方法虽有使用到注意力机制，但是其是基于多补丁方法对图像美学水平进行评价，其中注意力机制用来进行多补丁融合，而不是进行整张图像的上下文感知。

图像美学质量评价方法是利用计算机模拟人类对于图像的美学水平的感受，对图像的美学质量进行打分或者分类。由于审美具有强烈的主观性，计算机在对美学质量进行评价时具有非常大的挑战性。在对图像进行美学质量评价的过程中，融合局部信息(例如，细粒度图像细节)以及全局信息(例如，图像整体布局)是非常重要的。而现有的图像美学质量评价方式大多采用多个子网络来分别学习局部和全局信息，这样的方法假定不同视角的信息之间是彼此分离的，缺少处理全局和局部信息的关联性。而部分其他方法只学习一种信息，例如单独对全局或者局部信息进行处理，缺少关注不同视角信息之间的信息补充。且大部分方法采用二分类准确度进行衡量方法的有效性，对于美学的主观缺少关注。

发明内容

针对现有的质量评价方法对于不同视角关联的关注局限性，且对美学主观性缺少关注的情况下，本发明人提出一种基于上下文感知的注意力机制的图像美学质量评价方法与装置，以克服现有技术存在的上述问题和相关方法的缺陷。

实施本发明的技术方案如下：

基于上下文感知注意力机制的图像美学质量评价方法，方法包括以下步骤：步骤一：数据预处理：将训练数据处理为模型需要的大小和格式，对图像数据进行归一化得到归一化的输入图像以及处理对应的美学分数分布标签来得到初始训练数据；步骤二：将经过归一化的输入图像以及美学分数分布标签进入主干基准网络，得到主干基准网络的输出数据特征；步骤三：经过步骤二得到的输出数据特征进入层次上下文注意力模块，经过融合后形成图像的层次上下文表示；步骤四：步骤一得到的初始训练数据单独进入空间上下文注意力模块，形成图像的空间上下文表示；步骤五：融合多种上下文：将步骤四得到的空间上下文表示与步骤三得到的层次上下文表示融合，生成最终的注意力图；步骤六：将最终的注意力图与步骤二的主干基准网络的输出特征相乘，得到主干基准网络的最终输出特征；步骤七：主干基准网络的最终输出特征经过一层全连接层以及S型(Sigmoid)激活函数层，输出模型模拟的美学分数分布结果。

优选的，在上述基于上下文感知注意力机制的图像美学质量评价方法中，在步骤七后还包括：步骤八：将模型模拟的美学分数分布结果与图像的真实分数分布进行对比，设计针对美学分数分布的基于巴氏距离的损失函数如下：其中y_n代表图像真实分布，x_n代表输入图像，f_θ(·)代表本方法模型；步骤九：按照步骤一至八的顺序训练模型，得到图像美学质量评价模型；步骤十：将待评价的任意图像调整为网络所需的大小，输入模型网络，得到美学打分分数分布。