[发明专利]一种基于Transformer的图像颜色增强方法

说明书

本发明公开了一种基于Transformer的图像颜色增强方法。首先，使用相机拍摄自然场景的图像，并邀请专业的修图人员对图像的颜色进行修饰，构建带标注的图像数据集；然后，使用数据集内的图像训练一个基于Transformer的图像颜色增强深度模型，估计出图像颜色的转换矩阵；最后，将图像输入颜色增强模型内，得到图像的颜色转换矩阵，并以该矩阵与图像的多项式拓展结果间的乘积作为图像的颜色增强结果。本发明可利用Transformer的全局注意力机制来避免卷积模型的局部推断偏置所带来的约束，提升模型的表达力，进而训练出泛化能力更强的颜色增强模型。本发明在国际通用的数据集上，与其它方法进行了客观和主观比较，结果表明本方法可得到更为优越的颜色增强效果。

技术领域

本发明属于数字图像处理技术、计算机视觉和图像增强等领域，具体涉及一种基于Transformer的图像颜色增强方法。

背景技术

数码相机、智能手机等设备的普及为人们拍摄照片提供了极大的便利。然而，由于缺乏高端的摄影设备及专业的拍摄技巧，普通消费者难以消除拍照时由环境所带来的负面影响，导致图像的颜色无法呈现出所期望的效果。尽管如Photoshop、Lightroom等修图软件提供了丰富的图像颜色修饰工具，但是人工修图要求用户掌握一定的修图技巧，难以推广应用。针对上述问题，图像颜色增强技术旨在实现图像颜色的自动润饰，提升图像的美学质量。

鉴于颜色增强这一问题的高度复杂性和主观性，现有技术主要采用数据驱动的方式来构建颜色增强模型，而当前主流的方法是基于卷积神经网络的颜色增强方法。具体而言，现有方法主要利用卷积神经网络，通过局部式的滑窗逐层抽取出图像的潜在特征表示，然后使用一个解码器从该特征中重建出颜色得到增强的图像，或者从这一特征表示上回归得到图像特有的转换函数来增强图像的颜色。

卷积神经网络天然具备局部性的归纳偏好，即认为局部区域内的数据是相关的，仅通过对局部内容的聚合来构建图像的特征表示。然而，这一强约束一方面使得模型无法关注到图像的全局信息，另一方面也降低了模型拟合大规模数据的自由度，限制了模型的泛化能力。对于上述现有颜色增强方法的内在固有缺陷，目前国内外的学术界和工业界均未提出很好的应对方法。

发明内容

为克服上述现有技术的不足，本发明提出了一种基于Transformer的图像颜色增强方法。Transformer是一种具备全局感受野的深度架构，能依据图像全局内容间的依赖关系来构建图像特征表示，因此有利于解决现有颜色增强方法的不足。具体而言，本方法使用一组Transformer编码器将从图像上解构得到的局部图像块序列嵌入到特征空间中，然后利用一个神经网络将特征序列映射为一组转换参数，并将这些参数加权融合为一个全局转换矩阵，最后以该矩阵与输入图像多项式拓展结果的乘积作为颜色增强的结果。

本发明的技术方案为一种基于Transformer的图像颜色增强方法，具体包括以下步骤：

步骤1，采集图像，并进行人工标注以及预处理，制作颜色增强数据集，并进一步划分为训练集和测试集；

步骤2，使用训练集中的图像对基于Transformer的颜色增强模型进行训练，具体包括如下子步骤：

步骤2.1，对图像进行均匀分割，得到图元；

步骤2.2，对图元进行块嵌入及位置嵌入；

步骤2.3，构建Transformer编码器，所述Transformer编码器内均包括层标准化、多头注意力模块、多层感知机及残差连接这四个组件，输入为步骤2.2中件块嵌入及位置嵌入后的图元；

步骤2.4，Transformer编码器对各图元计算所得到的特征，将被输入到一个浅层神经网络内，以估计出各图元的颜色转换矩阵，并以各图元转换矩阵的线性组合来构建全局颜色转换矩阵；