[发明专利]一种基于宽度注意力和图卷积优化的卡通线稿上色方法

说明书

本发明涉及一种基于宽度注意力和图卷积优化的卡通线稿上色方法。(1)使用预训练的VGG16模型提取卡通图像的特征并进行余弦相似度比对，选取相似度前三的图像组成一一匹配的原图‑参考图像对；(2)构建卡通线稿‑上色图特征匹配模型：首先，U‑Net网络分别提取卡通线稿和上色图的多尺度深度特征；其次，上采样阶段各个尺度的线稿和上色图特征输入宽度注意力特征匹配网络进行特征匹配，再使用图卷积模块进行整体优化。(3)将匹配后的特征和线稿图像输入到生成模型，得到最终的上色结果。本方法使用端到端的网络模型，不仅减少了工程的复杂度，且有效地解决了原图和参考图之间色彩特征和语义特征的匹配问题，生成精美高分辨率的上色卡通图像。

技术领域

本发明涉及一种基于宽度注意力和图卷积优化的卡通线稿上色方法，属于计算机视觉和图像翻译领域。

背景技术

随着数字绘画风潮的兴起，越来越多的艺术家偏向使用数字设备进行卡通插画创作。上色在卡通插画绘制流程中十分重要，但是通常需要耗费较高的劳力与时间。因此，如何运用机器学习或深度学习的方法辅助上色成为近年来一大研究热点。运用智能算法进行卡通插画上色，无论对于提高生产效率或者是为艺术家提供上色参考而言，都是一项十分具有研究意义和应用价值的研究。

目前，传统的卡通线稿上色技术主要依靠简单的洪水填充(floodfill)算法或能量函数等数学算法进行上色。但这类方法无法对非封闭区域进行准确的上色，而艺术家手绘线稿往往不构成封闭区域，因此传统方法上色经常出现大面积的溢色或缺色情况；且传统上色方法只能提供某种色度的简单填充，无法根据画面添加适当的阴影和高光渐变，难以满足艺术家的绘画需求。

近年来，随着人工智能以及深度学习算法的发展，线稿上色领域也出现了一系列基于深度学习进行卡通线稿上色的研究成果。主要分为自动上色算法和基于用户指引的半自动上色算法两类。前者通过学习灰度图的纹理渐变信息上色，但由于卡通插画区域密集难以标注语义信息，通过无监督的自动上色算法得到的结果往往存在严重的色彩弥散或填色空缺问题。后者可以借助用户提供的稀疏颜色提示点或提示线条来上色，也能通过学习参考图像的色彩语义信息上色。相较自动上色算法，后者上色效果更为灵活，也更符合艺术家绘画的需求。

PanZhang等提出一种基于参考图像的图像翻译通用框架。该方法并不是将风格编码为一个整体的潜在样式向量，而是通过将不同域图像在一个共同的中间域进行密集特征对齐，再根据语义对应进行跨域图像的生成。避免了图像转换的风格趋同问题，且能根据参考图像灵活地生成具有对应关系的图像。

Junsoo Lee等提出一种自然图像和卡通图像通用的线稿上色方法。该方法通过裁剪扭曲等图像处理方法获得原图的自参考图像，通过计算自参考图与原图的像素密集对应关系，融合两者特征获得最终的上色结果。

CLPChen等提出宽度学习系统的概念，旨在解决深度学习计算成本太高，计算量较大的问题。宽度网络的实质是随机向量函数链接神经网络(random vector functionallink neural network，RVFLNN)。与卷积神经网络不同的是，该网络没有通过反向传递改变特征提取器的核，而是利用求伪逆计算每个特征节点和增强节点的权重，因此训练快速且计算复杂性低。

Thomas Kipf等提出的图卷积网络将邻居节点的信息作为当前节点的信息补充，解决了传统卷积神经网络处理非矩阵结构数据时平移可变性不适用的问题。图卷积的本质是用于提取拓扑图的空间特征，将特征节点矩阵进行标准化和增广，并将特征节点通过非线性映射到一个高维的子空间，使网络表达能力增强，减少了特征的位置空间损失。

Yuxi Jin等提出一种基于宽度学习的灰度图像上色方法。该方法通过局部宽度学习系统训练得到每个像素的色度值，再通过全局宽度学习系统细化色度图取得着色结果。该方法训练效率较高，且可以在没有重新训练的情况下计算新的权重，生成用户期望的上色结果。

发明内容