[发明专利]基于MASK和自动编码器的场景复杂文本图像编辑方法

说明书

本发明公开了基于MASK和自动编码器的场景复杂文本图像编辑方法，包括以下步骤：通过数据获取模块获取mask数据集，基于mask数据集构建训练集；对训练集进行预处理，并将预处理后的训练集中随机选取图像作为网络输入；进行网络特征提取，即对预处理后的训练集图像进行初步特征提取，得到初步特征，将初步特征输入包含若干个残差模块的复合残差网络中进行处理，得到多层次特征；对图像进行重构，即将多层次特征进行拼接，并进行卷积层处理得到三通道图像；通过三通道图像进行残差模块的输出进行监督，进而优化网络参数；本发明在能够实现场景中复杂效果的文本编辑，对增强现实渲染，艺术设计具有十分显著的意义。

技术领域

本发明涉及图像处理和增强现实的研究领域，特别涉及基于MASK和自动编码器的场景复杂文本图像编辑方法。

背景技术

随着技术和媒体的飞速发展，丰富的文本在Internet和我们的生活中无处不在，其中包括各种图像和视频。它们具有不同的角色效果，并且放置在不同的场景中。生成对抗网络(GAN)和像素间样式转移方法极大地加快了对各种文本样式转移的研究，但是与其直接编辑背景无关的文本，不如直接编辑场景中的文本。

图像/视频文本或场景文本包含大量的语义信息，这在许多多媒体应用程序中非常有用。在过去的十年中，场景文本阅读及其应用取得了长足的进步。在本文中，我们将专注于与场景文本相关的新任务，即编辑场景文本。场景文本编辑在学术界和工业界越来越受到关注，并受到诸如文本图像合成，广告照片编辑，文本图像，更正和增强现实翻译等实际应用的推动。现场面临两个主要挑战。文本编辑：传输文本样式并保存背景纹理。特别是，文本样式由多种元素组成，例如语言，字体，颜色，方向，笔画大小，空间角度等，因此源代码可以准确地捕获整个文本样式图像并将其传输到目标文本。那很难。同时，保持一致的编辑背景也很困难，尤其是当文本出现在某些复杂的场景(例如菜单)或街道商店的招牌上时。

生成对抗网络(GAN)和像素间样式转移方法极大地加快了对各种文本样式转移的研究，但与其直接编辑背景无关的文本，不如直接编辑场景中的文本。这是特别针对的。很少而且非常困难。GAN可以用于图像样式转换，结构生成或两者。这些算法中的一些在生成字体结构方面已经取得了令人鼓舞的结果，而其他算法则有可能生成复杂的彩色字体。据我们所知，这些生成算法可以用在使用设计软件生成的文本图像中，并且未知它们是否适合编辑真实场景图像。另外，大多数算法都需要显式识别源字符，以便生成隐藏的字符集。场景图像本身的文本识别是一个困难的问题，这会引起问题，因为识别步骤中的错误会破坏整个生成过程。对于场景图像，从多个观察结果生成字符也很困难。这是因为观察字体可能不同，并且缩放比例和透视失真也可能不同。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于MASK和自动编码器的场景复杂文本图像编辑方法，在场景中复杂文本编辑的实现自动化方法功能，从而能够协助艺术家进行文本工作创作，或者增强现实中的渲染功能；

首先对输入图片进行放射变换，随机切片，归一化处理，预处理完成后输入到网络中。该网络的每个module单元是U型残差网络架构的自动编码器，并且对其中的每个卷积网络层之后加上Batch Normalization，其中作用一个是可以使网络避免梯度消失的问题，另一个是对于图像处理问题来说，可以更好地保证原图的细节信息的保留。经过多个残差模块的处理之后，每个残差模块都输出对于的特征图，这些特征图来自网络不同深层处，提取到的信息不一样，最后，该网络的训练不仅仅对最后的输出图像进行监督，而是将每个残差模块的输出特征输入到不同的卷积层中得到多张三通道的输出图，显然，越浅层的输出图像带有更多的雨线，然后对所有这些图像进行监督来达到对网络进行深层监督的目的。

本发明的目的通过以下的技术方案实现：

基于MASK和自动编码器的场景复杂文本图像编辑方法，包括以下步骤，通过数据获取模块获取mask数据集，基于mask数据集构建训练集；

对训练集进行预处理，并将预处理后的训练集中随机选取图像作为网络输入；