[发明专利]一种文本图像超分辨率方法

说明书

一种文本图像超分辨率方法，包括以下步骤：1)图像预处理：由灰度图像均值将灰度图像二值化得到文字蒙版，将文字蒙版(M)叠加到图像上，得到RGBM的四通道低分辨率‑高分辨率图像对；2)模型训练：低分辨率RGBM被送入网络，首先经过文本矫正模块的处理；紧接着，利用矫正后的特征统一构建视觉上下文，这个部分由稠密连接的五个并行正交上下文注意力模块(PCAB)组成；然后，每个PCAB模块的输出被统一合并到一起，进一步在这些特征上构建正交纹理感知注意力，自适应加权那些对重建高频信息有较大影响的特征；最后，经过两倍上采样和一次卷积，得到最终尺寸为4*(2H)*(2W)的输出超分辨率RGBM图像。

技术领域

本发明涉及计算机视觉领域。

背景技术

近年来，场景文本理解在计算机视觉任务中扮演着十分重要的角色。然而，自然环境下苛刻的成像条件(低分辨率、抖动等)往往阻碍了这些领域的进展。由于成像过程中景深变化较大，低分辨率文本图像比比皆是，同时低分辨率图像中文本的形状和轮廓经常是模糊的，这对场景文本理解无疑是巨大的挑战。

场景文本超分辨率可以有效地缓解上述问题，超分出来的图像可以显著的提升文字识别算法的准确率。现有的工作大多只是将通用超分辨率算法应用于文本超分任务，较少的针对文本图像的上下文特性提出新的解决方案。同一张图像中，前景文本字符之间通常具有相似的纹理、颜色以及笔画特性。文字的边缘轮廓信息是比较具有辨识力的高频信息。因此，有必要针对上述特点提出新的文本超分辨率算法。

如何找出一种方法高效的提取视觉特征的上下文信息，同时能够自适应的重建高频信息是一项较为值得研究的问题。而深度学习的动机恰恰在于编码特征空间，让网络自适应的寻找上述信息的最优解，用这样的机制来解释数据。因此使用深度学习的方法来进行文本图像超分辨率成为可能。

专利CN 110415176 A提出了一种基于深度学习的文本图像超分辨率方法。此方法的目标是针对文档图像进行超分辨率，使用深度空域特征转换生成对抗网络(SFTGAN)对文本前景进行超分辨率，使用增强超分生成对抗网络(ESRGAN)对文档背景进行超分辨率操作，最后再将二者进行融合得到文档图像的超分辨率结果。这种方法在场景图像上不具备通用性，并且没有针对文本的特点建模上下文关系，仅使用了现有的通用超分辨率模型，因此难以在真实场景上取得较好的效果。

发明内容

本发明目的在于克服上述现有技术存在的缺陷，提供了一种文本图像超分辨率方法。

技术方案

一种文本图像超分辨率方法，其特征在于，采用平行双分支结构捕捉视觉上下文信息，并且自适应加权特征重建文本高频信息；

包括以下步骤：

1)图像预处理：由灰度图像均值将灰度图像二值化得到文字蒙版，将文字蒙版(M)叠加到图像上，得到RGBM的四通道低分辨率-高分辨率图像对；

2)模型训练：低分辨率RGBM被送入网络，首先经过文本矫正模块的处理，这个模块为文字识别的通用模块，用在文本超分辨率上主要是为了调整像素之间的偏移，使得网络优化的时候能够自适应对齐；紧接着，矫正后的特征将统一构建视觉上下文，这个部分由稠密连接的五个并行正交上下文注意力模块(PCAB)组成，并行正交上下文注意力模块旨在捕获视觉特征之间垂直和水平两组正交方向上的特征依赖关系，从而促进模型生成具有辨识力的超清图像；构建完视觉上下文以后的特征，即每个PCAB模块的输出被统一合并到一起，进一步在这些特征上构建正交纹理感知注意力，旨在提升网络编码高频信息的能力，自适应加权那些对重建高频信息有较大影响的特征；最后，经过两倍上采样和一次卷积，得到最终尺寸为4*(2H)*(2W)的输出超分辨率RGBM图像；针对网络的训练，本方法提出了用边缘引导损失函数(自研)辅助L₂损失函数，以起到更好的图像超分辨率效果。

与现有技术相比，本发明具有以下优点：