[发明专利]基于生成网络的自然场景扭曲文本图像矫正方法及系统

说明书

本发明公开了一种基于生成网络的自然场景扭曲文本图像矫正方法及系统，方法包括：1)扭曲数据增广。在平展文本图像上设置基准点，增广模块通过基准点的运动变换扭曲图像，代理网络与识别网络共同优化使扭曲文本识别难度较大，数据增广以后可获得成对的“平展‑扭曲”文本图像。2)搭建矫正网络。包括平展生成器、判别器，扭曲生成器、判别器，同时在损失函数中引入梯度先验损失，生成清晰度更高的矫正后图像。3)训练矫正网络。使用双向循环方式训练矫正网络。4)应用推理。利用训练后的矫正网络将待处理的自然场景扭曲文本矫正为平展文本。本发明能够有效消除自然场景文本的空间扭曲变形，得到的平展文本清晰度较高，提升了后续识别的精度。

技术领域

本发明属于机器学习及图像处理技术领域，特别是一种基于生成网络的自然场景扭曲文本图像矫正方法及系统。

背景技术

自然场景中的文本形状丰富、方向多变，常见水平文本、多方向文本、平面弯曲文本和空间扭曲文本，检测与识别的难度依次递增。空间上存在扭曲的文本与其他文本在检测与识别阶段有很大不同：检测阶段，扭曲文本需要更多的标签信息帮助模型准确定位，其中坐标信息理想情况下需要达到三维；识别阶段，因为扭曲会使文本变形，给识别带来很大挑战。正常文本通常采用先检测后识别或端到端检测识别的流程，扭曲文本为了保证识别的准确率，往往需要在检测与识别之间加入矫正机制。本发明针对自然场景扭曲文本，旨在提供一种稳健性强、所需标签信息少的矫正方法。

扭曲文本矫正问题主要有以下几类常见的解决方案：

基于文本局部信息。利用文本行(如文献“Robust Document Image DewarpingMethod Using Text-Lines and Line Segments”、“基于局部信息的文档图像校正方法”)、文本图像的角点(如文献“扭曲文档图像的校正方法”)等局部信息获得处理单元，再针对每个单元进行倾斜矫正，这种方法不适用于背景复杂或扭曲程度复杂的文本。

基于多视角图像。多角度拍摄得到扭曲文本图像(如文献“Camera-baseddocument digitization using multiple images”、“基于移动终端的多视角扭曲文档图像几何校正方法”)，将多视角文本图像进行特征点匹配，根据相机标定参数计算各角度下相机的旋转矩阵、平移向量等，计算扭曲三维坐标点构建曲面模型，最终向二维平面投射。但现实场景中获取多视角图像比较麻烦，并且每次矫正都需要进行特征点匹配、三维信息计算、曲面建模等步骤，计算资源消耗大且用时久。

基于其他设备获得点云数据进行三维建模。利用3D扫描仪获取点云数据(如文献“Document restoration using 3D shape:a general deskewing algorithm forarbitrarily warped documents”)，利用结构光获取点云数据(如文献“ImageRestoration of Arbitrarily Warped Documents.”IEEE Transactions on PatternAnalysis and Machine Intelligence”)，以点云为基本单位构建3D模型并进行矫正。这种方法的推广存在一定瓶颈，一方面3D信息获取设备难以携带，不适用于移动场景，另一方面矫正时需要的数据量巨大。