[发明专利]一种自然场景文本检测方法及系统

说明书

本发明提出一种自然场景文本检测方法及系统，包含两个神经网络模型：基于多层次语义特征融合的文本检测网络和基于注意力机制的检测筛选网络。文本检测网络是一个基于FCN的图像特征提取融合网络，该网络用于提取输入数据的多语义层次信息，并进行多尺度特征的充分融合，最后通过对融合的多尺度信息进行卷积操作，预测自然场景中的文本信息的位置和置信度。检测筛选网络是利用训练好的卷积循环神经网络对第一部分的卷积神经网络输出的初始检测结果进行判别评分从而过滤掉易与前景文字混淆的背景，从而进一步提升自然场景文本识别的准确率。

技术领域

本发明涉及计算机视觉、文档分析与识别和自然场景文本检测领域，并特别涉及一种自然场景文本检测方法及系统。

背景技术

自然场景文本检测是一项既重要又极其富有挑战的任务。由于自然场景文本检测通常是在开放场景下对场景中的文本进行识别，因此光照、角度和畸变等因素对文本检测造成很大的干扰，严重影响文本检测的准确性。传统的文本检测普遍使用基于ConnectedComponents(连通部件)的技术，但是该技术只能提取较为明显的文本区域，难以将图像中全局信息考虑在内，因此该技术性能较为有限。目前基于深度学习的自然场景文本检测由于大多采用了基于Proposal(候选框)的技术，其性能相比传统方法有较大提升，但目前也遇到瓶颈，即难以应对复杂自然场景中光照、背景、角度以及文本表观和角度的多样性，特别是复杂背景易与文本前景混淆。究其原因是现有的特征表示方法在上述条件下缺乏对复杂背景和前景文字的判别力。如果能够在考虑全局特征的情况下，使用文本识别技术加以矫正和精调，自然场景文本检测的精确度和鲁棒性可以获得有效提升。因此，为提升自然场景下文本检测的准确性和鲁棒性，我们提出了一种将基于多层次语义特征的文本检测网络和基于注意力机制的识别后处理网络相结合的自然场景文本检测技术。

发明内容

本发明的目的是解决基于深度卷积神经网络的自然场景文本检测方法中，复杂背景易与前景文本混淆的问题。所提出的方法在保证文本检测召回率的前提下，有效提升了检测准确率。

针对现有技术的不足，本发明提出一种自然场景文本检测方法，其中包括：

步骤1、获取包括多张训练图片的训练集，该训练图片均为自然场景且已被标记文字位置，构建包括特征提取网络和特征融合网络的深度特征融合网络；

步骤2、通过该特征提取网络提取该训练图片的多尺度图像特征，将该多尺度图像特征输入该特征融合网络得到融合特征，并由该特征融合网络中最后一个卷积层确定该训练图像的文本区域，根据该文字位置、该文本区域和该文本区域内包括文本的置信度构建损失函数；

步骤3、重新选取该训练图片，多次执行该步骤2以训练该深度特征融合网络，直到该损失函数收敛，保存该深度特征融合网络作为文本检测模型；

步骤4、以该训练集训练卷积循环神经网络，训练完成后，通过修改该卷积循环神经网络的翻译层为二分类层，并将修改后的该卷积循环神经网络作为文本识别网络；

步骤5、将待文字检测的自然场景图像送入该文本检测模型，得到初步文本区域，并通过该文本识别网络筛选该初步文本区域，将筛选结果作为文本检测结果。

所述的自然场景文本检测方法，其中该卷积循环神经网络包括：卷积层、编码层、注意力层、解码层和翻译层；

通过该卷积层提取该训练图片的卷积特征图；

通过该编码层将该卷积特征图整合为序列特征并进行编码；

该注意力层根据序列信息和编码结果重新加权整合送入该解码层进行解码，将解码后的信息送入该翻译层翻译为目标文本。

所述的自然场景文本检测方法，其中使用联结时间的分类损失函数训练该卷积循环神经网络，直到该联结时间的分类损失函数收敛，训练完成；