[发明专利]一种文字识别方法及系统

说明书

本发明提供一种文字识别方法及系统，该方法包括：获取待识别的自然场景文字图像；将自然场景文字图像输入到文字识别模型中，得到文字内容；其中，文字识别模型是由视觉识别网络、视觉信息优化网络和语义信息优化网络构成的；视觉信息优化网络和语义信息优化网络，用于根据文字识别网络输出的字符特征，分别生成对应的文字识别补充信息，以供文字识别网络基于文字识别补充信息，对文字识别结果进行优化。本发明通过使用视觉信息优化网络和语义信息优化网络，在视觉特征和语言结果两个层面，获取全局信息，并将得到视觉和语义的线索，作为视觉识别网络迭代执行识别过程的补充信息，从而逐步获取更为鲁棒的识别结果，提高文字识别精度。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种文字识别方法及系统。

背景技术

文字识别是计算机视觉中的热门研究课题之一，也是基于视觉的模式识别应用的一个重要研究方向。文字识别技术需要将定位到的文字区域转化为计算机可辨识和操作的符号，由于自然场景中的文字往往呈现多种不同的形态，因此识别得到的文字特征表示需要有极强的表达能力和判别力。

深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉和自然语言处理等领域获得了巨大的成功，尤其是深度卷积神经网络，凭借局部感受野、共享权值以及空间或时序的下采样这三大结构特点，能够从二维图像中提取出语义信息丰富和判别力强的特征，在大规模图像分类和物体检测任务中均表现出优越的性能。

然而，现有基于深度学习的文字识别技术，主要是利用递归神经网络进行文字的解码，在识别字符时，只能利用已经被识别出的文字信息，无法获取全局感知，导致文字识别的准确率较低。

发明内容

针对现有技术存在的问题，本发明提供一种文字识别方法及系统。

本发明提供一种文字识别方法，包括：

获取待识别的自然场景文字图像；

将所述自然场景文字图像输入到文字识别模型中，得到所述自然场景文字图像中的文字内容；

其中，所述文字识别模型是由视觉识别网络、视觉信息优化网络和语义信息优化网络构成的；所述视觉信息优化网络和所述语义信息优化网络，用于根据所述文字识别网络输出的字符特征，分别生成对应的文字识别补充信息，以供所述文字识别网络基于所述文字识别补充信息，对文字识别结果进行优化。

根据本发明提供的一种文字识别方法，所述将所述自然场景文字图像输入到文字识别模型中，得到所述自然场景文字图像中的文字内容，包括：

步骤S1，通过所述视觉识别网络，对所述自然场景文字图像进行字符特征提取，得到所述自然场景文字图像中每个文字对应的视觉识别字符特征；

步骤S2，通过所述视觉信息优化网络，提取每个所述视觉识别字符特征之间的上下文信息，得到文字识别第一补充信息；

步骤S3，将所述视觉识别字符特征转化至预设语言空间，得到对应的字符语义特征；

步骤S4，通过所述语义信息优化网络，对所述字符语义特征进行上下文信息提取，得到全局感知语言特征，并将所述全局感知语言特征与所述视觉识别字符特征进行融合，得到文字识别第二补充信息；

步骤S5，将所述文字识别第一补充信息和所述文字识别第二补充信息，输入到所述视觉识别网络中，以供所述视觉识别网络结合所述文字识别第一补充信息和所述文字识别第二补充信息，对所述自然场景文字图像进行字符特征提取，得到信息补充后的视觉识别字符特征，重复步骤S2至步骤S5，直到满足预设识别条件，得到所述文字识别模型输出的所述自然场景文字图像中的文字内容。

根据本发明提供的一种文字识别方法，所述通过所述视觉信息优化网络，提取每个所述视觉识别字符特征之间的上下文信息，得到文字识别第一补充信息，包括：