[发明专利]基于二维递归网络的自然场景图像中中文文本识别方法

摘要

本发明公开了一种基于二维递归网络的自然场景图像中中文文本识别方法，首先获取训练样本集，对深度卷积网络、编码用二维递归网络、解码用二维递归网络以及CTC模型依次连接构成的神经网络进行训练；将测试样本输入训练后的深度卷积网络中，获取到测试样本的特征图；然后将测试样本的特征图输入到训练后的编码用二维递归网络中，得到测试样本的编码特征图；再将测试样本的编码特征图输入训练后的解码用二维递归网络中，得到测试样本各帧图像中每个常用汉字的概率结果；最后进行集束搜索处理，最终识别出测试样本中整体中文文本。本发明方法充分利用了文本图像的空间时间信息与上下文信息，能够避免文本图像预分割问题，提高了识别准确率。

主权项

1.一种基于二维递归网络的自然场景图像中中文文本识别方法，其特征在于，步骤如下：步骤S1、获取多幅包括汉字的自然场景图像样本，构成训练样本集，其中训练样本集中包括了常用汉字字符集中的所有常用汉字；并且为每个常用汉字设置一个标签；同时获取由深度卷积网络、编码用二维递归网络、解码用二维递归网络以及CTC模型依次连接构成的神经网络，其中该神经网络的输入即为深度卷积网络的输入，该神经网络的输出即为CTC模型的输出；步骤S2、神经网络训练：将训练样本集中的每个训练样本作为神经网络的输入，将每个训练样本中各汉字的标签作为神经网络的输出，针对神经网络进行训练得到训练后的神经网络，从而得到训练后的深度卷积网络、训练后的编码用二维递归网络和训练后的解码用二维递归网络；步骤S3、当获取到测试样本时，首先将测试样本输入到训练后的深度卷积网络中，通过训练后的深度卷积网络获取到测试样本的特征图；步骤S4、将训练后深度卷积神经网络输出的测试样本的特征图输入到训练后的编码用二维递归网络中，通过训练后的编码用二维递归网络得到测试样本的编码特征图；步骤S5、将测试样本的编码特征图输入至训练后的解码用二维递归网络中，通过训练后的解码用二维递归网络得到测试样本各帧图像中每个常用汉字的概率结果；步骤S6、针对于步骤S5获取到的测试样本各帧图像中每个常用汉字对为该帧图像汉字的概率结果进行集束搜索处理，通过集束搜索结果最终识别出测试样本中整体中文文本。