[发明专利]基于二维递归网络的自然场景图像中中文文本识别方法

权利要求书

1.一种基于二维递归网络的自然场景图像中中文文本识别方法，其特征在于，步骤如下：

步骤S1、获取多幅包括汉字的自然场景图像样本，构成训练样本集，其中训练样本集中包括了常用汉字字符集中的所有常用汉字；并且为每个常用汉字设置一个标签；

同时获取由深度卷积网络、编码用二维递归网络、解码用二维递归网络以及CTC模型依次连接构成的神经网络，其中该神经网络的输入即为深度卷积网络的输入，该神经网络的输出即为CTC模型的输出；

步骤S2、神经网络训练：将训练样本集中的每个训练样本作为神经网络的输入，将每个训练样本中各汉字的标签作为神经网络的输出，针对神经网络进行训练得到训练后的神经网络，从而得到训练后的深度卷积网络、训练后的编码用二维递归网络和训练后的解码用二维递归网络；

步骤S3、当获取到测试样本时，首先将测试样本输入到训练后的深度卷积网络中，通过训练后的深度卷积网络获取到测试样本的特征图；

步骤S4、将训练后深度卷积神经网络输出的测试样本的特征图输入到训练后的编码用二维递归网络中，通过训练后的编码用二维递归网络得到测试样本的编码特征图；

步骤S5、将测试样本的编码特征图输入至训练后的解码用二维递归网络中，通过训练后的解码用二维递归网络得到测试样本各帧图像中每个常用汉字的概率结果；

步骤S6、针对于步骤S5获取到的测试样本各帧图像中每个常用汉字为该帧图像汉字的概率结果进行集束搜索处理，通过集束搜索结果最终识别出测试样本中整体中文文本；

编码用二维递归网络和解码用二维递归网络均包含2个BiLSTM网络，分别为水平BiLSTM和竖直BiLSTM，每个BiLSTM包含2个LSTM，其中编码用二维递归网络和解码用二维递归网络针对于输入的特征图的操作过程均如下：

步骤S2-1、根据窗口设置扫描输入特征图，产生窗口特征图；

步骤S2-2、首先采用列规则将窗口特征图转化为序列帧，然后将序列帧送入到水平BiLSTM中进行正反双向的计算；最后将计算结果还原为特征图；

步骤S2-3、对步骤S2-2中的特征图进行顺时针90度的旋转；

步骤S2-4、对于步骤S2-3旋转后的特征图，首先采用列规则将该特征图转化为序列帧，然后将序列帧送入到竖直BiLSTM中进行正反双向的计算；最后将计算结果还原为特征图；

步骤S2-5、对步骤S2-4中获取到的特征图进行逆时针90度旋转。

2.根据权利要求1所述的基于二维递归网络的自然场景图像中中文文本识别方法，其特征在于，当训练样本输入到神经网络中时，针对训练样本的处理过程如下：首先由神经网络中的深度卷积网络获取到训练样本的特征图；然后输入到编码用二维递归网络，通过编码用二维递归网络得到训练样本的编码特征图；训练样本的编码特征图输入到解码用二维递归网络中，通过解码用二维递归网络得到训练样本各帧图像中每个汉字的概率结果，最后输入到CTC模型中进行处理，神经网络根据CTC模型的输出即训练样本中各汉字的标签针对深度卷积网络、编码用二维递归网络、解码用二维递归网络以及CTC模型进行训练，从而得到训练后的深度卷积网络、训练后的编码用二维递归网络、训练后的解码用二维递归网络以及训练后的CTC模型。

3.根据权利要求1所述的基于二维递归网络的自然场景图像中中文文本识别方法，其特征在于，所述步骤S2和步骤S3中，训练样本的文本图像输入到深度卷积神经网络以及测试样本的文本图像输入到训练后的深度卷积神经网络之前先进行预处理，其中预处理的过程如下：

步骤S1-1、将输入的文本图像转换为灰度图像；

步骤S1-2、将灰度图像变形转换为某一固定高度且转换后长度和高度比值与转换前相同的场景文本图像。

4.根据权利要求3所述的基于二维递归网络的自然场景图像中中文文本识别方法，其特征在于，所述步骤S2和步骤S3中，深度卷积神经网络针对于输入的预处理后的训练样本的文本图像以及训练后的深度卷积神经网络针对于输入的预处理后的测试样本的文本图像的处理过程如下：

步骤S1-3、利用深度卷积神经网络对步骤S1-2获取到的场景文本图像进行高维特征提取，生成多个特征图，然后将多个特征图进行平均，得到平均特征图作为输出。