[发明专利]一种端到端税务票据文本检测与识别方法

权利要求书

1.一种端到端税务票据文本检测与识别方法，其特征在于：首先采用目标检测算法粗略检测文本区域，根据税务票据文本某些文字之间间距大的特性提出边界注意力机制，细化文本区域；然后利用语义分割技术检测税务印章中的弯曲文本，同时进行文本识别；

包括以下步骤：

第一步，原始税务票据图像输入到文本检测模块，所述文本检测模块基于SSD模型粗略定位文本，划定文本矩形框；

第二步，文本区域细化模块采用注意力机制，通过迭代的方式不断优化矩形文本框；

使用SSD模型粗略定位文本区域，SSD模型会输出若干个水平矩形框，每个矩形框都有相应的文本的分数，根据不同的分数选择不同的阈值对矩形文本框进行初步筛选；

文本区域细化模块通过迭代的方式不断优化SSD模型产生的文本框，使得优化后的文本框能够将字间距较大的文本实例包含进来；

通过迭代的方式不断优化矩形文本框，包括以下步骤：

步骤S2.1、将SSD模型检测出的文本框映射到特征图上，得到相应的文本区域特征；

步骤S2.2、所述文本区域特征经过卷积操作得到具有4个channel通道的，与文本区域特征有相同尺度的注意力特征；分别表示当前文本框在进行调整时更应该关注左上、左下、右上或右下中的哪个位置；

步骤S2.3、将4个注意力特征与每个文本区域特征分别进行点乘，然后再经过多次卷积，产生一个16维的输出向量，分别表示左上角、左下角、右上角和右下角在x坐标轴和y坐标轴方向上的偏移量；

步骤S2.4、利用偏移量对文本框进行更新，多次重复步骤S2.1~S2.3，最终产生的矩形文本框即可很好的包围字间距大的文本实例；

第三步，文本区域分割与识别模块将优化过的矩形文本区域的特征作为输入，通过语义分割技术定位出弯曲的文本区域，同时识别出3768类一级汉字。

2.根据权利要求1所述的端到端税务票据文本检测与识别方法，其特征在于：所述第三步中，通过语义分割技术定位出弯曲的文本区域并进行识别，包括以下步骤：

步骤S3.1、将调整后的文本框再次映射到特征图上得到相应的文本区域特征；

步骤S3.2、利用全卷积的方式对文本区域特征进行分割，产生与输入文本区域有相同尺度的3769个channel通道的掩码图，从而检测出矩形文本框中所有形状的文本区域，同时对所有形状的文本区域中的内容进行识别，使得模型能够端到端检测并识别税务票据文字。

3.根据权利要求2所述的端到端税务票据文本检测与识别方法，其特征在于：所述步骤S3.2、中，掩码图中每个像素的值均为0~1，第一个掩码图是文本区域掩码图；其中每个像素值表示该像素是否属于文本，剩余3768个分别表示一级汉字的掩码图，每个掩码图上每个像素的值表示该像素是否属于相应的汉字。

4.根据权利要求3所述的端到端税务票据文本检测与识别方法，其特征在于，实施步骤如下：

第一步，单独训练SSD模型，训练k1轮，k1为自然数；

第二步，将图片输入SSD模型产生初始文本框，固定SSD模型，训练注意力模块，训练k2轮，k2为自然数；

第三步，固定SSD模型，注意力模块，训练分割模块，训练k3轮，k3为自然数；

第四步，将上述前三步交替进行，逐块优化模型；

第五步，将文本检测模块，文本区域细化模块和文本区域分割与识别模块协同训练，整体优化模型；

第六步，将图片输入训练好的模型，即可直接产生弯曲的文本区域和识别结果。