[发明专利]一种用于登机牌信息验证的文字检测识别方法

权利要求书

1.一种用于登机牌信息验证的文字检测识别方法，其特征在于，该方法具体包括以下步骤：

S1：读取登机牌图像，获取登机牌测试图像和训练图像；

S2：通过基于模糊区域的多任务全卷积神经网络模型的文本行检测方法，定位到每个文本块；所述文本行检测方法具体包括以下步骤：

S21：将登机牌图像输入到所述多任务全卷积神经网络模型中；

S22：所述多任务全卷积神经网络模型得出中文/英文/非文本预测输出、连接预测输出和模糊区域预测输出；

S23：将连接预测输出进行实例分割，输出文本定位框和中英文标记；

所述多任务全卷积神经网络模型中的输出层分为三个部分，均采用softmax层连接，具体为：

(1)中文/英文/非文本预测输出的是文本的类型，分为中文、英文或非文本三种；

(2)连接预测输出的是每一个像素与它8邻域的连接情况，以此判断是否属于同一文本框，其中每一个相邻像素给出是否为正连接，是否为正连接是二分类问题，输出维度为2*8；相邻两像素若属于同一文本类型，即为正连接，有重叠的区域另作处理；

(3)模糊区域即有重叠区域预测输出：判断文本块间是否有重叠，先将有重叠的区域与其他区域的像素定义为负连接，待实例分割后再与相邻分割区域分别合并，是否有重叠是二分类问题，输出维度为2；

S3：通过基于CTC和自注意力机制的文本识别模型学习，实现文本行即定位到的文本块的识别；

S4：建立登机牌常用文字库，以此学习n-gram语言模型，辅助优化文本行识别结果。

2.根据权利要求1所述的一种用于登机牌信息验证的文字检测识别方法，其特征在于，所述多任务全卷积神经网络模型采用Densenet、resnet或alexnet网络作为特征提取模型，其中全连接层转换为卷积层。

3.根据权利要求1所述的一种用于登机牌信息验证的文字检测识别方法，其特征在于，所述步骤S23具体包括：通过是否为正连接来组合相同类别的像素，达到实例分割的目的，计算出包含每个分割区域且面积最小的矩形框，作为最终的检测框，检测框记录为五元向量r＝(x,y,width,height,angle)，其中(x,y)、width、height、angle分别表示矩形框的坐标、长、宽和旋转角度；并对检测框进行几何信息过滤，其中几何信息包括高度、宽度、面积和长宽比。

4.根据权利要求1所述的一种用于登机牌信息验证的文字检测识别方法，其特征在于，所述步骤S3中，所述的基于CTC和自注意力机制的文本识别模型是采用基于隐式切分的文本行识别方法，结合CTC解码，完成中英文混合的文本行识别，具体步骤为：先用卷积神经网络提取图片的卷积特征，将卷积特征切分为特征序列，并加入位置信息，送入attention模块，计算输入特征序列每个区域分配的权重，即预测当前字符时，只需关注输入特征序列中权重较高的部分，实现序列的隐式分割；解码端使用CTC序列标注算法输出字符序列，再经过语言模型的修正，输出最后的预测文本序列。

5.根据权利要求4所述的一种用于登机牌信息验证的文字检测识别方法，其特征在于，所述卷积特征切分后的序列表示为x(x1,x2,x3,…,xn)，经过attention模块映射后的序列表示为z(z1,z2,z3,…,zn)，经过CTC序列标注算法输出的字符序列表示为y(y1,y2,…,ym)，其中，x为文本块提取的特征序列，z为经过attention模块映射后的特征序列，n为特征的维数，y为经过CTC 算法解码后的输出结果序列，m为经过文字识别后得到的结果序列的字符长度。