[发明专利]一种机打票据图像结构化识别方法

说明书

本发明公开了一种机打票据图像结构化识别方法，采集某一类机打票据的多张图像，通过手工标注票据中的文本框坐标及其内容，保存为标注文件；制作成文本检测训练集A，文本识别训练集B，同时采集公开文本识别训练集C；通过训练集A、B，分别训练机打票据的文本检测F1模型、文本识别F2模型；建立单字符切割F5模型，该方法无需专门的拍摄和图像扫描设备、不要求拍摄绝对水平，基于普通相机拍摄的机打票据照片即可进行结构化提取。对发票中的印章可以通过自编码器的方式进行消除。使用迁移学习的字符识别网络在达到同样准确率的情况下，可以减少票据数据的标注工作。

技术领域

本发明属于图像识别技术领域，涉及一种机打票据图像结构化识别方法。

背景技术

机打票据图像在日常生活中普遍存在。对于公司和政府部门来说，每天都有大量的票据信息采集和处理工作，传统的人手工录入信息效率低下且人力成本高昂，当前已有的文本OCR 方案无法去除票据中的印章，常常造成识别率降低。此外票据识别神经网络的训练需要大量的标记数据，成本高昂。

现有技术方案包括：第一种为逐行识别：对文本图像进行扫描变成黑白的灰度图像，对图像进行二值化操作将背景杂色去掉，只保留文本成纯黑色。在水平方向进行投影，处于同一行的文本投影后在y轴方向会处于同一个高度范围，通过投影可以将多个文本行分开，逐行检测到文本行。然后对每一个文本行的字符进行切分，最后进行识别。要求图像平整和水平，同时这种方法无法区分关键字、信息。第二种为通过深度卷积神经网络进行文本检测：对发票中的图像进行文本检测，现有的很多深度卷积神经网络都可以检测到发票中的文本并框选出来，最后再对框中的文本内容进行识别。

但是存在较大缺陷，具体为：对于逐行识别方案：仅仅按照逐行识别，一方面难以获取到发票的结构，另一方面由于票据中有很多的表格框线，票据内容也并非呈现规则的多行文本规则排列，难以进行准确的文本行检测。对于深度卷积神经网络检测文本的方案：仅仅检测文本和识别文本，并不能确定此文本属于什么内容。例如检测出两个金额，并不能知道哪一个是定金，哪一个是税费。若印章中有文字出现，常常无法正确检测和识别。

发明内容

本发明的目的在于：提供了一种机打票据图像结构化识别方法，解决了现有技术的不足。

本发明采用的技术方案如下：

一种机打票据图像结构化识别方法，包括以下步骤：

步骤1、采集某一类机打票据的多张图像，通过手工标注票据中的文本框坐标及其内容，保存为标注文件；

步骤2、从步骤1的标注文件，结合文本检测及识别的公开数据集，制作成文本检测训练集A，文本识别训练集B，同时采集公开文本识别训练集C；

步骤3、通过训练集A、B，分别训练机打票据的文本检测F1模型、文本识别F2模型，其中F2模型包括两个模型：一个为F2-1模型、识别单个字符的图像，一个为F2-2模型、识别连续字符的图像；

步骤4、建立单字符切割F5模型，

首先当获取到某行文本所在的框，将这个框所在的坐标截取为图像，对图像进行去噪音和二值化操作；二值化后图像变为黑白图像，黑色为1值白色为0值，从上往下对图像进行投影，通过投影边界切割单字符；通过制作标准票据模板M1结合透视投影算法，建立票据图像矫正F4模型；

步骤5、模型建立完成后，读取单张机打票据图像P1，输入到文本检测F1模型，模型F1自动将图像P1中的多个文本行检测出来；

步骤6、对步骤5中检测到的多个文本行，在左上、左下、右上、右下四个角落，对其中字符串使用模型F5进行单字符切割，同时保存每个单字符的坐标；使用模型F2-1识别每个单字符，识别结果组成字符串；4个角落的字符串识别结果LF、LD、RF、RD；