[发明专利]一种发票识别方法

权利要求书

1.一种发票识别方法，其特征在于，包括以下步骤：

S1、人工标注制作发票模版；

S2、获取用户上传的发票图像；

S3、对上传发票图像中的文字位置、包围框以及文字内容进行提取；

S4、根据提取的文字内容，与模版中发票信息进行匹配，确定发票种类；

S5、确定发票种类后，获取校正变换矩阵，对上传图像以及识别的文字位置进行校正，得到目标字段；

S6、获取目标字段的文字内容。

2.根据权利要求1所述的一种发票识别方法，其特征在于，在所述的步骤S4中，当多个字段对应同一个内容框时，具体匹配步骤如下：根据模版字段域中标注的包围框，分析字段的位置关系，将字段域中包围框的位置关系对应到内容域中的包围框，以及校正后文字的包围框，进而在对应的位置上获取对应字段的文字内容。

3.根据权利要求1所述的一种发票识别方法，其特征在于，在所述的步骤S5中，当一个字段对应一个内容框，且内容框中包含多个识别框时，具体匹配步骤如下：根据被包含的多个识别框的位置关系判断是否将文字内容进行合并；当两个识别框为左右关系时，两个识别框最小距离小于阈值T1时则将其合并，当两个识别框为上下关系时，两个框最小距离小于阈值T2时则将其合并；当有超过两个识别框时，则对其中的框进行两两合并，直到无法合并为止；T1的取值为包围框高度的0.5倍，T2的取值为包围框高度的1.2倍。

4.根据权利要求2或3所述的一种发票识别方法，其特征在于，在所述的步骤S1中，具体为：

首先对各类发票进行人工标注，每类发票用一个模版表示；标注信息包括：字段域和内容域；所述的字段域指发票本身固有的内容，包括字段名称以及字段名称的包围框坐标；所述的内容域指在机器打印发票时打印到对应区域内的打印信息，包括其对应的字段内容和字段内容的包围框坐标。

5.根据权利要求2或3所述的一种发票识别方法，其特征在于，所述的步骤S2具体为：通过手机拍摄、扫描仪或其它拍照方式拍摄得到发票图像。

6.根据权利要求2或3所述的一种发票识别方法，其特征在于，所述的步骤S3具体为：采用了CRAFT检测算法和CRNN算法进行文字的检测识别，其中CRAFT检测算法实现了图像中的文字检测，CRNN算法实现了文字的识别；所述的文字检测通过输入一副图像，则输出图像中的文字位置和该位置对应的文字内容；其中，文字的位置通常采用矩形进行描述，鉴于检测出的文字包围框可能存在歪斜，对文字包围框采用8个数值进行描述，分别为：左上角点的x坐标值x0和y坐标值(y0)；右上角点的x坐标值x1和y坐标值y1；右下角点的x坐标值x2和y坐标值y2，左下角点的x坐标值x3和y坐标值y3。

7.根据权利要求2或3所述的一种发票识别方法，其特征在于，所述的步骤S4具体为：将待处理文字的文字内容与模版库字段域中的字段名称进行匹配，得到匹配率最高的模版作为其对应的模版，即：待处理文字内容中，每一个文字包围框对应的文字内容与模版库中每一个字段域的字段名称进行一一比对，如果文字内容一样，则与该模版匹配到的字段数加1，统计待处理文字与模版库中每一个模版的匹配字段数，使用匹配字段数除以该对应模版的字段域的个数作为待处理文字与该模版的匹配率，在所有模版中，匹配率最大的模版的种类为上传图像对应的发票种类，同时以此模版作为后续处理使用的模版；设：A代表待处理文字，an为A中的第n个包围框对应的数据，n范围为1～N，即待处理文字A种一共有N个字段域；T代表所有模版，Ti为第i个模版，i范围为1～I，即一共有I类模版；Tim为第i个模版的第m条字段域数据，m范围为1～Mi，即模版Ti中一共有Mi个字段域；将A与T中的每一个Ti进行字段匹配，即an中的字段名称与Tim中文字内容进行比对，n为1～N，m为1～Mi，Mi为字段域的个数，假设有count个文字内容一样，则A与模版Ti的匹配率为count/Max(Mi,N)，A和第i个模版的匹配率记为Sim(A，Ti),计算公式如下：