[发明专利]一种单据信息的识别方法及系统

权利要求书

1.一种单据信息的识别方法，其特征在于，包括：

基于所述单据的影像和预先训练的第一模型，识别所述单据上的一个或多个区域中的每个区域，所述一个或多个区域中的每个区域与所述单据上记载的全部或部分信息相关联，其中，所述第一模型是基于神经网络的模型；

切割并获取所述一个或多个区域中的每个区域的影像，所述一个或多个区域中的每个区域的影像是由平行于水平线的矩形或相对于水平线有倾斜的矩形来界定的；以及

基于所述一个或多个区域中的每个区域的影像、以及预先训练的第二模型，识别所述一个或多个区域中的每个区域中的字符，从而确定所述单据上记载的信息，其中，所述第二模型是基于神经网络的模型。

2.根据权利要求1所述的单据信息的识别方法，其特征在于，所述切割并获取所述一个或多个区域中的每个区域的影像步骤后，响应于相对于水平线有倾斜的矩形，对所述每个区域的影像进行倾斜校正处理，并将处理后的每个区域的影像输入所述第二模型，来识别所述一个或多个区域中的每个区域中的字符。

3.根据权利要求1所述的单据信息的识别方法，其特征在于，所述方法通过所述第二模型，基于所述一个或多个区域中的每个区域的影像以及其在整张单据中的位置，来识别所述一个或多个区域中的每个区域中的字符。

4.根据权利要求1所述的单据信息的识别方法，其特征在于，所述方法还包括：

基于所述单据的影像和所述第一模型，还识别与所述一个或多个区域中的每个区域相关联的信息的信息类型；以及

基于识别出的与所述一个或多个区域中的每个区域相关联的信息的所述信息类型、以及识别出的所述一个或多个区域中的每个区域中的所述字符，来确定所述单据上记载的信息。

5.根据权利要求1所述的单据信息的识别方法，其特征在于，在识别所述单据上的一个或多个区域中的每个区域之前，所述方法还包括：

基于所述单据的影像和预先训练的第三模型，识别所述单据的类别，其中，所述第三模型是基于神经网络的模型；以及

根据识别出的所述类别来选择将要使用的所述第一模型和/或所述第二模型。

6.根据权利要求5所述的单据信息的识别方法，其特征在于，所述单据的类别至少包括语种。

7.根据权利要求1所述的单据信息的识别方法，其特征在于，所述第一模型通过如下过程得到：

对第一单据影像样本训练集中的每个单据影像样本进行标注处理，以标注出每个所述单据影像样本中的一个或多个区域中的每个区域，所述一个或多个区域中的每个区域与所述单据影像样本中的全部或部分信息相关联；以及

通过经过所述标注处理的所述第一单据影像样本训练集，对第一神经网络进行训练，以得到所述第一模型。

8.根据权利要求1所述的单据信息的识别方法，其特征在于，所述第二模型通过如下过程得到：

对第二单据影像样本训练集中的每个单据影像样本进行标注处理，以标注出每个所述单据影像样本中的一个或多个区域中的每个区域以及每个区域中的字符，所述一个或多个区域中的每个区域与所述单据影像样本中的全部或部分信息相关联；以及

通过经过所述标注处理的所述第二单据影像样本训练集，对第二神经网络进行训练，以得到所述第二模型。

9.根据权利要求5所述的单据信息的识别方法，其特征在于，所述第三模型通过如下过程得到：

对第三单据影像样本训练集中的每个单据影像样本进行标注处理，以标注出每个所述单据影像样本的类别；以及

通过经过所述标注处理的所述第三单据影像样本训练集，对第三神经网络进行训练，以得到所述第三模型。

10.根据权利要求7所述的单据信息的识别方法，其特征在于，所述第一神经网络是基于深度残差网络建立的。

11.根据权利要求8所述的单据信息的识别方法，其特征在于，所述第二神经网络是基于递归神经网络建立的。