[发明专利]识别单据上记载的信息的方法及系统

权利要求书

1.一种识别单据上记载的信息的方法，其特征在于，包括：

基于所述单据的影像和预先训练的第一模型，识别所述单据上的一个或多个区域中的每个区域的位置、以及与所述一个或多个区域中的每个区域相关联的信息的信息类型，所述一个或多个区域中的每个区域与所述单据上记载的全部或部分信息相关联，与每个区域相关联的信息的信息类型可以是一种或多种类型，其中，所述第一模型是基于神经网络的模型；

基于所述单据的影像、所述一个或多个区域中的每个区域的所述位置、以及预先训练的第二模型，识别所述一个或多个区域中的每个区域中的字符，其中，所述第二模型是基于神经网络的模型；以及

基于识别出的与所述一个或多个区域中的每个区域相关联的信息的所述信息类型、以及识别出的所述一个或多个区域中的每个区域中的所述字符，来确定所述单据上记载的信息。

2.根据权利要求1所述的方法，其特征在于，在识别所述单据上的一个或多个区域中的每个区域的位置之前，所述方法还包括：

基于所述单据的影像和预先训练的第三模型，识别所述单据的类别，其中，所述第三模型是基于神经网络的模型；以及

根据识别出的所述类别来选择将要使用的所述第一模型和/或所述第二模型。

3.根据权利要求2所述的方法，其特征在于，所述类别至少包括语种。

4.根据权利要求1所述的方法，其特征在于，所述第一模型通过如下过程得到：

对第一单据影像样本训练集中的每个单据影像样本进行标注处理，以标注出每个所述单据影像样本中的一个或多个区域中的每个区域的位置，所述一个或多个区域中的每个区域与所述单据影像样本中的全部或部分信息相关联；以及

通过经过所述标注处理的所述第一单据影像样本训练集，对第一神经网络进行训练，以得到所述第一模型。

5.根据权利要求1所述的方法，其特征在于，所述第一模型通过如下过程得到：

对第一单据影像样本训练集中的每个单据影像样本进行标注处理，以标注出每个所述单据影像样本中的一个或多个区域中的每个区域的位置以及与每个区域相关联的信息的信息类型，所述一个或多个区域中的每个区域与所述单据影像样本中的全部或部分信息相关联；以及

通过经过所述标注处理的所述第一单据影像样本训练集，对第一神经网络进行训练，以得到所述第一模型。

6.根据权利要求1所述的方法，其特征在于，所述第二模型通过如下过程得到：

对第二单据影像样本训练集中的每个单据影像样本进行标注处理，以标注出每个所述单据影像样本中的一个或多个区域中的每个区域的位置以及每个区域中的字符，所述一个或多个区域中的每个区域与所述单据影像样本中的全部或部分信息相关联；以及

通过经过所述标注处理的所述第二单据影像样本训练集，对第二神经网络进行训练，以得到所述第二模型。

7.根据权利要求2所述的方法，其特征在于，所述第三模型通过如下过程得到：

对第三单据影像样本训练集中的每个单据影像样本进行标注处理，以标注出每个所述单据影像样本的类别；以及

通过经过所述标注处理的所述第三单据影像样本训练集，对第三神经网络进行训练，以得到所述第三模型。

8.根据权利要求4-7中任一项所述的方法，其特征在于，对神经网络进行训练还包括：

基于单据影像样本测试集，对经过训练的所述神经网络的输出准确率进行测试；

若输出准确率小于预定的阈值，则增加单据影像样本训练集中的单据影像样本的数量，所增加的单据影像样本中的每个单据影像样本均经过所述标注处理；以及

通过增加了单据影像样本的数量之后的单据影像样本训练集，重新对所述神经网络进行训练。

9.根据权利要求4或5所述的方法，其特征在于，所述第一神经网络是基于深度残差网络建立的。

10.根据权利要求6所述的方法，其特征在于，所述第二神经网络是基于递归神经网络建立的。