[发明专利]表格图像识别方法及装置

权利要求书

1.一种表格图像识别方法，包括：

获取表格图像；

判断所述表格图像中是否存在表头信息，其中，所述表头信息用于指示出表格内的行内容和/或列内容的属性类别；

在所述表格图像存在表头信息的情况下，根据所述表头信息，确定针对所述表格图像划分的若干区域各自的属性类别，并将各区域分别输入各自的属性类别所对应的文本识别模型进行文本识别；

在所述表格图像不存在表头信息的情况下，利用属性类别预测模型，预测针对所述表格图像划分的若干区域各自的属性类别，并将各区域分别输入各自的属性类别所对应的文本识别模型进行文本识别；

在所述表格图像存在表头信息的情况下，所述文本识别模型包括各属性类别共享的基础特征提取器和解码器，以及该文本识别模型的属性类别所对应的专属特征提取器；

所述将各区域分别输入各自的属性类别所对应的文本识别模型，包括：

对于所述各区域中任意的第一区域，利用所述基础特征提取器对所述第一区域进行特征提取，得到基础特征表示；

利用所述第一区域的第一类别对应的专属特征提取器，基于所述第一区域和所述基础特征表示进行特征处理，得到目标特征表示；

利用所述解码器，对所述目标特征表示进行解码，得到所述第一区域的文本内容。

2.根据权利要求1所述的方法，其中，在所述表格图像存在表头信息的情况下，所述区域与所述表格图像中表格的单元格相对应，或者，所述区域与所述表格图像中表格的一行或一列相对应；在所述表格图像不存在表头信息的情况下，所述区域与所述表格图像中表格的一行或一列相对应。

3.根据权利要求1所述的方法，其中，所述判断所述表格图像中是否存在表头信息，包括：

从所述表格图像中提取表头区域；

对所述表头区域进行文本识别，得到文本内容；

判断所述文本内容是否为表头信息。

4.根据权利要求3所述的方法，其中，所述从所述表格图像中提取表头区域，包括：

将所述表格图像输入行列分割模型，得到若干行分割结果以及若干列分割结果；

从所述若干行分割结果中，提取第一行分割结果作为所述表头区域；和/或，

从所述若干列分割结果中，提取第一列分割结果作为所述表头区域。

5.根据权利要求4所述的方法，其中，所述区域是所述若干行分割结果与所述若干列分割结果之间的相交区域。

6.根据权利要求3所述的方法，其中，所述对所述表头区域进行文本识别，包括：

将所述表头区域输入基础特征提取器和解码器，其中，利用所述基础特征提取器，对所述表头区域进行特征提取，得到基础特征表示；利用所述解码器，对所述基础特征表示进行解码，得到所述表头信息。

7.根据权利要求1所述的方法，其中，所述专属特征提取器包括：专属空间特征提取器和专属语义特征提取器；

所述基于所述第一区域和所述基础特征表示进行特征处理，得到目标特征表示，包括：

利用所述第一类别对应的专属空间特征提取器，对所述第一区域进行特征提取，得到空间特征表示；

根据所述基础特征表示和所述空间特征表示，得到综合特征表示；

将所述综合特征表示输入所述第一类别对应的专属语义特征提取器，得到目标特征表示。

8.根据权利要求1所述的方法，其中，所述属性类别预测模型包括各属性类别共享的基础特征提取器、特征抽取器和分类器；

所述利用属性类别预测模型，预测针对所述表格图像划分的若干区域各自的属性类别，包括：

利用所述基础特征提取器对所述表格图像进行特征提取，得到基础特征表示；

利用所述特征抽取器，从所述基础特征表示中，依次抽取所述若干区域各自对应的子特征表示；

利用所述分类器，基于各子特征表示，预测所述若干区域各自的属性类别。