[发明专利]一种数据提取方法、装置、终端设备及存储介质

权利要求书

1.一种数据提取方法，其特征在于，包括：

获取待处理文档，对所述待处理文档进行预处理，生成目标数据集；

采用预先生成的文档匹配信息对所述目标数据集进行正则匹配，提取所述目标数据集中的文本数据，所述文档匹配信息是通过对作为样本数据的文档进行采集、标注和机器学习得到的，不同类型的所述待处理文档所需采集、标注和机器学习的文档不同；

截取所述待处理文档中的表格，识别所截取的各个表格在所述待处理文档中的页码并将所述页码存入页码集合，以所述页码为键，各个页码对应页面中包含的表格为值，生成键值对集合，根据所述键值对集合，从后向前迭代所述页码集合，对所述待处理文档中的分页表格进行拼接，并更新所述键值对集合；

采用所述文档匹配信息对所述表格中的文本内容进行正则匹配，提取所述待处理文档中的表格数据，针对所述文本数据和所述表格数据的处理是分别进行的，其中针对所述表格数据的提取是在原有的所述待处理文档中完成的，针对所述文本数据的处理是在预处理后的所述目标数据集中完成的；

存储所述文本数据和所述表格数据；

其中，所述采用所述文档匹配信息对所述表格中的文本内容进行正则匹配，提取所述待处理文档中的表格数据，包括：

针对所述键值对集合中的任一目标表格，确定所述目标表格的第一区域，所述第一区域为所述目标表格的顶部预设像素内的区域；

采用所述文档匹配信息对所述第一区域中的文本内容进行正则匹配，确定所述目标表格中的多个数据项；

针对任一目标数据项，确定所述目标数据项在所述目标表格中所处的目标列，读取同时存在于第二区域和所述目标列中的数据作为所述目标数据项对应的目标数据值，所述第二区域和所述第一区域组成所述表格的全部区域；

所述根据所述键值对集合，从后向前迭代所述页码集合，对所述待处理文档中的分页表格进行拼接，包括：

检测任一页面的第一个表格上方的预设像素区域内是否包含数据；

若所述第一个表格上方的预设像素区域内未包含数据，则根据所述键值对集合，获取在当前页面的上一页面中的最后一个表格，判断所述最后一个表格的底部与所述最后一个表格所在页面的底部之间是否小于预设距离；

若所述最后一个表格的底部与所述最后一个表格所在页面的底部之间小于预设距离，则对所述当前页面的第一个表格和上一页面的最后一个表格进行拼接。

2.根据权利要求1所述的方法，其特征在于，在所述获取待处理文档前，还包括：

采集多份样本文档，识别各份样本文档中的多种样本信息；

确定任一样本信息在所述样本文档中的位置信息，以及确定所述样本信息与其他样本信息之间的关联关系；

根据所述多种样本信息、所述位置信息和所述关联关系，生成文档匹配信息。

3.根据权利要求1所述的方法，其特征在于，所述获取待处理文档，对所述待处理文档进行预处理，生成目标数据集，包括：

获取待处理文档，将所述待处理文档转换为纯文本格式的目标文档，所述目标文档包括多个不同类型的换行符；

将所述多个不同类型的换行符替换为统一的目标换行符，删除在所述目标文档的各个句子中重复出现的所述目标换行符；

根据剩余的所述目标换行符对所述目标文档进行切割，得到目标数据集。

4.根据权利要求1所述的方法，其特征在于，所述采用预先生成的文档匹配信息对所述目标数据集进行正则匹配，提取所述目标数据集中的文本数据，包括：

检测所述目标数据集中是否包括多项目标文本数据；

若所述目标数据集中仅包括一项目标文本数据，则采用预先生成的文档匹配信息对所述目标数据集进行正则匹配，确定所述目标文本数据中的多个数据项以及各个数据项分别对应的数据值；

若所述目标数据集中包括多项目标文本数据，则采用预先生成的文档匹配信息对所述目标数据集进行正则匹配，分割出所述多项目标文本数据，依次采用所述文档匹配信息对各项目标文本数据进行正则匹配，确定所述各项目标文本数据中的多个数据项以及各个数据项分别对应的数据值。