[发明专利]从非结构化数据中提取结构化数据方法及装置

权利要求书

1.一种从非结构化数据中提取结构化数据的方法，其特征在于，所述方法包括：

获取目标文档，所述目标文档包括待提取的非结构化数据；

对所述目标文档进行数据切割，得到所述目标文档中的多个数据片段；

将所述多个数据片段依次输入预先训练的数据分类模型，得到每个数据片段包括的各个分类标签和每个分类标签对应的数据内容；所述数据分类模型预先使用多组训练数据训练得到，每组训练数据包括：多个样本数据片段和每个样本数据片段对应的分类标签标注；

将每种分类标签和对应的数据内容存储至结构化数据库，得到结构化数据；

通过表单显示所述结构化数据。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标文档进行数据切割，得到所述目标文档中的多个数据片段，包括：

通过文件内容提取工具，提取所述目标文档中的文本内容；

按照预设标点符号对所述文本内容进行数据切割，得到所述多个数据片段。

3.根据权利要求1所述的方法，其特征在于，所述分类标签基于所述非结构化数据的数据提取需求确定。

4.根据权利要求3所述的方法，其特征在于，将所述多个数据片段依次输入预先训练的数据分类模型，得到每个数据片段包括的各个分类标签和每个分类标签对应的数据片段之前，还包括：

获取样本文档；

对所述样本文档进行数据切割，得到所述样本文档中的多个样本数据片段；

根据所述数据提取需求对每个样本数据片段进行标注，得到对应的分类标签标注；

将所述样本数据片段输入预设的神经网络模型中，得到模型结果；

基于预设的损失函数、所述模型结果和所述分类标签标注对所述神经网络模型进行训练，得到所述数据分类模型。

5.根据权利要求4所述的方法，其特征在于，所述样本文档包括与所述数据提取需求相关的非结构化数据。

6.根据权利要求1所述的方法，其特征在于，所述数据分类模型基于转换器的双向编码器表示BERT模型建立。

7.根据权利要求1所述的方法，其特征在于，所述通过表单显示所述结构化数据，包括：

通过网页以表单的形式显示所述结构化数据。

8.根据权利要求1所述的方法，其特征在于，所述目标文档为word文档，且所述待提取的非结构化数据在所述word文档中以非固定格式存储，且有历史存量文档。

9.一种从非结构化数据中提取结构化数据装置，其特征在于，所述装置包括：

文档获取模块，用于获取目标文档，所述目标文档包括待提取的非结构化数据；

数据切割模块，用于对所述目标文档进行数据切割，得到所述目标文档中的多个数据片段；

数据分类模块，用于将所述多个数据片段依次输入预先训练的数据分类模型，得到每个数据片段包括的各个分类标签和每个分类标签对应的数据内容；所述数据分类模型预先使用多组训练数据训练得到，每组训练数据包括：多个样本数据片段和每个样本数据片段对应的分类标签标注；

结构化存储模块，用于将每种分类标签和对应的数据内容存储至结构化数据库，得到结构化数据；

数据显示模块，用于通过表单显示所述结构化数据。

10.根据权利要求9所述的装置，其特征在于，所述目标文档为word文档，且所述待提取的非结构化数据在所述word文档中以非固定格式存储，且有历史存量文档。