[发明专利]一种基于PDF文件的知识元抽取方法、设备及介质

说明书

本申请公开了一种基于PDF文件的知识元抽取方法，方法包括：确认PDF解析器，使用PDF解析器解析待抽取文件，得到待抽取文件的解析数据；根据解析数据，得到待抽取文件的知识结构化信息；获取待抽取文件中各个元素的排列顺序，根据排列顺序对所述知识结构化信息进行排列存储。通过将PDF文件中的非结构化信息转化为知识结构化信息，使得工作人员能够高效地存储、查询、分析、挖掘和利用这些非结构化信息。

技术领域

本申请涉及信息抽取领域，具体涉及一种基于PDF文件的知识元抽取方法、设备及介质。

背景技术

随着计算机、互联网和数字媒体等的进一步普及，以文本、图形、图像、音频、视频等非结构化数据为主的信息急剧增加，面对如此巨大的信息海洋，特别是非结构化数据信息，如何存储、查询、分析、挖掘和利用这些海量信息资源就显得尤为关键。传统关系数据库主要面向事务处理和数据分析应用领域，擅长解决结构化数据管理问题，在管理非结构化数据方面存在某些先天不足之处，尤其在处理海量非结构化信息时更是面临巨大挑战。由于办公以及组建数据库的需要，经常需要从PDF文件中抽取相关的知识元进行存储。因此亟需一种基于PDF非结构化文件的知识元抽取方法，高效率地对非结构化数据进行管理。

发明内容

为了解决上述问题，本申请提出了一种基于PDF文件的知识元抽取方法、设备及介质，方法包括：

确认PDF解析器，使用所述PDF解析器解析待抽取文件，得到所述待抽取文件的解析数据；根据所述解析数据，得到所述待抽取文件的知识结构化信息；获取所述待抽取文件中各个元素的排列顺序，根据所述排列顺序对所述知识结构化信息进行排列存储。

在一个示例中，确认PDF解析器之前，所述方法还包括：

确认多个PDF文件的知识抽取范围；按照所述知识抽取范围将所述多个PDF文件进行拆分、降噪，得到所述待抽取文件；所述解析数据包括基础信息、抽取信息；所述基础信息包括所述待抽取文件的文件名称、路径、创建时间、修改时间；抽取信息，包括所述待抽取文件中每页的元素；所述元素包括文本数据、图片数据、图表数据、实体及实体关系。

在一个示例中，根据所述解析数据，得到所述待抽取文件的知识结构化信息，具体包括：对所述待抽取文件每页中不同类型的所述元素进行分类；确定所述元素为文本数据，将所述文本数据提取并保存；确定所述元素为图片数据，提取并保存所述图片数据，对所述图片进行文字识别，提取并保存所述图片包含的文本数据；确定所述元素为图表数据，解析所述图表数据包含的不同子元素：若所述子元素为文本数据，将所述文本数据提取并保存；若所述子元素为图片数据，提取并保存所述图片数据，对所述图片进行文字识别，提取并保存所述图片包含的文本数据。

在一个示例中，得到所述待抽取文件的知识结构化信息之后，所述方法还包括：整合所述待抽取文件内的所述文本数据，得到所述待抽取文件对应的文本库；根据所述文本数据在多个所述PDF文件中的位置对所述文本库内的文本数据进行记录。

在一个示例中，所述方法还包括：对所述文本库内的所述文本数据进行实体识别，确认所述文本数据的预设实体关系类型；根据所述预设实体关系类型对所述文本数据进行分类；若所述图片数据中提取到的文本数据的数量低于预设阈值，则将所述图片标记，以方便对所述图片进行人工分类。

在一个示例中，所述方法还包括：对所述文本库内的所述文本数据提取关键字，作为所述PDF文件的关键字；确认输入的检索词，获取所述检索词的文本内容；确定所述多个PDF文件的所述关键字与所述检索词的相关等级，并按照所述相关等级对所述PDF文件进行排序。

在一个示例中，得到所述待抽取文件的知识结构化信息之后，所述方法还包括：确认所述知识结构化信息存在重复文本数据，对所述重复文本数据进行标记。

在一个示例中，确认所述知识结构化信息存在重复文本数据，具体包括：