[发明专利]知识库系统的构建方法和设备

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种知识库系统的构建方法和设备。

背景技术

知识库系统是对知识进行立体式描述，建立本体及本体之间的关系的系统。用户通过知识库系统，可方便、迅速的查找到需要的一类数据信息。知识库系统中存储有大量高质量知识。高质量知识是指实体的实体名称及其属性，此部分知识是用户集体行为编辑形成的，具有高准确率。例如，一部电影的电影名称、导演、编剧、类型等的描述，以及观看者的打分评价信息。高质量知识体现的是用户集体共性特征，具有相当高的可信度。

现有技术中高质量知识获取方式多是基于正则表达式对页面内容进行抽取，获取目标页面中的相关内容，然后通过其它技术对知识系统进行构建。由于现有技术中书写抽取算法较为复杂，容易出错，因此抽取的数据中经常会参杂一些噪音在其中，如果目标页面中稍微有些格式的改动，都会很容易导致数据抓取失败。此外，现有技术方案的迁移成本高，对于不同的渠道获取的知识，需要修改不同的抽取算法。

发明内容

本发明的实施例所要解决的技术问题在于提供一种知识库系统的构建方法和设备，能够提高信息抽取的准确性和鲁棒性。

为解决上述技术问题，本发明的实施例采用如下技术方案：

一种知识库系统的构建方法，包括：

获取待处理的网页；

建立所述网页的DOM树；

根据用户配置的抽取模板信息，抽取所述网页相对应的DOM树的各节点中的页面信息；

在根据抽取的页面信息，判断所述网页为目标页面后，将所述DOM树的各节点中的所述页面信息记入知识库系统中。

所述用户配置的抽取模板信息包括：预设的到达所述目标页面的路径信息。

在抽取所述网页相对应的DOM树的各节点中的页面信息之后，将所述DOM树的各节点中的所述页面信息记入知识库系统中之前，还包括：

过滤抽取的所述页面信息。

所述的知识库系统的构建方法，还包括：

在根据抽取的页面信息，判断所述网页不是目标页面后，将所述网页的URL存入列表中，并根据预设的到达所述目标页面的路径信息，继续获取网页。

在根据抽取的页面信息，判断所述网页为目标页面后，还包括：

获取与所述页面信息相关联的其他实体。

一种知识库系统的构建设备，包括：

网页获取模块，用于获取待处理的网页；

DOM树建立模块，用于建立所述网页的DOM树；

抽取模块，用于根据用户配置的抽取模板信息，抽取所述网页相对应的DOM树的各节点中的页面信息；

信息录入模块，用于在根据抽取的页面信息，判断所述网页为目标页面后，将所述DOM树的各节点中的所述页面信息记入知识库系统中。

所述用户配置的抽取模板信息包括：预设的到达所述目标页面的路径信息。

所述的知识库系统的构建设备，还包括：

过滤模块，用于过滤抽取的所述页面信息。

所述的知识库系统的构建设备，还包括：

URL存储模块，用于在根据抽取的页面信息，判断所述网页不是目标页面后，将所述网页的URL存入列表中，

所述网页获取模块，还用于在判断所述网页不是目标页面后，将所述网页的URL存入列表中，并根据预设的到达所述目标页面的路径信息，继续获取网页。

所述网页获取模块，还用于：

获取与所述页面信息相关联的其他实体。

本实施例的知识库系统的构建方法和设备，采用根据用户配置的抽取模板信息抽取页面信息的方法，通过用户配置抽取模板，方便了程序加载和使用该抽取模板，由于本实施例的抽取模式均为基于DOM树的抽取模式，因此能够更准确地表述目标实体信息在网页中的位置，进而提高了信息抽取的准确性和鲁棒性。此外，由于抽取模板与程序算法完全剥离，程序对使用者透明，用户只需利用开源工具形成不同的抽取模式的规则即可，因此提高了知识库系统的易用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中知识库系统的构建方法的流程示意图之一；

图2为本发明实施例中知识库系统的构建方法的流程示意图之二；

图3为本发明实施例中知识库系统的构建设备的示意图之一；