[发明专利]一种面向垂直领域知识图谱的网页解析方法、系统及介质

权利要求书

1.一种面向垂直领域知识图谱的网页解析方法，其特征在于，包括以下步骤：

对网页进行预处理；

基于预处理后的网页构建节点树，得到节点树的节点与其上下文关系及标识不同网页元素的类标签；

基于节点嵌入使节点树中每个节点进行向量化学习，获得每个节点的嵌入表示；

获取第一垂直领域知识图谱；

将所述第一垂直领域知识图谱、所述嵌入表示及所述类标签输入到训练好的分类模型中，得到分类结果；

根据所述分类结果精简所述节点树。

2.根据权利要求1所述的面向垂直领域知识图谱的网页解析方法，其特征在于，所述预处理包括将网页中的广告、友情连接和弹窗信息删除。

3.根据权利要求1所述的面向垂直领域知识图谱的网页解析方法，其特征在于，所述方法还包括从精简后的节点树中抽取信息补充到所述第一垂直领域知识图谱，作为第二垂直领域知识图谱。

4.根据权利要求1所述的面向垂直领域知识图谱的网页解析方法，其特征在于，所述基于节点嵌入算法使节点树中每个节点进行向量化学习，包括：

将节点树中每个节点初始化为一个256维随机向量；

将节点树中每个节点对应的随机向量输入到训练好的向量学习模型中；

所述训练好的向量学习模型输出每个节点的嵌入表示，其中，所述嵌入表示为与每个节点有长短期上下文关系的向量。

5.根据权利要求1所述的面向垂直领域知识图谱的网页解析方法，其特征在于，所述获取第一垂直领域知识图谱的方法包括：

抽取节点树中每个节点的文本信息；

对所述每个节点的文本信息进行命名实体识别，获得第一垂直领域知识图谱。

6.根据权利要求3所述的面向垂直领域知识图谱的网页解析方法，其特征在于，从精简后的节点树中抽取信息补充到所述第一垂直领域知识图谱，作为第二垂直领域知识图谱，包括：

抽取精简后的节点树中每个节点的文本信息；

对所述每个节点的文本信息进行命名实体识别，获得第三垂直领域知识图谱；

基于所述第三垂直领域知识图谱中涉及的实体链接图数据库；

从所述图数据库中将所述实体关联的属性特征作为新节点补充到所述第一垂直领域知识图谱，作为第二垂直领域知识图谱。

7.根据权利要求4所述的面向垂直领域知识图谱的网页解析方法，其特征在于，所述向量学习模型在训练过程中通过损失函数优化，所述损失函数为：

其中，N表示节点树中的节点数量，J表示第n个节点的长短期上下文关系节点数量，P(e_j|e_n)表示条件概率。

8.一种面向垂直领域知识图谱的网页解析系统，其特征在于，所述系统包括：

预处理模块，用于对网页进行预处理；

节点树构建模块，用于基于预处理后的网页构建节点树，得到节点树的节点与其上下文关系及标识不同网页元素的类标签；

向量学习模块，用于基于节点嵌入使节点树中每个节点进行向量化学习，获得每个节点的嵌入表示；

图谱获取模块，用于获取第一垂直领域知识图谱；

分类模块，用于将所述第一垂直领域知识图谱、所述嵌入表示及所述类标签输入到训练好的分类模型中，得到分类结果；

精简模块，用于根据所述分类结果精简所述节点树。

9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1至7中任一项方法的步骤。