[发明专利]用于提取网页信息的方法和装置

权利要求书

1.一种用于提取网页信息的方法，包括：

解析目标网页的源代码，得到所述目标网页的网页结构信息；

基于所述网页结构信息，获取所述目标网页的各个链接标签的标签信息，生成标签信息集合；

利用聚类算法对所述标签信息集合中的至少两个标签信息进行聚类，确定聚类结果中是否存在内容页链接簇和分页链接簇；

响应于确定聚类结果中存在内容页链接簇和分页链接簇，根据包含内容页链接和分页链接的链接标签的标签信息，提取所述目标网页的内容页链接。

2.根据权利要求1所述的方法，其中，所述基于所述网页结构信息，获取所述目标网页的各个链接标签的标签信息，包括:

对于所述目标网页的各个链接标签中的每一个链接标签，执行如下标签信息获取步骤：根据所述网页结构信息，确定该链接标签的各个关联标签，将该链接标签和该链接标签的各个关联标签排序，基于得到的标签序列确定为该链接标签的标签信息。

3.根据权利要求1所述的方法，其中，所述利用聚类算法对所述标签信息集合中的至少两个标签信息进行聚类，包括：

根据所述网页结构信息，确定聚类算法的聚类参数；

基于所述聚类参数，对所述标签信息集合中的至少两个标签信息进行聚类。

4.根据权利要求1所述的方法，其中，所述网页结构信息是文档对象模型信息。

5.根据权利要求1-4之一所述的方法，其中，所述确定聚类结果中是否存在内容页链接簇和分页链接簇，包括：

确定聚类结果中的簇中的各个标签信息对应的标签的元素内容的文本长度的平均值是否大于预设平均值阈值；

响应于确定所述平均值大于预设平均值阈值，确定聚类结果中存在内容页链接簇。

6.根据权利要求1-4之一所述的方法，其中，所述确定聚类结果中是否存在内容页链接簇和分页链接簇，包括：

确定聚类结果中的簇中的各个标签信息对应的标签的元素内容所包含的数字字符的比例是否大于预设比例阈值；

响应于确定所述比例大于预设比例阈值，确定聚类结果中存在分页链接簇。

7.一种用于提取网页链接的装置，包括：

解析单元，配置用于解析目标网页的源代码，得到所述目标网页的网页结构信息；

生成单元，配置用于基于所述网页结构信息，获取所述目标网页的各个链接标签的标签信息，生成标签信息集合；

聚类单元，配置用于利用聚类算法对所述标签信息集合中的至少两个标签信息进行聚类，确定聚类结果中是否存在内容页链接簇和分页链接簇；

提取单元，配置用于响应于确定聚类结果中存在内容页链接簇和分页链接簇，根据包含内容页链接和分页链接的链接标签的标签信息，提取所述目标网页的内容页链接。

8.根据权利要求7所述的装置，其中，所述生成单元进一步配置用于：

对于所述目标网页的各个链接标签中的每一个链接标签，执行如下标签信息获取步骤：根据所述网页结构信息，确定该链接标签的各个关联标签，将该链接标签和该链接标签的各个关联标签排序，基于得到的标签序列确定为该链接标签的标签信息。

9.根据权利要求7所述的装置，其中，所述聚类单元进一步配置用于：

根据所述网页结构信息，确定聚类算法的聚类参数；

基于所述聚类参数，对所述标签信息集合中的至少两个标签信息进行聚类。

10.根据权利要求7所述的装置，其中，所述网页结构信息是文档对象模型信息。

11.根据权利要求7-10之一所述的装置，其中，所述聚类单元进一步配置用于：

确定聚类结果中的簇中的各个标签信息对应的标签的元素内容的文本长度的平均值是否大于预设平均值阈值；

响应于确定所述平均值大于预设平均值阈值，确定聚类结果中存在内容页链接簇。