[发明专利]用于提取网页信息的方法和装置

说明书

本申请实施例公开了用于提取网页信息的方法和装置。该方法的一具体实施方式包括：解析目标网页的源代码，得到目标网页的网页结构信息；基于网页结构信息，获取目标网页的各个链接标签的标签信息，生成标签信息集合；利用聚类算法对标签信息集合中的至少两个标签信息进行聚类，确定聚类结果中是否存在内容页链接簇和分页链接簇；响应于确定聚类结果中存在内容页链接簇和分页链接簇，根据包含内容页链接和分页链接的链接标签的标签信息，提取目标网页的内容页链接。该实施方式实现了目标网页的网页信息的提取。

技术领域

本申请涉及计算机技术领域，具体涉及数据处理领域，尤其涉及用于提取网页信息的方法和装置。

背景技术

在现今的大数据时代，拥有数据成为是否具有核心竞争力的先决条件，现实中的很多数据往往是非结构化的，比如网页。从非结构化的搜索数据中自动提取出想要的搜索内容链接是数据获取的第一步

现有技术主要使用文本抽取技术或模板定制技术实现内容抽取。其中，文本抽取技术可以通过正则表达式、Xpath、CSSQuery等相关语言很精准的抽取到想要的数据，使用此种技术的开发人员写出内容抽取的相关表达式，即可达到内容抽取的目的。模板定制技术需要预先设置好模板内容抽取规则，根据抽取模板的自定义规则实现自动抽取，后续只更新模板即可。

发明内容

本申请实施例提出了用于提取网页信息的方法和装置。

第一方面，本申请实施例提出了一种用于生成信息的方法，该方法包括：解析目标网页的源代码，得到目标网页的网页结构信息；基于网页结构信息，获取目标网页的各个链接标签的标签信息，生成标签信息集合；利用聚类算法对标签信息集合中的至少两个标签信息进行聚类，确定聚类结果中是否存在内容页链接簇和分页链接簇；响应于确定聚类结果中存在内容页链接簇和分页链接簇，根据包含内容页链接和分页链接的链接标签的标签信息，提取目标网页的内容页链接。

在一些实施例中，上述基于网页结构信息，获取目标网页的各个链接标签的标签信息，包括：对于目标网页的各个链接标签中的每一个链接标签，执行如下标签信息获取步骤：根据网页结构信息，确定该链接标签的各个关联标签，将该链接标签和该链接标签的各个关联标签排序，基于得到的标签序列确定为该链接标签的标签信息。

在一些实施例中，上述利用聚类算法对上述标签信息集合中的至少两个标签信息进行聚类，包括：根据上述网页结构信息，确定聚类算法的聚类参数；基于上述聚类参数，对上述标签信息集合中的至少两个标签信息进行聚类。

在一些实施例中，上述网页结构信息是文档对象模型信息。

在一些实施例中，上述确定聚类结果中是否存在内容页链接簇和分页链接簇，包括：确定聚类结果中的簇中的各个标签信息对应的标签的元素内容的文本长度的平均值是否大于预设平均值阈值；响应于确定平均值大于预设平均值阈值，确定聚类结果中存在内容页链接簇。

在一些实施例中，上述确定聚类结果中是否存在内容页链接簇和分页链接簇，包括：确定聚类结果中的簇中的各个标签信息对应的标签的元素内容所包含的数字字符的比例是否大于预设比例阈值；响应于确定比例大于预设比例阈值，确定聚类结果中存在分页链接簇。

第二方面，本申请实施例提出了一种用于提取网页链接的装置，该装置包括：解析单元，配置用于解析目标网页的源代码，得到目标网页的网页结构信息；生成单元，配置用于基于网页结构信息，获取目标网页的各个链接标签的标签信息，生成标签信息集合；聚类单元，配置用于利用聚类算法对标签信息集合中的至少两个标签信息进行聚类，确定聚类结果中是否存在内容页链接簇和分页链接簇；提取单元，配置用于响应于确定聚类结果中存在内容页链接簇和分页链接簇，根据包含内容页链接和分页链接的链接标签的标签信息，提取目标网页的内容页链接。