[发明专利]一种网页关键模块提取方法及装置

权利要求书

1.一种网页关键模块提取方法，其特征在于，包括：

获取目标网页中包含的有效链接，以及包含所述有效链接的标签，所述有效链接为指向网页内部的详情页链接；

确定包含所述有效链接的标签的公共父网页模块；其中，所述确定包含所述有效链接的标签的公共父网页模块，包括：获取包含所述有效链接的标签中每个标签的父网页模块；将各标签的父网页模块两两组合，并针对每个组合分别确定所述组合中的每个标签的祖先网页模块之间是否存在祖先-后代关系，所述祖先网页模块为组合中包括的父网页模块的父网页模块；若所述组合中每个标签的祖先网页模块之间存在祖先-后代关系，则将作为祖先的祖先网页模块作为公共父网页模块；若所述组合中每个标签的祖先网页模块之间不存在祖先-后代关系，且祖先网页模块相同，则对该组合中包括的父网页模块与其祖先网页模块下包括的各父网页模块进行层次聚类，并将聚类后的各父网页模块的最小公共父网页模块作为公共父网页模块；

将所述公共父网页模块中包含所述有效链接数目最多的父网页模块，作为所述网页关键模块。

2.如权利要求1所述的方法，其特征在于，所述获取目标网页中包含的有效链接，以及包含所述有效链接的标签，包括：

获取目标网页中直接包含链接的所有标签；

在所述所有标签直接包含的链接中删除无效链接，得到目标网页中包含的有效链接；

在所述所有标签中删除所述无效链接对应的标签，得到包含所述有效链接的标签。

3.如权利要求2所述的方法，其特征在于，所述无效链接包括如下链接中的至少一项：

域名与网页的域名不一致的链接；

包含有预先设定关键词的链接；

其中，所述关键词为非详情页链接常用关键词表中的关键词和无用链接常用关键词表中的关键词。

4.如权利要求1所述的方法，其特征在于，所述对该组合中包括的父网页模块与其祖先网页模块下包括的各父网页模块进行层次聚类之前，所述方法还包括：

获取所述组合中包括的各父网页模块节点所对应的父网页模块节点链；

确定各父网页模块节点所对应的父网页模块节点链的最小公共父网页模块节点；

确定所述各网页模块节点到所述最小公共父网页模块节点之间的相对路径，并确定所述相对路径上的节点名称；

根据所述相对路径上的节点名称相似度，确定所述组合中的各父网页模块相似且可聚。

5.一种网页关键模块提取装置，其特征在于，包括：

获取单元，用于获取目标网页中包含的有效链接，以及包含所述有效链接的标签，所述有效链接为指向网页内部的详情页链接；

处理单元，用于确定包含所述有效链接的标签的公共父网页模块，并将所述公共父网页模块中包含所述有效链接数目最多的父网页模块，作为所述网页关键模块；其中，所述处理单元具体用于按入下方式处理包含所述有效链接的标签的公共父网页模块，包括：获取包含所述有效链接的标签中每个标签的父网页模块；将各标签的父网页模块两两组合，并针对每个组合分别确定所述组合中每个标签的祖先网页模块之间是否存在祖先-后代关系，所述祖先网页模块为组合中包括的父网页模块的父网页模块；若所述组合中每个标签的祖先网页模块之间存在祖先-后代关系，则将作为祖先的祖先网页模块作为公共父网页模块；若所述组合中每个标签的祖先网页模块之间不存在祖先-后代关系，且祖先网页模块相同，则对该组合中包括的父网页模块与其祖先网页模块下包括的各父网页模块进行层次聚类，并将聚类后的各父网页模块的最小公共父网页模块作为公共父网页模块。

6.如权利要求5所述的装置，其特征在于，所述获取单元用于按如下方式获取目标网页中包含的有效链接，以及包含所述有效链接的标签：

获取目标网页中直接包含链接的所有标签；

在所述所有标签直接包含的链接中删除无效链接，得到目标网页中包含的有效链接；

在所述所有标签中删除所述无效链接对应的标签，得到包含所述有效链接的标签。