[发明专利]网页主内容列表识别方法和装置

权利要求书

1.一种网页主内容列表识别方法，其特征在于，所述方法包括：

获取待识别网页；

提取所述待识别网页中的多个网页标签，所述网页标签用于定义锚或超链接；

构建包括预设数目网页标签的网页标签组合，查找所述网页标签组合对应的最小父节点，根据所述最小父节点构建待选节点列表；

根据所述待选节点列表获取所述待识别网页对应的网页主内容列表。

2.根据权利要求1所述的方法，其特征在于，所述构建包括预设数目网页标签的网页标签组合之前，还包括：

识别所述多个网页标签中的异常标签；

剔除所述多个网页标签中的异常标签；

所述构建包括预设数目网页标签的网页标签组合包括：

构建包括预设数目的剔除隐藏标签后的网页标签的网页标签组合。

3.根据权利要求2所述的方法，其特征在于，所述异常标签包括显示效果异常标签，所述识别所述多个网页标签中的异常标签包括：

获取所述网页标签的显示效果数据，所述显示效果数据包括内容长度信息、显示高度信息以及显示宽度信息中的一个或多个；

根据所述显示效果数据识别所述网页标签中的异常标签。

4.根据权利要求2所述的方法，其特征在于，所述异常标签包括隐藏标签，所述剔除所述多个网页标签中的异常标签包括：

当所述多个网页标签中存在属于隐藏标签的网页标签时，剔除所述多个网页标签中的隐藏标签，所述隐藏标签未显示于所述待识别网页中；

所述构建包括预设数目网页标签的网页标签组合包括：

构建包括预设数目的剔除隐藏标签后的网页标签的网页标签组合。

5.根据权利要求1所述的方法，其特征在于，所述根据所述待选节点列表获取所述待识别网页对应的网页主内容列表包括：

当所述待选节点列表内节点不唯一时，识别所述待选节点列表中的异常节点；

剔除所述待选节点列表内的异常节点；

根据剔除异常节点后的待选节点列表，获取待识别网页对应的网页主内容列表。

6.根据权利要求5所述的方法，其特征在于，所述根据剔除异常节点后的待选节点列表，获取待识别网页对应的网页主内容列表包括：

获取剔除异常节点后的待选节点列表的列表长度；

根据所述列表长度识别待识别网页对应的网页主内容列表。

7.根据权利要求6所述的方法，其特征在于，所述根据所述列表长度识别待识别网页对应的网页主内容列表包括：

当所述列表长度表征所述待选节点列表内节点唯一时，将所述待选节点列表内的节点作为待识别网页对应的网页主内容列表；

当所述列表长度表征所述待选节点列表内节点不唯一时，获取剔除异常节点后的待选节点列表中每个节点的高度，将高度最大的节点作为待识别网页对应的网页主内容列表。

8.根据权利要求5所述的方法，其特征在于，所述异常节点包括位置异常节点，所述当所述待选节点列表内节点不唯一时，识别所述待选节点列表中的异常节点包括：

当所述待选节点列表内节点不唯一时，获取待识别网页对应文档的垂直中心线；

当所述垂直中心线未穿过所述待选节点列表内节点的内容块时，将所述垂直中心线未穿过内容块的节点判定为位置异常节点。

9.根据权利要求5所述的方法，其特征在于，所述异常节点包括高度异常节点，所述当所述待选节点列表内节点不唯一时，识别所述待选节点列表中的异常节点包括：

当所述待选节点列表内节点不唯一时，获取所述待选节点列表内节点的高度；

当所述待选节点列表内节点的高度低于预设高度阈值时，将节点的高度低于预设高度阈值的节点判定为高度异常节点。

10.一种网页主内容列表识别装置，其特征在于，所述装置包括：

网页获取模块，用于获取待识别网页；

标签提取模块，用于提取所述待识别网页中的网页标签，所述网页标签用于定义锚或超链接；

列表构建模块，用于构建包括预设数目网页标签的网页标签组合，查找所述网页标签组合对应的最小父节点，根据所述最小父节点构建待选节点列表；

主内容获取模块，用于根据所述待选节点列表获取所述待识别网页对应的网页主内容列表。