[发明专利]网页元素抽取方法和网页元素抽取系统

权利要求书

1.一种网页元素抽取方法，包括：

构建网页对应的DOM树结构；

使用决策树对所述DOM树结构中各结点进行分类，根据分类结果构建所述网页的第一分块序列；

将所述第一分块序列输入条件随机场进行优化计算，得到第二分块序列;

在所述第二分块序列中选取预设类型的序列元素，并抽取所述序列元素对应的网页元素。

2.根据权利要求1所述的方法，其中，使用决策树对所述DOM树结构中各结点进行分类包括：

遍历所述DOM树，获取所述DOM树中各结点的维度特征；

将所述各结点的维度特征按照预定规则输入决策树，对所述各结点进行分类。

3.根据权利要求2所述的方法，其中，遍历所述DOM树进一步包括：对所述DOM树进行后跟遍历，并通过累加当前遍历结点的所有子结点的维度特征得到所述当前遍历结点的维度特征和/或累加当前遍历结点自身所带的维度特征以及当前遍历结点的所有子结点的维度特征得到所述当前遍历结点的维度特征。

4.根据权利要求2或3所述的方法，其中，将所述各结点的维度特征按照预定规则输入决策树进一步包括：按照先跟遍历的顺序依次将所述DOM树中各结点的维度特征输入决策树。

5.根据权利要求1至4中任一项所述的方法，其中，所述结点的维度特征至少包括以下的任意一项或多项：文本长度、超链接个数、超链接文本长度、高亮文本长度、中文字符长度、英文字符长度、数字字符长度、特定关键词、特定标点符号。

6.根据权利要求1至5中任一项所述的方法，其中，

所述第一分块序列的序列元素和所述第二分块序列的序列元素分别与网页的分块结构对应，所述网页分块结构的类型至少包括以下的任意一项或多项：导航块、标题块、正文块、日期块、时间块、广告块、作者信息块、垃圾块、目录块。

7.一种网页元素抽取系统，包括：

DOM树构建器，适于构建网页对应的DOM树结构；

决策树分类器，适于使用决策树对所述DOM树结构中各结点进行分类，根据所述分类结果构建所述网页的第一分块序列；

条件随机场处理器，适于将所述第一分块序列输入条件随机场进行优化计算，得到第二分块序列；

元素抽取器，适于在所述第二分块序列中选取预设类型的序列元素，并抽取所述序列元素对应的网页元素。

8.根据权利要求7所述的系统，其中，决策树分类器进一步包括：

DOM树遍历模块，适于遍历所述DOM树，获取所述DOM树中各结点的维度特征；

输入模块，适于将所述各结点的维度特征按照预定规则输入决策树，对所述各结点进行分类。

9.根据权利要求8所述的系统，其中，DOM树遍历模块还适于：对所述DOM树进行后跟遍历，并通过累加当前遍历结点的所有子结点的维度特征得到所述当前遍历结点的维度特征和/或累加当前遍历结点自身所带的维度特征以及当前遍历结点的所有子结点的维度特征得到所述当前遍历结点的维度特征。

10.根据权利要求7至9中任一项所述的系统，其中，所述第一分块序列的序列元素和所述第二分块序列的序列元素分别与网页的分块结构对应，所述网页分块结构的类型至少包括以下的任意一项或多项：导航块、标题块、正文块、日期块、时间块、广告块、作者信息块、垃圾块、目录块。