[发明专利]网页正文内容提取方法及装置

权利要求书

1.一种网页正文内容提取方法，其特征在于，包括：

获得归属于同一站点下相同层级目录的两个网页；

针对获得的每个网页，分别执行：

将该网页划分成各内容块；

确定划分出的每个内容块的标签密度和/或链接密度；并选择出标签密度和/或链接密度满足对应预设条件的内容块；

在选择出的各内容块中，提取出文本内容和另一网页中选择出的各内容块的文本内容均不一致的内容块；

将提取出的内容块，确定为该网页的正文内容。

2.如权利要求1所述的网页正文内容提取方法，其特征在于，确定划分出的每个内容块的标签密度，具体包括：

针对划分出的每个内容块，将该内容块中的标签个数与文本字数的比值，确定为该内容块的标签密度；

确定划分出的每个内容块的链接密度，具体包括：

将该内容块中的链接个数与文本字数的比值，确定为该内容块的链接密度。

3.如权利要求1所述的网页正文内容提取方法，其特征在于，选择出标签密度和/或链接密度满足对应预设条件的内容块，具体包括：

获得划分出的每个内容块的标签密度阈值和/或链接密度阈值；

选择出标签密度不大于对应标签密度阈值，和/或链接密度不大于对应链接密度阈值的内容块；

将选择出的内容块，确定为满足预设条件的内容块。

4.如权利要求3所述的网页正文内容提取方法，其特征在于，获得划分出的每个内容块的标签密度阈值，具体包括：

针对划分出的每个内容块，分别根据标签密度，确定该内容块的标签密度方差，并根据确定出的标签密度方差，确定该内容块的标签密度阈值；

获得划分出的每个内容块的链接密度阈值，具体包括：

针对划分出的每个内容块，分别根据链接密度，确定该内容块的链接密度方差，并根据确定出的链接密度方差，确定该内容块的链接密度阈值。

5.如权利要求1所述的网页正文内容提取方法，其特征在于，将该网页划分成各内容块，具体包括：

对该网页进行规范化预处理；

根据预处理后的网页，生成对应的文档对象模型DOM树；

根据生成的DOM树，将该网页划分成各内容块。

6.一种网页正文内容提取装置，其特征在于，包括：

获得单元，用于获得归属于同一站点下相同层级目录的两个网页；

划分单元，用于针对获得单元获得的每个网页，将该网页划分成各内容块；

第一确定单元，用于针对获得单元获得的每个网页，确定划分单元划分出的每个内容块的标签密度和/或链接密度；

选择单元，用于针对获得单元获得的每个网页，选择出标签密度和/或链接密度满足对应预设条件的内容块；

提取单元，用于针对获得单元获得的每个网页，在选择单元选择出的各内容块中，提取出文本内容和另一网页中选择出的各内容块的文本内容均不一致的内容块；

第二确定单元，用于针对获得单元获得的每个网页，将提取单元提取出的内容块，确定为该网页的正文内容。

7.如权利要求6所述的网页正文内容提取装置，其特征在于，针对划分单元划分出的每个内容块，所述第一确定单元将该内容块中的标签个数与文本字数的比值，确定为该内容块的标签密度，以及

将该内容块中的链接个数与文本字数的比值，确定为该内容块的链接密度。

8.如权利要求6所述的网页正文内容提取装置，其特征在于，选择单元具体包括：

获得子单元，用于针对获得单元获得的每个网页，获得划分单元划分出的每个内容块的标签密度阈值和/或链接密度阈值；

选择子单元，用于针对获得单元获得的每个网页，选择出标签密度不大于对应标签密度阈值，和/或链接密度不大于对应链接密度阈值的内容块；

确定子单元，用于针对获得单元获得的每个网页，将选择子单元选择出的内容块，确定为满足预设条件的内容块。

9.如权利要求8所述的网页正文内容提取装置，其特征在于，针对划分单元划分出的每个内容块，所述获得子单元根据该内容块的标签密度方差，确定该内容块的标签密度阈值，以及

根据该内容块的链接密度方差，确定该内容块的链接密度阈值。

10.如权利要求6所述的网页正文内容提取装置，其特征在于，所述划分单元具体包括：

预处理子单元，用于针对获得单元获得的每个网页，对该网页进行规范化预处理；

生成子单元，用于针对获得单元获得的每个网页，根据预处理子单元预处理后的网页，生成对应的文档对象模型DOM树；

划分子单元，用于针对获得单元获得的每个网页，根据生成子单元生成的DOM树，将该网页划分成各内容块。