[发明专利]一种提取新闻网页正文的方法及装置

权利要求书

1.一种提取新闻网页正文的方法，其特征在于，包括：

确定待提取网页的二级域名；

获得所述二级域名的网页模板，同一个二级域名的各个网页对应同一个网页模板；

由所述二级域名的网页模板对应的正文分布规则提取所述待提取网页的正文，所述网页模板对应的正文分布规则是通过具有该网页模板的网页训练获得的，所述正文分布规则用于确定该网页模板对应的正文起始位置。

2.根据权利要求1所述的提取新闻网页正文的方法，其特征在于，所述通过具有该网页模板的网页训练获得该网页模板对应的正文分布规则，具体包括：

获得具有该网页模板的一个网页的文本密度最大区间，所述文本密度最大区间内的文本数目超过预设文本阈值；

获得所述文本密度最大区间对应该网页文档对象模型DOM树的节点；

由所述网页DOM树的节点确定该网页正文起始的Xpath；

将所述网页正文起始的Xpath作为该网页对应网页模板的正文分布规则。

3.根据权利要求1所述的提取新闻网页正文的方法，其特征在于，所述通过具有该网页模板的网页训练获得该网页模板对应的正文分布规则，具体包括：

分别获得具有该网页模板的多个待训练网页的文本密度最大区间，所述文本密度最大区间内的文本数目超过预设文本阈值；

分别获得所述多个待训练网页中各个网页的所述文本密度最大区间对应的网页DOM树的节点；

由所述各个网页的DOM树的节点分别确定各个网页正文起始的Xpath；

当相同Xpath对应的网页数目超过预设数目时，将该Xpath作为所述多个待训练网页对应网页模板的正文分布规则。

4.根据权利要求3所述的提取新闻网页正文的方法，其特征在于，所述相同Xpath对应的网页数目超过预设数目，具体为：

相同Xpath对应的网页数目超过所述待训练网页数目的50％。

5.根据权利要求2或3所述的提取新闻网页正文的方法，其特征在于，所述获得所述文本密度最大区间，具体为：

利用标签密度算法获得所述文本密度最大区间。

6.一种提取新闻网页正文的装置，其特征在于，包括：

域名获得单元，用于确定待提取网页的二级域名；

模板获得单元，用于获得所述二级域名的网页模板，同一个二级域名的各个网页对应同一个网页模板；

正文提取单元，用于由所述二级域名的网页模板对应的正文分布规则提取所述待提取网页的正文；所述网页模板对应的正文分布规则是通过具有该网页模板的网页训练获得的，所述正文分布规则用于确定该网页模板对应的正文起始位置。

7.根据权利要求6所述的提取新闻网页正文的装置，其特征在于，所述正文提取单元，具体包括：

第一文本密度最大区间获得子单元，用于获得具有该网页模板的一个网页的文本密度最大区间，所述文本密度最大区间内的文本数目超过预设文本阈值；

第一DOM树的节点获得子单元，用于获得所述文本密度最大区间对应该网页文档对象模型DOM树的节点；

第一Xpath确定子单元，用于由所述网页DOM树的节点确定该网页正文起始的Xpath；

第一正文分布规则确定子单元，用于将所述网页正文起始的Xpath作为该网页对应网页模板的正文分布规则。

8.根据权利要求6所述的提取新闻网页正文的装置，其特征在于，所述正文提取单元，具体包括：

第二文本密度最大区间获得子单元，用于分别获得具有该网页模板的多个待训练网页的文本密度最大区间，用于所述文本密度最大区间内的文本数目超过预设文本阈值；

第二DOM树的节点获得子单元，用于分别获得所述多个待训练网页中各个网页的所述文本密度最大区间对应的网页DOM树的节点；

第二Xpath确定子单元，用于由所述各个网页的DOM树的节点分别确定各个网页正文起始的Xpath；

第二正文分布规则确定子单元，用于当相同Xpath对应的网页数目超过预设数目时，将该Xpath作为所述多个待训练网页对应网页模板的正文分布规则。