[发明专利]网页主体内容识别方法和装置

权利要求书

1.一种网页主体内容识别方法，包括：

解析待装载的网页，构建DOM树；

对所述DOM树中的每个节点进行评分；

根据所述DOM树中每个节点的分值确定所述网页中所有块元素的分值；

查找出所述DOM树中最高分值的块元素，并以所述最高分值的块元素作为所述网页的主体内容。

2.如权利要求1所述的网页主体内容识别方法，其中，在对DOM树中的每个节点进行评分的过程中，

评分的依据是每个节点下面的孩子节点的评分的总和，不同类型的孩子节点的分值根据其节点类型而定，其中，

文本节点的分值为所述文本节点的字符串的长度；

对于元素节点，如果所述元素为行内元素，则所述元素节点的分值为0；如果所述元素节点为块元素，则判断所述块元素所包含的文本的长度是否超过预设阈值，如果超过预设阈值，则根据所述块元素所包含的文本的长度和所述块元素的节点类型确定所述块元素的真正分值。

3.如权利要求2所述的网页主体内容识别方法，其中，在根据所述块元素所包含的文本的长度和所述块元素的节点类型确定所述块元素的真正分值的过程中，

如果根据所述块元素div下的innerText属性确定所述块元素所包含的文本的长度T，T=Length(innerText)，其分值相应的为T，则对于节点类型属于网页主体内容的元素，在T的基础上增加分值；对于节点类型不属于网页主体内容的元素，在T的基础上减去分值。

4.如权利要求3所述的网页主体内容识别方法，其中，

所述块元素div下的所有<p>标签对应的p元素的个数为Count(p)，则所述块元素的分值为T+Count(p)*W_p，其中，W_p为p元素节点的权值；

如果所述块元素div下的所有<br>标签对应的br元素的个数为Count(br)，则所述块元素的分值为T+Count(br)*W_br，其中，W_br为br元素节点的权值;

如果所述块元素div下的所有<a>标签对应的a元素的个数为Count(a)，则所述块元素的分值为T-Count(a)*W_a，其中，W_a为a元素节点的权值;

如果所述块元素div下的所有<li>标签对应的li元素的个数为Count(li)，则所述块元素的分值为T-Count(li)*W_li，其中，W_li为li元素节点的权值;

对于所述块元素div下面的object元素、form元素、table元素、embed元素、script元素、style元素、dl元素、ul元素、li元素，如果其对应的innerText的文本长度为a，其中，a=Length(innerText)，则所述块元素的分值为T-a。

5.如权利要求1所述的网页主体内容识别方法，其中，在查找出DOM树中的最高分值的块元素之后，

记录或者标记出该表示网页主体内容的最高分值的块元素，通过对所述最高分值的块元素的展现显示所述网页的网页主体内容。

6.如权利要求1所述的网页主体内容识别方法，其中，所述方法在中间件实现，所述中间件在识别出网页主体内容之后，将识别出的网页主体内容发送至用户终端。

7.一种网页主体内容识别装置，包括：

网页解析单元，用于解析待装载的网页，构建DOM树；

节点评分单元，用于对所述网页解析单元构建的DOM树中的每个节点进行评分；

块元素评分单元，用于根据所述DOM树中每个节点的分值确定所述网页中所有块元素的分值；

网页主体内容确定单元，用于查找出DOM树中的最高分值的块元素，并以所述最高分值的块元素作为所述网页的主体内容。