[发明专利]一种划分网页语义模块的方法

摘要

本发明公开了一种划分网页语义模块的方法，在划分语义模块时，估算所应达到的最深节点，由该层节点自下而上，根据相似度计算逐层推算出语义模块的顶层节点集合。本发明漏删和误删率较低；处理速度快，不但不影响网页显示速度，有些情况下还可以提高网页显示速度；所需系统资源少，可广泛应用于各种系统包括对硬件成本很敏感的移动设备和路由器等平台。

主权项

一种划分网页语义模块的方法，其特征在于：设网页上每个语义模块单元都包含一条能在当前网页内代表这个语义模块的超链接，则每个语义模块必包含具有如下两个特征的节点：a.包含至少一条有效的超链接的节点，记为Nu；b.敏感词所在的节点，记为Nw；或者敏感词的上级节点，记为Nt；并且：1)Nu和Nt相同或者为兄弟节点；2)如Nt！＝Nu，则Nt不含有效的超链接；3)如Nt＝＝Nu，则Nu为dom树根节点或者至少有一个兄弟节点也包含有效的超链接；4)如Nt＝＝Nu，则Nu必须是所有满足以上条件的节点中最深层的节点；确定Nt节点的位置，将Nt节点在dom树所处的层次作为语义分割的最底层，由此层起自下而上的通过相似度和权重计算识别语义模块；该方法基于如下两条规律：规律一：每个网页的内容都是不同的，在语义上都是独立的，而每个网页对应一个URL，因此，每个URL都代表一个独立的语义单元；规律二：网页上的每个语义模块都会包含一个或多个超链接；如果一个语义模块是完整的，则会有包含作者信息的超链接；如果一个语义模块不完整，则必然会包含指向完整语义网页的超链接。