[发明专利]一种基于DOM的网页关键内容抽取方法

摘要

本发明公开了一种基于DOM的网页关键内容抽取方法，包括以下步骤：根据来自同一网站的模式相同的网页URL₁和URL₂，下载网页的HTML文本内容，分别保存为HTML₁和HTML₂，采用DOM树解析技术，将HTML₁和HTML₂转化为DOM树，记为TREE₁和TREE₂；定义用于识别TREE₁和TREE₂中的关键内容的差异度，设计关键内容路径列表L_keycontent以及约简关键内容路径列表L_reduce；基于差异度定义，设计差异度计算方法，计算TREE₁中各节点的差异度，将差异度大于给定差异度阈值e的节点的路径加入L_keycontent；设计算法对L_keycontent进行约简，得到L_reduce；基于L_reduce将网页中的关键内容返回给用户。本发明能够在网页关键内容的位置及具体内容均未知的情况下对关键内容进行抽取，具有抽取内容完整、可读性强，抽取信息量大，以及抽取效率高的优点。

主权项

一种基于DOM的网页关键内容抽取方法，其特征在于，包括以下步骤：1)根据来自同一网站的模式相同的网页URL₁和URL₂，下载网页的HTML文本内容，分别保存为HTML₁和HTML₂，然后采用DOM解析技术将HTML₁和HTML₂分别转化为DOM结构，记为TREE₁和TREE₂；2)定义用于识别关键内容的差异度，设计关键内容路径列表L_keycontent以及约简关键内容路径列表L_reduce，L_keycontent和L_reduce的列表元素均为关键内容所在节点node的节点路径P_node；3)基于步骤2)中的差异度定义，设计差异度计算方法，计算TREE₁中各节点相对于TREE₂的差异度，将差异度大于给定差异度阈值e的节点的节点路径加入步骤2)设计的关键内容路径列表L_keycontent；4)设计算法对步骤3)得到的关键内容路径列表L_keycontent进行约简，得到步骤2)设计的约简关键内容路径列表L_reduce；5)基于步骤4)得到的约简关键内容路径列表L_reduce，获取网页的关键内容，并将其返回给用户。