[发明专利]一种在线Web新闻内容抽取系统

摘要

本发明涉及一种在线Web新闻内容抽取方法，其步骤为：获取被抽取的Web新闻网页的DOM树；遍历DOM树构建文本节点信息序列和标签路径信息序列；计算标签路径特征值序列；使用加权DS证据理论融合标签路径特征值序列，得到标签路径综合特征值序列；构建文本节点综合特征值序列；根据文本节点综合特征值序列抽取Web新闻网页正文内容。本发明还公开了一种在线Web新闻内容抽取系统，由解析模块、计算模块、融合模块和抽取模块构成。本发明中的标签路径特征不基于网页的模板且具有多样性，整个抽取过程都是简单的数学元素，能有效地在线抽取海量异构的Web新闻网页。

主权项

1.一种在线Web新闻内容抽取系统，其特征是由解析模块、计算模块、融合模块和抽取模块构成；所述解析模块根据被抽取的Web新闻网页的URL地址获取HTML文本，利用HTML解析器解析HTML文本得到被抽取的Web新闻网页的DOM树；所述计算模块是由查找单元、文本节点信息获取单元、标签路径信息获取单元和标签路径特征生成单元构成；所述查找单元用于遍历所述DOM树，访问DOM树中的每个节点，查找出文本节点和文本节点的标签路径；所述文本节点信息获取单元用于构建文本节点信息序列，存储查找单元查找出的文本节点和文本节点的标签路径；所述标签路径信息获取单元用于构建标签路径信息序列，存储标签路径、标签路径到达的文本内容和标签路径到达的文本节点的个数；所述标签路径特征生成单元，根据标签路径信息序列中存储的信息计算每个标签路径的文本标签路径长度特征的值、文本标签路径比特征的值、扩展文本标签路径长度特征的值、扩展文本标签路径比特征的值、文本标签路径层次比特征的值和扩展文本标签路径层次比特征的值，得到文本标签路径特征值序列；所述融合模块由加权单元和融合单元构成；所述加权单元用于设置标签路径特征系中每个元素的权重；所述融合单元根据加权单元设置的权重，利用加权DS证据理论融合每个标签路径的文本标签路径长度特征的值、文本标签路径比特征的值、扩展文本标签路径长度特征的值、扩展文本标签路径比特征的值、文本标签路径层次比特征的值和扩展文本标签路径层次比特征的值得到每个标签路径的综合特征值，最终得到标签路径综合特征值序列；所述抽取模块由分配单元、选择单元和抽取单元构成；所述分配单元根据所述文本节点信息序列中每个元素的标签路径属性和所述标签路径综合特征值序列中每个元素的标签路径属性之间的对应关系，将标签路径的综合特征值分配给对应的文本节点，作为文本节点的综合特征值，构建文本节点的综合特征值序列；所述选择单元用于设置抽取阈值，依次访问文本节点序列中的每个元素，若元素的文本节点的综合特征值属性的值大于抽取阈值，则标记元素中的文本节点为内容节点；所述抽取单元，依次抽取选择单元标注为内容节点的文本节点的内容并存储，最终存储的内容为被抽取的Web新闻网页的正文内容；所述标签路径特征系是由六个不同的标签路径特征组成的，分别是文本标签路径长度特征、文本标签路径比特征、扩展文本标签路径长度特征、扩展文本标签路径比特征、文本标签路径层次比特征和扩展文本标签路径层次比特征；所述文本标签路径长度特征为标签路径到达的文本内容中字符的个数；所述文本标签路径比特征为标签路径到达的文本内容中字符的个数与标签路径到达的文本节点的个数的比值；所述扩展文本标签路径长度特征为标签路径到达的文本内容中标点符号的个数；所述扩展文本标签路径比特征为标签路径到达的文本内容中标点符号的个数与标签路径到达的文本节点的个数的比值；所述文本标签路径层次比特征为标签路径到达的文本内容中字符个数与标签路径的层次数的比值；所述扩展文本标签路径层次比特征为标签路径到达的文本内容中标点符号的个数与标签路径的层次数的比值；所述标签路径的层次数为标签路径中标签的个数。