[发明专利]一种在线Web新闻内容抽取系统

说明书

本发明涉及一种在线Web新闻内容抽取方法，其步骤为：获取被抽取的Web新闻网页的DOM树；遍历DOM树构建文本节点信息序列和标签路径信息序列；计算标签路径特征值序列；使用加权DS证据理论融合标签路径特征值序列，得到标签路径综合特征值序列；构建文本节点综合特征值序列；根据文本节点综合特征值序列抽取Web新闻网页正文内容。本发明还公开了一种在线Web新闻内容抽取系统，由解析模块、计算模块、融合模块和抽取模块构成。本发明中的标签路径特征不基于网页的模板且具有多样性，整个抽取过程都是简单的数学元素，能有效地在线抽取海量异构的Web新闻网页。

本申请是申请日为2013年5月10日，申请号为2013101732801，发明名称为：一种在线Web新闻内容的抽取方法及系统、申请人为合肥工业大学的分案申请。

技术领域

本发明属于网络信息处理领域，尤其涉及一种在线Web新闻内容抽取方法及系统。

背景技术

随着Internet的飞速发展，Web新闻网页已经继传统的报纸、广播、电视之后，成为人们发布和获取信息的主要平台。目前，Web新闻网页除了包含主要内容外，还掺杂着大量的与主题内容无关的信息，如导航条、广告、推荐链接、版权声明等。这些占整个Web页面数据越40％-50％的噪音数据严重影响着许多Web应用的服务质量。如何获取“干净”的网页日益成为一个重要的研究课题。

目前，Web新闻内容抽取技术根据抽取工具的自动化程度，分为手工构建规则的抽取系统、有监督的抽取系统、半监督的抽取系统、无监督的抽取系统和在线抽取系统。

手工构建规则的抽取系统是最简单和最直接的抽取方法。使用Java、Perl这样通用的程序设计语言或用户自行设计的特定语言，用户面向特定的网站构建包装器。这类的系统需要用户有一定计算机和编程方面的知识、熟悉数据源和输出结果的格式、理解抽取规则的内涵。所以这种系统的自动化程度不高，构造代价高，对于大量网站和网页的抽取，这种花费往往是无法容忍的。特别地，当网页结构发生变化时，抽取系统需手工修改，维护代价高，难以扩展和推广。

有监督的抽取系统需要手工或使用工具标记训练网页，通过归纳得到抽取规则。该类系统虽然无需用户编程，有良好的扩展性，但是训练集标记任务具有一定的专业要求且工作量较大，一般用户难以胜任。

半监督的抽取系统相对于有监督的抽取系统，通常不需要用户对网页做出准确的标注就可以生成抽取规则。虽然这类系统能减轻用户的标记工作，但往往也需要用户的参与，如选择目标模式或粗略标记等。此外，该类系统通常需要嵌入一些启发性背景知识，扩展性不高。

在无监督的抽取系统中，不需要用户标记任何训练集，在生成包装器的过程中不需要与用户交互的界面。这类系统通常假定Web页面是根据请求从后台数据库中选取数据并嵌入到通用的模板中生成的，研究如何从模板生成的网页中检测出原始的模板，从而进一步抽取嵌入其中的数据。但是这类系统的假设条件强，难以扩展。全自动的抽取方式往往会抽取出许多用户不需要的信息，用户需要的一些信息却可能没有抽取出来。

在线抽取系统无需对网页进行预处理或预知它们的结构，能适应任何结构的新闻网页。目前比较流行的在线抽取方法基于新闻网页的HTML文本中字符的分布规律，设定抽取规则，识别抽取对象。但是这些在线方法主要基于网网页中的字符或行，以至于网页忽略网页的结构信息，抽取的精度低。

总之，目前的Web新闻内容抽取技术主要存在如下问题：

第一，目前很多的网页抽取技术假定被抽取的网页对象由同一个网页模板生成，已有的包装器难以有效抽取未知模板生成的网页的内容，通用性较差。如果需要抽取未知模板的网页的内容，需要针对该模板构建新的包装器，且任何模板的变化将导致包装器失效，在线维护这些模板的代价极高。即使网页由同一个模板生成，这些网页中依然存在着很多非模板节点，不同网页的非模板节点之间存在着一定的差异性，只有部分训练网页生成的包装器就无法涵盖这些差异性，无法胜任部分网页的抽取任务。