[发明专利]一种使用上下文环境规则的网页数据获取方法

说明书

本发明公开了一种使用上下文环境规则的网页数据获取方法，包括内容提取规则和规则匹配算法，所述内容提取规则主要是由用户根据提取规则语法自行定义，内容提取规则采用了树状继承结构，提取规则语法采用的是一种条件‑行动语法模式，条件部分包括DOM节点属性和上下文属性，行动部分包括给匹配条件的节点进行分类、升级上下文属性、应用特定的某种内容提取技术。本发明通过融合多种数据挖掘领域主要数据提取技术，并在此基础上实现更为精确的网页数据提取效果，本方法方案提取规则语法定义简单，容易学习，易于使用，编写效率高，通过规则匹配条件实现了同一页面不同提取方法的精确应用，内容提取质量高于现有同类产品。

技术领域

本发明涉及数据挖掘领域，具体是一种使用上下文环境规则的网页数据获取方法。

背景技术

网页内容获取是一个复杂的过程，它包括确定页面的哪一部分包含核心文本内容，忽略掉与丰题无关的内容，如头部、脚注、导航条、广告等，其中在这些步骤中最关键的是识别出核心文本内容。识别核心文本有着广泛的应用，如生成文本索引、生成网页摘要、为有视觉缺陷的用户提供网页朗读功能、为小屏幕智能设备提供被优化的网页内容。在这些应用中网页内部任何哪怕非常少量的无关信息未被过滤都会给用户的阅读造成困扰。目前计算机业界已经出现了专门用于提取网页核心内容的产品，如Lixto、Kapowtech、Mozenda，这些产品使用的提取策略各不相同，有的使用DOM树方法，有的使用可视文本块方法，也有的使用密度方法；这些方法都有自己不同的适用场合，单纯采用一种方法在特定页面的提取中不一定能够实现较为理想的内容提取效果；如何能够设计一种工具整合上述不同的提取技术，并能提供网页不同部分所应使用理想技术的判别功能就显得相当重要。

发明内容

本发明的目的在于提供一种使用上下文环境规则的网页数据获取方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种使用上下文环境规则的网页数据获取方法，包括内容提取规则和规则匹配算法，所述内容提取规则主要是由用户根据提取规则语法自行定义，内容提取规则采用了树状继承结构，提取规则语法采用的是一种条件-行动语法模式，条件部分包括DOM节点属性和上下文属性，DOM节点属性包括标签名、节点类名、节点ID、节点字体名、节点宽度属性、节点高度属性和DOM节点内部的一些计算值；行动部分包括给匹配条件的节点进行分类、升级上下文属性、应用特定的某种内容提取技术。

作为本发明进一步的方案：所述上下文属性主要有cSection、cBlock，cTitle、cFont、cTextColor、cBackColor。

作为本发明再进一步的方案：所述节点可以分为两类，核心内容节点和噪音节点。

与现有技术相比，本发明的有益效果是：本发明通过融合多种数据挖掘领域主要数据提取技术，并在此基础上引入上下文属性和节点属性功能的来实现更为精确的网页数据提取效果，本方法方案提取规则语法定义简单，提取规则采用层级方式实现，不需要用户对计算机相关技术，容易学习，易于使用，编写效率高，通过规则匹配条件实现了同一页面不同提取方法的精确应用，内容提取质量高于现有同类产品。

附图说明

图1为使用上下文环境规则的网页数据获取方法具体实现的伪码图。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步详细地说明。