[发明专利]面向领域的Web数据集成系统和方法

权利要求书

1. 一种面向领域的Web数据集成系统，包括：

数据源；

数据集成模块，用于将来自数据源的数据集成到本地；

数据处理模块，用于对集成到本地的数据进行处理；以及

应用模块，用于将集成出来的数据提供给用户。

2. 根据权利要求1的面向领域的Web数据集成系统，其中数据集成模块包括：

基于配置文件的Web数据集成系统，用于比较精确地对Deep Web上的数据进行抽取与集成；以及

普通检索系统，用于搭建大规模的、快速的、全自动的但准确率稍低的集成系统。

3. 根据权利要求1的面向领域的Web数据集成系统，其中数据处理模块包括：

数据存储单元，用于存储集成抽取出来的各个网站的数据；

索引单元，用于对集成来的数据属性进行索引以方便未来查询时的各项检索；以及

全文索引单元，用于对集成过来的全部数据进行全文索引以处理大规模数据集成后的关键字检索问题。

4. 根据权利要求2的面向领域的Web数据集成系统，其中基于配置文件的数据集成系统包括：

多个数据源；

多个配置文件单元，这多个配置文件单元的每一个与上述多个数据源的每一个相对应；

统一的集成单元，用于集成底层的各个数据源并且利用数据源所对应的配置文件，采用统一的方式，对数据源中的数据进行抽取；以及

本地服务器，用于保存集成起来的所有数据，以便用户可以直接在本地服务器上对数据进行处理。

5. 根据权利要求4的面向领域的Web数据集成系统，其中统一的集成单元包括：

读取模块，用于从list.xml中读取一个查询关键字；

发送模块，用于根据config.xml中的配置发送查询请求；

获取总页数模块，用于根据config.xml中的页数配置信息抽取出这次查询的返回结果的总页数；

获取第一页模块，用于依照GET或者POST方式去获取第一页；

获取记录模块，用于根据配置文件中的信息，从config.xml中读取记录xpath，将所有记录抽出；

获取记录属性值模块，用于从config.xml中读取属性xpath以提出记录的各项属性值；

获取页面模块，用于在如果这条记录还有详细页面的情况下根据config.xml中的配置获取url，即获取这条记录的详细页面；

获取页面属性值模块，用于从detail.xml中读取属性xpath，即根据详细页面的配置文件，将记录详细页面中的一些属性值也抽取出来；以及

获取结果模块，用于成功获取此次查询结果。

6. 根据权利要求5的面向领域的Web数据集成系统，其中数据处理模块包括：

数据存储单元，用于存储集成抽取出来的各个网站的数据；

索引单元，用于对集成来的数据属性进行索引以方便未来查询时的各项检索；以及

全文索引单元，用于对集成过来的全部数据进行全文索引以处理大规模数据集成后的关键字检索问题。

7. 一种用在面向领域的数据集成系统中的面向领域的Web数据集成方法，所述面向领域的数据集成系统包括数据源、具有基于配置文件的数据集成系统的数据集成模块、数据处理模块，以及应用模块，其中基于配置文件的数据集成系统包括多个数据源、与上述多个数据源的每一个相对应多个配置文件单元、统一的集成单元、以及本地服务器，该面向领域的数据集成方法包括：

数据集成步骤，数据集成模块将来自数据源的数据集成到本地；

数据处理步骤，数据处理模块对集成到本地的数据进行处理；以及应用步骤，用于将集成出来的数据提供给用户。

8. 根据权利要求7的面向领域的Web数据集成方法，其中数据集成步骤包括：

基于配置文件的数据集成步骤，用于比较精确地对Deep Web上的数据进行抽取与集成；以及

普通检索步骤，用于搭建大规模的、快速的、全自动的但准确率稍低的集成系统。