[发明专利]一种开放式的多源数据采集系统及方法

权利要求书

1.一种开放式的多源数据采集系统，其特征在于，包括任务管理模块、任务执行模块和数据存储模块；

所述任务管理模块，其用于根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则，其中每一个采集任务对应一个数据采集接口，用户通过配置采集任务信息，添加不同类型的数据采集接口信息；

用户在交互界面配置好采集任务信息后，点击保存，在后台生成数据采集接口规则文件，以XML的格式存在；

所述任务执行模块，其用于加载数据采集接口规则，执行处于激活状态的采集任务，相应的采集任务进行数据源监听并采集数据，将采集的数据按照统一格式进行封装，并发送给数据存储模块；

所述任务执行模块采用多线程对多个数据源进行并行采集，每个线程包括初始化单元、任务执行单元和数据输出单元；

所述初始化单元，其用于加载数据采集接口规则，读取采集任务信息，实现对数据采集接口的初始化；

所述任务执行单元，其用于获取当前的采集任务列表，对激活状态的采集任务进行监听，当有新数据产生时进行数据采集，并将采集的数据传送给数据输出单元；

所述数据输出单元，其用于将采集的数据按照统一格式进行封装，并传输到数据存储模块进行存储

所述数据存储模块，其用于存储数据输出模块输出的数据。

2.根据权利要求1所述一种开放式的多源数据采集系统，其特征在于，所述任务管理模块还用于通过配置和修改数据采集接口规则实现对采集任务的添加、更改、激活、锁定和删除；当有新的数据源接入时，只需要添加采集任务并配置采集任务信息，生成相应的数据采集接口规则。

3.根据权利要求1或2所述一种开放式的多源数据采集系统，其特征在于，所述数据存储模块采用分布式开源系统Elastic Search，且Elastic Search的服务器地址采用默认指定位置或用户通过数据存储规则自定义的存储位置。

4.根据权利要求1或2所述一种开放式的多源数据采集系统，其特征在于，所述采集任务信息包括数据采集接口信息和任务状态信息；

所述数据采集接口信息包括数据源的名称、源数据存储方式和源数据存储格式；所述源数据存储方式指数据源的存储类型以及存储位置；所述源数据存储格式是指源数据本身的格式及采集内容；

所述任务状态信息包括激活状态和锁定状态。

5.根据权利要求4所述一种开放式的多源数据采集系统，其特征在于，所述数据源的类型包括数据库类型、文本类型和socket通信数据类型。

6.一种开放式的多源数据采集方法，其特征在于，包括如下步骤：

步骤1：根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则，其中每一个采集任务对应一个数据采集接口，用户通过配置采集任务信息，添加不同类型的数据采集接口信息；用户在交互界面配置好采集任务信息后，点击保存，在后台生成数据采集接口规则文件，以XML的格式存在；

步骤2：加载数据采集接口规则，检测采集任务的任务状态，找出处于激活状态的采集任务，处于激活状态的采集任务对数据源进行监听，当有新数据时进行数据采集；

步骤2的具体实现为采用多线程实现对多个数据源的并行采集，每个线程的处理步骤如下：

步骤2.1：加载数据采集接口规则，读取采集任务信息，实现对数据采集接口的初始化；

步骤2.2：获取当前的采集任务列表，对激活状态的采集任务进行监听，当有新数据产生时进行数据采集；

步骤2.3：将采集的数据按照统一格式进行封装，并传输到数据存储模块进行存储；

步骤3：将采集到的数据按照统一格式进行封装，并传输到数据存储模块进行存储，实现对采集数据的统一分布式存储。

7.根据权利要求6所述一种开放式的多源数据采集方法，其特征在于，上述技术方案还包括根据需要添加、更改、激活、锁定和删除采集任务。

8.根据权利要求6或7所述一种开放式的多源数据采集方法，其特征在于，所述数据存储模块采用分布式开源系统Elastic Search，且Elastic Search的服务器地址采用默认指定位置或用户自定义的存储位置。