[发明专利]一种开放式的多源数据采集系统及方法

摘要

本发明涉及一种开放式的多源数据采集系统及方法，包括用于根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则的任务管理模块；用于加载数据采集接口规则，执行处于激活状态的采集任务，相应的采集任务进行数据源监听并采集数据，将接采集的数据按照统一格式进行封装，并发送给数据存储模块的任务执行模块；用于存储数据输出模块输出的数据的数据存储模块；本发明覆盖了比较全面的数据源采集类型，支持目前通用的数据采集方式，支持数据采集接口的动态扩展和多个数据源的并行采集，当有新的数据源接入时，只需要配置数据采集任务信息，不需要部署采集代理和数据模式转换工具即可轻松实现对新数据源的数据采集。

主权项

一种开放式的多源数据采集系统，其特征在于，包括任务管理模块、任务执行模块和数据存储模块；所述任务管理模块，其用于根据需要创建采集任务，配置采集任务信息，生成相应的数据采集接口规则，其中每一个采集任务对应一个数据采集接口，用户通过配置采集任务信息，添加不同类型的数据采集接口信息；用户在交互界面配置好采集任务信息后，点击保存，在后台生成数据采集接口规则文件，以XML的格式存在；所述任务执行模块，其用于加载数据采集接口规则，执行处于激活状态的采集任务，相应的采集任务进行数据源监听并采集数据，将采集的数据按照统一格式进行封装，并发送给数据存储模块；所述任务执行模块采用多线程对多个数据源进行并行采集，每个线程包括初始化单元、任务执行单元和数据输出单元；所述初始化单元，其用于加载数据采集接口规则，读取采集任务信息，实现对数据采集接口的初始化；所述任务执行单元，其用于获取当前的采集任务列表，对激活状态的采集任务进行监听，当有新数据产生时进行数据采集，并将采集的数据传送给数据输出单元；所述数据输出单元，其用于将采集的数据按照统一格式进行封装，并传输到数据存储模块进行存储所述数据存储模块，其用于存储数据输出模块输出的数据。