[发明专利]一种基于元数据的数据采集方法

说明书

技术领域

本发明涉及一种数据采集方法，具体涉及一种基于元数据的数据采集方法。

背景技术

在监控系统领域，大型的监控系统需要监控多种不同类型的硬件设备、软件运行情况等，数据采集在监控系统中是必备的基础工作，不同类型的监控对象往往会提供不同的数据接口和通信协议，如通用的SNMP协议和各种厂商私有的自定义协议，监控系统中要对不同采集方法的监控对象分别设计采集方法，系统扩展成本较高。

现有技术往往对不同的监控对象各自设计采集方法，复用性差、整体性能不易统一优化，后期扩展性差、升级成本高。

实际应用中，早期的监控对象类型往往比较少，针对少量的监控对象分别设计采集方法即可，此时实现的监控系统架构往往扩展性不好，到后期监控对象类型不断增加时，要修改系统架构已经很不容易。

发明内容

针对现有技术的不足，本发明提供一种基于元数据的数据采集方法，该方法通过对多种不同的具体采集方法进行分析，将数据采集的主体流程定义为标准流程，标准流程外的数据和特殊方法抽象为标准流程所需的元数据，建立元数据模型，标准流程配合不同的元数据实现对不同采集对象的数据采集。

本发明的目的是采用下述技术方案实现的：

一种基于元数据的数据采集方法，其改进之处在于，所述方法包括下述步骤：

（1）分离数据采集流程和数据；

（2）建立标准流程；

（3）建立元数据模型；

（4）实施数据采集。

其中，所述步骤（1）中，在历史数据采集过程实例中获取一组数据采集过程实例，对比分析不同数据采集过程中的异同，将数据采集过程和数据采集过程中涉及的数据分离；所述数据包括数值和字符。

其中，所述步骤（2）中，对数据采集主体流程进行裁剪，保留读写参数和调用方法的接口，将包含数据调用方法接口的主体流程定义为标准流程。

其中，所述主体流程是指不同数据采集过程中包含相同的数据和调用方法的流程。

其中，所述步骤（3）中，所述建立元数据模型包括下述步骤：

A、分析将步骤（1）分离出的数据，提取出数据本质，在监控系统中用于定义数据的元素为元数据；

B、汇总数据采集流程的元数据，分析其在标准流程中的作用和位置，裁剪掉与标准流程无关的元数据，保留标准流程必备的元数据，组成数据采集流程的元数据集；

与标准流程无关的元数据具体为：采集流程中涉及各种各样的数据，其中有些是标准流程中的步骤必须用到的，在每个具体的采集流程实例中都会出现。有些只是某些特定流程需要的，不属于标准流程需要的元数据。如标准流程中包含“连接采集对象”的步骤，那么“采集对象地址”就是属于标准流程的元数据。又如某个采集流程实例包含“采集失败后重试，最多重试3次”步骤，这一步骤大多数采集流程实例并不需要，不作为标准采集流程的一部分，相应地“重试次数”就是仅与“重试”这一特殊流程关联的元数据，与标准流程无关，在建立标准流程时可以裁减。

C、确定所述元数据集的每个元素在标准流程中的读入位置，形成元数据模型。

其中，所述步骤（4）中，根据采集对象的特征，实例化元数据模型为数据实例的数据集，配合标准流程，实施数据采集，实现对不同采集对象的数据采集。

其中，新增采集对象时，实例化元数据，插入到监控系统中，标准流程不改变。

采集对象指的是数据采集的对象，如一个被监控的设备。

所述元数据是指描述数据及其环境的数据。

与现有技术比，本发明达到的有益效果是：

本发明提供的基于元数据的数据采集方法，通过对多种不同的具体采集方法进行分析，将数据采集的主体流程定义为标准流程，标准流程外的数据和特殊方法抽象为标准流程所需的元数据，建立元数据模型，标准流程配合不同的元数据实现对不同采集对象的数据采集。通过应用本发明提供的方法，监控系统中每新增一种监控对象（采集对象）类型，只需提取其相对标准流程所需的元数据，将元数据通过配置的方式加入监控系统即可实施数据采集，对监控系统整体改动小，开发工作量小，同时监控系统结构简单、整体可控性强，便于监控系统优化和规模控制。

附图说明

图1是本发明提供的基于元数据的数据采集方法流程图；

图2是本发明提供的实施数据采集的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

本发明提供的基于元数据的数据采集方法流程如图1所示，该方法包括下述步骤：