[发明专利]一种基于时间调度的数据采集方法

说明书

本发明涉及一种基于时间调度的数据采集方法，包括：确定数据采集任务，任务包括：源数据存储地址、本地数据存储地址和子任务序列；子任务序列包括的至少一个子任务具有第一采集时间和第二采集时间，第一采集时间为子任务的起始时间，第二采集时间为子任务的结束时间。根据源数据存储地址确定源数据，其中源数据包括时间信息；针对每个子任务进行数据采集，采集源数据库中时间信息大于或等于第一采集时间，且小于或等于第二采集时间的数据，得到至少一个采集数据；将采集得到的至少一个采集数据存储至本地数据存储地址。使得仅需采集的源数据具有时间信息，都可以灵活地根据源数据的时间信息，配置并调度不同的子任务，从而适配不同的采集需求。

技术领域

本发明涉及数据采集领域，尤其是涉及一种互联网技术(internet technology，IT)管理系统建设应用中的通过时间控制技术调度数据采集的方法。

背景技术

随着社会的发展，对IT管理系统进行应用分析的复杂度要求不断提高，对所分析的数据的数据质量要求也再不断加强。因此，对可能采集到的数据而言，其完整性上的保障要求也随之增高。

现有数据采集的方式一般仅能满足正常情况下数据分析的采集要求，其数据采集方式较为单一，导致面对突发的异常情况处理能力不足。例如数据丢失、采集任务因意外停止采集，或者因数据库的一些原因导致数据采集不全等等。而当发生一些异常状况时，往往需要通过人工的方式进行相应的补采。从而使得数据的及时性得不到保障，严重影响后续对数据的分析及应用。

同时，传统的数据采集方案定制化程度较高，基本为一个应用需求对应设计一套采集程序，采集方式与采集时间在程序设计上都是采用固定不变的方式。并且对于同一个业务系统中的数据采集程序，也不适合进行复用。可见，目前的方案无法适应业务系统不断发展导致的业务分析不断变化的需求，当业务发生变化后，往往需要耗费较多人力和时间对原采集程序进行改造。显然，传统的数据采集程序可移植性较差，不容易形成产品化。若是出现新项目，还需重新针对新项目进行采集程序开发，导致在广泛应用推广上具有很大困难。

发明内容

本发明通过对采集任务中子任务的执行时间进行按需配置，使得当源数据具有时间信息，便可以依据源数据的时间信息灵活配置并调度不同的子任务的任务执行时间区间，从而适配不同的数据采集需求。

为实现上述目的，本发明第一方面提供了一种基于时间调度的数据采集方法，方法包括：确定数据采集任务，数据采集任务包括：源数据存储地址、本地数据存储地址和子任务序列；子任务序列包括按照顺序排列的至少一个子任务，每个子任务包括第一采集时间和第二采集时间，其中第一采集时间为该子任务的起始时间，第二采集时间为该子任务的结束时间；根据源数据存储地址，确定至少一个源数据，其中源数据包括时间信息；针对每个子任务进行数据采集，采集源数据库中时间信息大于或等于第一采集时间，且小于或等于第二采集时间的数据，得到至少一个采集数据；将采集得到的至少一个采集数据存储至本地数据存储地址。

优选地，子任务还包括任务类型，任务类型为第一任务类型、第二任务类型或第三任务类型；当任务类型为第二任务类型时，第一采集时间为无穷远；当任务类型为第三任务类型时，第二采集时间为无穷远。

优选地，当任务类型为第三任务类型时，第二采集时间为当前时间。

优选地，方法还包括：针对每个子任务，根据该子任务的第一采集时间和第二采集时间，确定采集时间段；子任务序列中每个子任务所对应的采集时间段无重叠部分。

优选地，第一采集时间为预先设置的；或根据本地数据存储地址，确定至少一个本地数据，其中本地数据包括时间信息；根据至少一个本地数据中的时间信息，确定第一采集时间。

优选地，第二采集时间为预先设置的；或根据至少一个源数据中的时间信息，确定第二采集时间。