[发明专利]数据采集调度的方法及系统

说明书

技术领域

本发明涉及计算机信息技术领域，尤其涉及一种数据采集调度的方法及系统。

背景技术

随着网络应用的日益广泛，服务器系统的数据流量迅速增加，从而使传统类型的服务器系统的数据处理能力受到极大挑战，为解决上述问题，目前普遍采用集群技术，即利用两台以上的服务器进行协同工作，而且集群技术具有极高的可靠性和强大灵活的系统扩充能力，但为充分发挥各服务器之间的协同工作，需要对各服务器的各项指标进行数据采集，从而灵活调度各服务器进行工作。

在大型数据中心，物理服务器数量庞大，如果物理服务器实现虚拟化，则服务器数量更加庞大，面对如此庞大的服务器集群，并且每个服务器所要采集的指标不一、各指标采集间隔不一，这对调度服务器提出了较高的要求。一般的对各目标服务器进行指标采集的方法容易造成调度服务器压力过大，造成无法及时准确的完成各调度指标的采集任务；或存在要求各目标服务器采集指标必须一致及所有指标采集周期必须一致等约束。

因此如何在不对各服务器的各项采集指标进行约束的条件下实现对目标服务器高效、细粒度的数据采集是一个亟待解决的问题。

发明内容

为解决上述问题本发明提供了一种数据采集调度的方法。

为实现本发明目的提供的一种数据采集调度的方法，包括以下步骤：

读取各目标服务器的采集指标配置信息，设置每个采集指标的等待调度时间t_wait的值为所述配置信息中的指标采集周期t_cycle的值，并构建包含各目标服务器的采集指标配置信息及所述等待调度时间t_wait的数据表单schedule_table；

读取调度服务器中预设的数据采集时间片t_slice的值，设置调度服务器中的定时采集调度器的采集时间间隔为所述t_slice的值，将所述采集时间间隔点作为调度时间点，并启动所述定时采集调度器；

当所述定时采集调度器调度时间点到达时，所述数据表单中各个目标服务器的各采集指标的等待调度时间t_wait的值减去数据采集时间片t_slice的值，作为新的等待调度时间t_wait的值；将所述等待调度时间t_wait的值小于等于0的采集指标加入到调度服务器的任务队列；同时将值小于等于0的采集指标的等待调度时间t_wait的值重新设置为所述采集指标的指标采集周期t_cycle的值，然后等待下一个调度时间点的到达。

较佳地，作为一种可实施方式，在所述读取各目标服务器的采集指标配置信息，设置每个采集指标的等待调度时间t_wait的值为所述配置信息中的指标采集周期t_cycle的值，并构建包含各目标服务器的采集指标配置信息及所述等待调度时间t_wait的数据表单schedule_table之前，还包括以下步骤：

读取调度服务器的数据采集模式schedule_mode；

所述数据采集模式包括立即采集模式和延迟采集模式；

在所述立即采集模式下，启动定时采集调度器时则对目标服务器的各项采集指标进行采集调度；

在所述延迟采集模式下，启动定时采集调度器时不对目标服务器的各项采集指标进行采集调度，只有当某项采集指标等待调度时间t_wait小于等于0时对所述采集指标进行采集调度。

较佳地，作为一种可实施方式，所述当所述定时采集调度器调度时间点到达时，所述数据表单中各个目标服务器的各采集指标的等待调度时间t_wait的值减去数据采集时间片t_slice的值，作为新的等待调度时间t_wait的值；将所述等待调度时间t_wait的值小于等于0的采集指标加入到调度服务器的任务队列；同时将值小于等于0的采集指标的等待调度时间t_wait的值重新设置为所述采集指标的指标采集周期t_cycle的值，然后等待下一个调度时间点的到达，包括以下步骤：

当定时采集调度器调度时间点到达时，所述数据表单中各个目标服务器的各采集指标的等待调度时间t_wait的值减去数据采集时间片t_slice的值，得到更新后的新的等待调度时间t_wait的值；

检测出每台目标服务器的各采集指标的所述新的等待调度时间t_wait的值小于等于0的采集指标；

将每台目标服务器中的等待调度时间t_wait的值小于等于0的采集指标组成采集调度指标集合，发送所述采集调度指标集合到采集任务，并将所述采集调度指标集合中的采集指标的等待调度时间t_wait的值重新设置为所述采集指标的指标采集周期t_cycle的值，直至下一个调度时间点的到达；