[发明专利]云计算系统中高频次连续失效任务的在线识别方法和系统

说明书

技术领域

本发明属于云计算技术领域，具体涉及一种云计算系统中高频次连续失效任务的在线识别方法和系统。

背景技术

云计算以其按需使用的消费模式，逐渐被广泛应用于金融、商务等各个领域，云计算环境下系统的高可用性也日益成为云计算技术走向成熟的关键。然而，由于云计算系统规模逐渐扩大，异构性逐渐增强，各种类型的失效在云计算系统中频繁发生，这成为威胁云计算系统可用性和可靠性的关键因素之一。在云计算系统中，任务作为运行在单节点上的最小调度单元，是用户应用正常执行的基本保证，也是失效普遍发生的层次。为了提高系统可用性，提升容错性和自动恢复能力，目前云计算系统处理任务失效使其快速恢复的常用方法是重新提交调度。

然而，云计算系统中往往存在某些任务，这类任务通常具有以下特点：1)高频次失效：由于它们在生命周期内反复发生失效事件，其失效总频次远大于其他任务；2)失效连续性：它们在失效后无法通过重启进行快速恢复，因而任意两次失效之间几乎不存在正常运行状态，即失效状态连续。因此，我们将此类任务称为“高频次连续失效任务”。

经过分析发现，高频次连续失效任务表现出以下特定模式：1)资源使用模式：高频次连续失效任务在失效时刻和运行时刻的资源使用量存在显著差异，又由于其失效呈现连续性，因此它们的资源消耗在时间序列上存在明显分段趋势；2)失效频率特征：高频率连续失效任务的单位时间失效次数(失效频率)远大于其他任务。这些模式是高频次连续失效任务区别于其他任务的重要特征。但是，现有技术还没有识别高频次连续失效任务的有效方法。而高频次连续失效任务虽然会在每次失效后立刻被系统重新调度，但却无法通过重启而快速恢复，反而会在重复调度后反复发生失效。反复失效不仅造成系统资源的大量浪费，还会增加集群调度器的负载，给云计算系统带来潜在危害，难以满足云计算系统对高可用性的需求。

发明内容

为了克服上述现有技术的不足，本发明提供一种云计算系统中高频次连续失效任务的在线识别系统与方法，实现云计算系统中频繁失效且无法快速修复的任务的实时准确识别，提前通知云计算系统采取前摄性失效恢复措施，为云计算系统节约系统资源，减轻系统调度器负载，提高云计算系统的可靠性与可用性。

本发明的原理是：从事件和资源两个角度对云计算系统中的任务进行分析，其中事件角度指时间周期内失效事件发生频率，资源角度为时间周期内任务消耗的系统资源(如CPU、内存和磁盘等)，通过分析高频次连续失效任务和非高频次连续失效任务的失效频率特征和资源使用时间序列模式，实时识别云计算系统中反复失效且难以修复的高频次连续失效任务，可避免不必要的资源浪费和调度负载，提高云计算系统的可靠性和可用性。

本发明提供的技术方案是：

一种云计算系统中高频次连续失效任务的在线识别方法，根据离线监控数据进行基于时间序列的离线分析与学习，得到在一定置信水平上能代表所有非高频次连续失效任务失效频率特征的失效频率阈值，再识别得到在线数据中的高频次连续失效任务；包括如下步骤：

1)从离线监控数据中抽取出事件和资源时间序列数据，通过转换为特定格式得到离线数据格式转换结果，包括任务失效频次和资源使用量；

2)配置参数值，所述参数包括失效频次阈值、失效连续指数阈值、资源变动阈值和置信度阈值；所述失效频次阈值和失效连续指数阈值用于定义高频次连续失效任务；

3)根据步骤1)所述离线数据格式转换结果和步骤2)所述高频次连续失效任务定义参数(失效频次阈值和失效连续指数阈值)，将离线数据中的任务标记为高频次连续失效任务或非高频次连续失效任务；

4)利用步骤2)所述资源变动阈值和置信度阈值，分析得到非高频次连续失效任务的资源使用模式和失效频率特征，学习得到在一定置信水平上能代表所有非高频次连续失效任务失效频率特征的失效频率阈值；

5)将在线监控数据实时输入，抽取出任务的事件和资源时间序列数据，转换为特定格式，得到在线数据格式转换结果，包括任务失效频次和资源使用量；

6)根据步骤5)获取的在线数据格式转换结果和步骤4)得到的失效频率阈值，实时地识别得到在线数据中的高频次连续失效任务。

针对上述云计算系统中高频次连续失效任务的在线识别方法，进一步地，步骤1)所述将事件和资源时间序列数据转换为特定格式，具体是：