[发明专利]数据预处理装置及方法

说明书

技术领域

本发明的实施例涉及一种数据预处理装置及方法。

背景技术

近年来，随着企业或公共机关的业务的电子化，构筑专门的数据中心的事例越来越多。对于数据中心而言，一般被构成为包括用于分别执行所分配的工作的多个服务器及用于监控各个服务器及检测故障的专门的监控设备。

由于包括在数据中心的服务器与其他驱动服务器一起被驱动的情况多于各自独立地被驱动，因此即便仅一部分网络服务器出现障碍，稍有不慎也会影响整体业务。因此，迅速检测出各个服务器的故障而应对，在运营数据中心时非常重要。但是构成数据中心的各个服务器的设备构成部件(中央处理器、存储器、磁盘、文件系统等)、各个构成部件的测定周期、采集的数据的种类等非常多样。因此，为了对在各自不同的服务器中采集的数据进行准确分析，针对所采集的原始数据的预处理工作是必需的。

【现有技术文献】

【专利文献】

第2012-0179658号美国公开专利公报(2012.07.12.)

第2010-0257145号美国公开专利公报(2010.10.07.)

发明内容

本发明的实施例旨在提供一种针对从由多种规格(specification)构成的服务器获得的数据的有效的预处理手段。

根据本发明的一方面，提供了一种数据预处理装置，包括：风险度分析单元，利用对象系统的故障历史信息及所述对象系统的特性信息来计算所述对象系统的故障风险度；采集周期设定单元，根据计算出的所述故障风险度，确定从所述对象系统采集数据的数据采集周期；预处理单元，根据所述数据采集周期，对从所述对象系统采集的数据执行预处理。

所述风险度分析单元可基于所述故障历史信息来生成包括回归分析模型、机器学习模型或者基于规则的模型中的一种以上的风险度分析模型，并将所述对象系统的特性信息或者所述对象系统的状态信息应用到生成的所述风险度分析模型而计算出所述对象系统的故障风险度。

所述采集周期设定单元可以以计算出的所述故障风险度越高所述数据采集周期就越短的方式确定从所述对象系统采集数据的数据采集周期。

所述采集周期设定单元可利用计算出的所述故障风险度及已设定的系统负载时间段信息来确定从所述对象系统采集数据的数据采集周期。

所述采集周期设定单元可将所述系统负载时间段内的数据采集周期设定为短于除所述系统负载时间段外的数据采集周期。

所述数据预处理装置还可包括：计算区间设定单元，根据所述对象系统的状态来设定用于所述预处理单元的数据预处理的计算区间(time window)。

所述计算区间设定单元可将所述计算区间设定为，所述对象系统的中央处理器使用率或者辅助存储装置使用率越高，所述计算区间就越短。

所述对象系统的特性信息可包括：所述对象系统的硬件规格(specification)、操作系统(Operation System)信息、系统设定信息及正在执行的软件信息中的一种以上。

所述数据的预处理可包括：从所述对象系统采集的数据的归一化(normalization)、插值(interpolation)、填补(imputation)、主成分分析(principal component analysis)或者统计分析中的一种以上。

所述对象的系统状态信息可包括：所述对象系统的中央处理器(CPU)使用率或者辅助存储装置使用率中的一种以上。

此外，根据本发明的另一方面，提供了一种数据预处理方法，包括如下步骤：在风险度分析单元中，利用对象系统的故障历史信息及所述对象系统的特性信息来计算所述对象系统的故障风险度；在采集周期设定单元中，根据计算出的所述故障风险度，确定从所述对象系统采集数据的数据采集周期；在预处理单元中，根据所述数据采集周期，对从所述对象系统采集的数据执行预处理。

分析所述风险度的步骤还可包括如下步骤：可基于所述故障历史信息来生成包括回归分析模型、机器学习模型或者基于规则的模型中的一种以上的风险度分析模型；将所述对象系统的特性信息或者所述对象系统的状态信息应用到生成的所述风险度分析模型而计算出所述对象系统的故障风险度。

在确定所述数据采集周期的步骤中，可以以计算出的所述故障风险度越高所述数据采集周期就越短的方式确定从所述对象系统采集数据的数据采集周期。

确定所述数据采集周期的步骤可被构成为，利用计算出的所述故障风险度及已设定的系统负载时间段信息来确定从所述对象系统采集数据的数据采集周期。