[发明专利]用于大数据的数据稳定性检测方法及装置、存储介质、服务器

权利要求书

1.一种用于大数据的数据稳定性检测方法，其特征在于，包括：

基于历史数据得到按照时间序列排布的训练数据；

对所述训练数据进行拟合，以得到所述训练数据随时间的数据分布；

根据实际供应数据与所述数据分布的比较结果确定所述实际供应数据是否出现异常。

2.根据权利要求1所述的用于大数据的数据稳定性检测方法，其特征在于，所述基于历史数据得到按照时间序列排布的训练数据包括：按照时间序列提取所述历史数据中的数据，以得到时间序列数据；对所述时间序列数据进行清洗，以得到所述训练数据。

3.根据权利要求2所述的用于大数据的数据稳定性检测方法，其特征在于，所述对所述时间序列数据进行清洗，以得到所述训练数据包括：对所述时间序列数据进行对数变换，以得到变换后的数据；剔除所述变换后的数据中的异常数据，以得到所述训练数据。

4.根据权利要求3所述的用于大数据的数据稳定性检测方法，其特征在于，所述异常数据指的是：不在(Q_L-1.5IQR,Q_U+1.5IQR)范围内的数据，其中，Q_L表示所述变换后的数据的下四分点，Q_U表示所述变换后的数据的上四分点，IQR表示所述变换后的数据的四分位距，IQR＝Q_U-Q_L。

5.根据权利要求1所述的用于大数据的数据稳定性检测方法，其特征在于，所述历史数据包括以下一项或多项：网站监测数据、软件开发工具包监测数据、离线业务数据、结构化查询语言数据、实时接口数据。

6.根据权利要求1所述的用于大数据的数据稳定性检测方法，其特征在于，所述对所述训练数据进行拟合，以得到所述训练数据随时间的数据分布包括：构建含有参数的多项式模型；基于所述训练数据，利用最小二乘法或者梯度下降法求解所述多项式模型的参数，以得到所述训练数据随时间的数据分布。

7.根据权利要求1所述的用于大数据的数据稳定性检测方法，其特征在于，所述根据实际供应数据与所述数据分布的比较结果确定所述实际供应数据是否出现异常包括：

构造所述数据分布在预设置信度下的置信区间；

如果所述实际供应数据落入所述置信区间，则判断所述实际供应数据正常，否则判断所述实际供应数据异常。

8.根据权利要求7所述的用于大数据的数据稳定性检测方法，其特征在于，还包括：图形显示以下一项或多项：所述数据分布、所述数据分布在预设置信度下的置信区间、所述实际供应数据和表示所述实际供应数据异常的标识。

9.一种用于大数据的数据稳定性检测装置，其特征在于，包括：

训练模块，适于基于历史数据得到按照时间序列排布的训练数据；

拟合模块，适于对所述训练数据进行拟合，以得到所述训练数据随时间的数据分布；

判断模块，适于根据实际供应数据与所述数据分布的比较结果确定所述实际供应数据是否出现异常。

10.根据权利要求9所述的用于大数据的数据稳定性检测装置，其特征在于，训练模块适于按照时间序列提取所述历史数据中的数据，以得到时间序列数据；对所述时间序列数据进行清洗，以得到所述训练数据。

11.根据权利要求10所述的用于大数据的数据稳定性检测装置，其特征在于，训练模块还适于对所述时间序列数据进行对数变换，以得到变换后的数据；剔除所述变换后的数据中的异常数据，以得到所述训练数据。

12.根据权利要求11所述的用于大数据的数据稳定性检测装置，其特征在于，所述异常数据指的是：不在(Q_L-1.5IQR,Q_U+1.5IQR)范围内的数据，其中，Q_L表示所述训练数据的下四分点，Q_U表示所述训练数据的上四分点，IQR表示所述变换后的数据的四分位距，IQR＝Q_U-Q_L。

13.根据权利要求9所述的用于大数据的数据稳定性检测装置，其特征在于，所述历史数据包括以下一项或多项：网站监测数据、软件开发工具包监测数据、离线业务数据、结构化查询语言数据、实时接口数据。