[发明专利]一种基于聚类的大数据交叉分析预警方法及系统

权利要求书

1.一种基于聚类的大数据交叉分析预警方法，其步骤为：

1)中央服务器从各终端服务器采集样本数据，并按照时间段对样本数据进行划分，每个时间段对应一样本数据集；

2)对于每一时间段的样本数据集，从中抽取若干样本构建一抽样样本集合，并对其进行聚类分析，得到若干簇；将聚类得到的簇作为样本的标签，对样本进行标注，然后根据选取的属性降维指标计算所述抽样样本集合中已标注样本每一属性的属性值辨识度、属性辨识度和或属性值重要性、属性重要性；其中，所述属性降维指标包括属性辨识度和或属性重要性；

3)分别根据属性值辨识度、属性辨识度和或属性值重要性、属性重要性对属性进行排序，选取排序靠前的若干属性作为大数据降维后保留的属性；

4)对属性降维后的每一所述样本数据集进行聚类，将聚类得到的簇的个数作为所述样本数据集的态势指数；

5)根据各个时间段的态势指数构建一态势指数时间序列；然后根据该态势指数时间序列确定一常态区域；并且根据各时间段的样本数据总量得到一样本数据总量时间序列，然后根据样本数据总量时间序列确定一样本总量常态区域；

6)计算当前时刻所采集样本数据的态势指数和样本总量，然后根据所述常态区域、样本总量常态区域分别确定态势指数和样本总量的状态，如果其中一项出现预警状态，则根据当前态势指数和样本总量的状态反馈交叉预警信息；

其中，属性值辨识度的计算方法为：选取样本一属性i的一属性值a，计算具有该属性值a的样本属于标签j的条件概率值，以及未增加该属性值条件时样本属于该标签j的概率值；将所述条件概率值与所述概率值的差值作为该属性值a对于该标签j的属性值辨识度；将该属性值a对于所有标签的属性值辨识度的平方平均数作为该属性值a的属性值辨识度；

属性辨识度的计算方法为：对属性i所有属性值的属性值辨识度平方平均数作为该属性i的属性辨识度；

属性值重要性的计算方法为：将样本属性i取属性值a时属于标签j的样本量乘以该属性值a对于该标签j的属性辨识度，得到该属性值a对于该标签j的属性值重要性；将该属性值a对于所有标签的属性值重要性的平方平均数作为该属性值a的属性值重要性；

属性重要性的计算方法为：

将属性i所有属性值的属性重要性的平方平均数作为该属性i的属性重要性。

2.如权利要求1所述的方法，其特征在于根据所述常态区域、样本总量常态区域分别确定态 势指数和样本总量的状态的方法为：如果当前时刻的态势指数超出所述常态区域，则对其进行监控，并计算下一时刻所采集样本数据的态势指数，如果仍超出所述常态区域，则进入预警状态；如果当前时刻的样本总量超出所述样本总量常态区域，则对其进行监控，并计算下一时刻所采集样本数据总量，如果仍超出所述样本总量常态区域，则进入预警状态。

3.如权利要求1或2所述的方法，其特征在于所述交叉预警信息包括：态势指数向上预警、样本总量向上预警，态势指数向下预警、样本总量向上预警，态势指数无预警、样本总量向上预警；态势指数向上预警、样本总量向下预警，态势指数向下预警、样本总量向下预警，态势指数无预警、样本总量向下预警；态势指数向上预警、样本总量无预警，态势指数向下预警、样本总量无预警。

4.如权利要求1所述的方法，其特征在于采用基于条件概率和贝叶斯算法计算所述辨识度。