[发明专利]一种高性能计算机用混合神经网络故障预测方法及系统

权利要求书

1.一种高性能计算机用混合神经网络故障预测方法，其特征在于，包括以下步骤：

S1、收集高性能计算机的日志数据，日志数据包括日志事件id，发生对应日志事件的时间戳和日志事件等级；

S2、对步骤S1收集的日志数据进行数据清洗和特征选择，得到初始特征数据，使用Pearson相关系数法进行特征选择，两个成对变量的相关系数r如下：

其中，X和Y表示的是一对成对的连续的变量，n为单位时间窗口数量，r的取值范围是[-1,1]；

S3、使用随机森林算法构建故障预测模型，将步骤S2得到初始特征数据输入构建的故障预测模型，使用随机森林算法计算特征重要性，根据特征重要性进行特征选择得到特征样本数据，具体为：

S301、利用观测时间窗口以及当前窗口的各项特征数据，将初始特征数据向量化，构建样本数据向量；

S302、从步骤S301构建的样本数据向量中选取2h时间段的样本数据，将观测时间窗口内的特征向量组成向量；

S303、将步骤S302选取的向量输入随机森林故障预测模型中，得到结果故障标签；

S304、如果步骤S303得到的结果故障标签为0，则为未发生故障，如果结果故障标签为1，则为即将发生故障；

S305、计算袋外数据误差，以及加入噪声干扰的袋外数据误差，计算特征重要度；

S306、调用随机森林算法的特征选择函数，得到特征重要度排序，选取特征重要度前10位特征样本数据组成向量Y_(t)；

S4、将步骤S3得到的特征样本数据输入LSTM网络模型中，使用LSTM网络模型对特征样本中是否存在故障事件进行预测，进行LSTM网络模型的故障预测具体为：

S401、将步骤S3得到的特征样本数据输入至LSTM网络模型中，用n个单位时间窗口构建观测时间窗口；

S402、LSTM网络模型输出得到结果输出概率p；

S403、设置故障阈值k，对观测时间窗口进行判断，如果pk，则未发生故障，否则发生故障。

2.根据权利要求1所述的方法，其特征在于，步骤S2中，数据清洗具体为：

删除日志数据中重复冗余列以及对故障预测没有帮助的数据列；移除日志数据中的无意义数据；删除缺失记录；针对编辑距离设置阈值，如果两条日志的编辑距离小于阈值，则视为重复冗余日志记录，保留时间最远的第一条记录，删除其余冗余记录，得到时间窗口以及当前窗口的各项特征数据。

3.根据权利要求1所述的方法，其特征在于，步骤S305中，特征重要度result计算如下：

result＝∑(err_OOB2-err_OOB1)/N

其中，err_OOB1为袋外数据误差，err_OOB2为加入噪声干扰的袋外数据误差，N为分类问题个数。

4.根据权利要求1所述的方法，其特征在于，步骤S306中，特征样本数据包括：ERROR等级事件的数量，FATAL等级事件的数量，FAILURE等级事件的数量，SEVERE等级事件的数量，ERROR等级事件的数量，MONITOR设备故障事件数量，MMCS设备故障事件数量和DISCOVERY设备故障事件数量。

5.根据权利要求1所述的方法，其特征在于，步骤S402中，输出概率p为：

p＝f(Y_(t))

其中，f表示要求解的模型，Y_(t)为LSTM网络模型中观测窗口的前10位特征样本数据组成的向量。