[发明专利]一种高性能计算机用混合神经网络故障预测方法及系统

说明书

本发明公开了一种高性能计算机用混合神经网络故障预测方法及系统，收集高性能计算机的日志数据，日志数据包括日志事件id，发生对应日志事件的时间戳和日志事件等级；对收集的日志数据进行数据清洗和特征选择，得到初始特征数据；使用随机森林算法构建故障预测模型，将得到初始特征数据输入故障预测模型，使用随机森林算法计算特征重要性，进行特征选择得到特征样本数据；将得到的特征样本数据输入LSTM网络模型中，使用LSTM网络模型对特征样本中是否存在故障事件进行预测。本发明通过随机森林对日志数据特征进行打分遴选，降低维度，这样可以减少训练复杂度，加快训练组度。

技术领域

本发明属于存储系统可靠性与可用性技术领域，具体涉及一种高性能计算机用混合神经网络故障预测方法及系统。

背景技术

高性能计算(High Performance Computing，HPC)是一种利用并行处理来运行应用程序的计算方法，这种计算方法高效、快速并且可靠。高性能计算系统允许在通过迅速网络互联的大量高端处理器上执行计算密集型应用程序。同时，高性能计算系统如今也被大领域广泛应用，如气候模拟、分子动力学、流体动力学、医学成像等等。正因如此，各个国家都大力发展研究高性能计算。

而随着高性能计算机大力发展，这些超级计算机的规模和复杂度也在不断变高，随着系统规模的不断扩大以及高性能计算机组件数量的增加，系统的平均无故障时间越来越短，甚至已经变成几小时。例如，Google Cluster大约每隔36小时就会出现结点失效，而ASCI White系统的平均无故障时间约为40个小时。

由于高性能计算机发生故障所带来的损失很大，会直接影响系统的运行，为了能在故障发生前，有效地预测出故障发生时间段，需要研究发明一种有效准确的故障预测手段。

故障预测方法一般是通过分析高性能计算机当前以及过去一段时间的状态来预测之后一段时间的状态，尤其是之后一段时间是否会发生故障，从而允许采取一定的处理手段来减轻故障带来的损失，故障预测的方法可行，但同时也为我们的故障预测带来两大挑战，一是如何设计出比较高的准确率的故障预测模型，二是预测出故障后，采取什么样的手段来将故障所带来的损失降到最低。

容错是指如果系统发生故障，系统中的程序还能够正常运行，故障如果无法避免，但是系统仍然能够正确处理程序输入输出。容错一般分为主动容错和被动容错，主动容错方法一般通过故障预测算法来实现，被动容错一般基于检查点设置和回滚恢复技术等。主动容错需要预测算法准确率高，被动容错会增加额外的时间和空间开销，保证系统的性能。难点在于如何将两者结合起来，保证预测准确率高的情况下，保证系统性能良好。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种高性能计算机用混合神经网络故障预测方法及系统，通过使用混合神经网络方法，对高性能计算机的日志数据进行清洗、筛选与分析，提前对系统所要发生的故障做出准确率较高的预测，并对即将发生的故障进行一定的容错机制处理。

本发明采用以下技术方案：

一种高性能计算机用混合神经网络故障预测方法，包括以下步骤：

S1、收集高性能计算机的日志数据，日志数据包括日志事件id，发生对应日志事件的时间戳和日志事件等级；

S2、对步骤S1收集的日志数据进行数据清洗和特征选择，得到初始特征数据；

S3、使用随机森林算法构建故障预测模型，将步骤S2得到初始特征数据输入构建的故障预测模型，使用随机森林算法计算特征重要性，根据特征重要性进行特征选择得到特征样本数据；

S4、将步骤S3得到的特征样本数据输入LSTM网络模型中，使用LSTM网络模型对特征样本中是否存在故障事件进行预测。

具体的，步骤S2中，数据清洗具体为：