[发明专利]基于大数据平台的开关设备故障特征提取方法

摘要

本发明提出了一种基于大数据平台的开关设备故障的特征提取方法，主要解决现有技术在面对海量开关设备故障的数据时，不能高效、准确地对各种故障类型进行特征提取的问题。其实现方案是搭建Hadoop子平台进行数据收集、存储及数据预处理；搭建SparkR平台进行多变量多尺度熵MMSE的分布式计算，并将计算结果保存到分布式文件系统HDFS中；从HDFS下载计算结果，利用R软件绘制开关设备各故障的多变量样本熵曲线；根据各故障的多变量样本熵曲线，选取对应尺度因子范围的多变量样本熵值作为各故障的特征参数。本发明整个方案设计严谨、完整，具备海量数据存储与分布式计算能力，故障特征提取的效率和准确性高，可以为及时诊断和预判开关设备故障提供依据。

主权项

一种基于大数据平台的开关设备故障特征提取方法，包括:(1)搭建SparkR大数据平台：(1a)安装Linux系统、Hadoop开源软件和Spark开源软件；(1b)根据现有故障数据规模，确定平台集群的节点个数，并根据后续需要处理的故障数据规模，对该节点个数可以扩展或缩减；(1c)配置平台集群各个节点，即从确定的节点数中将任意1个节点作为主节点Master，其余作为从节点Slave；(1d)在确定的主节点Master和所有从节点Slave上，配置服务器进程SSH(Secure Shell)并进行无密码验证，并安装Java软件、配置Java环境、配置Hadoop核心文件和Spark核心文件；(2)数据收集与存储：主节点Master从平台外部，通过Hadoop的Sqoop组件技术采集关系型的故障数据；通过Flume组件技术采集文件型的故障数据，并将采集的这些数据存储到Hadoop的分布式文件系统HDFS中，主节点Master和所有从节点Slave共享这些数据；(3)数据预处理：对存储在分布式文件系统HDFS中的故障数据依次进行转换和归一化的预处理，为后续数据分析提供高质量数据；(4)数据分布式计算：在本地主机上，利用R软件将只能在单机上运行的多变量多尺度熵MMSE改写成能在大数据平台SparkR上运行的分布式算法；主节点Master通过大数据平台SparkR的SparkR API接口从本地主机调用MMSE的分布式算法，将其部署到各个从节点Slave，并以预处理后的数据作为该算法的输入；从节点Slave并行计算各故障的多变量样本熵，并将计算结果保存到Hadoop的分布式文件系统HDFS中；(5)可视化展示：在单机环境下，本地主机从大数据平台的分布式文件系统HDFS中下载结果数据，然后利用开源R软件的绘图功能绘制开关设备各种故障的多变量样本熵曲线；(6)特征提取：根据各故障的多变量样本熵曲线，选取各故障曲线都较平缓，且各故障对应尺度因子的多变量样本熵值彼此相差较大的尺度因子范围，并将该尺度因子范围的多变量样本熵值作为各故障的特征参数。