[发明专利]电力物联网中流数据处理方法、装置及终端设备

说明书

本发明适用于数据处理技术领域，公开了一种电力物联网中流数据处理方法、装置及终端设备，包括：通过Spout接收流数据并发送至第一Bolt节点和第二Bolt节点；通过第一Bolt节点将接收到的流数据保存至分布式文件系统中；通过第二Bolt节点对接收到的流数据进行预处理得到处理后的流数据；通过第三Bolt节点对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点；通过第四Bolt节点选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点；通过第五Bolt节点将其他数据与参考数据对比，得到正常数据、异常数据和故障数据，并存储至分布式文件系统中。本发明能提高数据处理效率。

技术领域

本发明属于数据处理技术领域，尤其涉及一种电力物联网中流数据处理方法、装置及终端设备。

背景技术

由于互联网技术的迅速发展，使人们生活的越来越便捷，也产生了越来越多的数据，这给数据价值的挖掘带来了重大的挑战。并且随着物联网的飞速发展和电力系统的不断扩展，与电力行业有关的数据量变得非常大，因此，在电力物联网中研究一种提高数据处理效率的数据处理方法是十分有必要的。然而，目前的数据处理方法的数据处理效率较低。

发明内容

有鉴于此，本发明实施例提供了一种电力物联网中流数据处理方法、装置及终端设备，以解决现有技术的数据处理效率较低的问题。

本发明实施例的第一方面提供了一种电力物联网中流数据处理方法，基于分布式流数据处理框架Apache Storm对电力物联网中的流数据进行处理；上述方法包括：

通过Spout，接收流数据并发送至第一Bolt节点和第二Bolt节点；

通过第一Bolt节点，将接收到的流数据保存至分布式文件系统中；

通过第二Bolt节点，对接收到的流数据进行预处理得到处理后的流数据；通过第三Bolt节点，对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点；通过第四Bolt节点，选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点；通过第五Bolt节点，将其他数据与参考数据对比，得到正常数据、异常数据和故障数据，并将正常数据、异常数据和故障数据存储至分布式文件系统中。

在一种可能的实现方式中，第四Bolt节点的数量为两个；

通过第三Bolt节点，对处理后的流数据进行分类，并将不同类别的流数据发送至不同的第四Bolt节点，包括：

通过第三Bolt节点，将处理后的流数据划分为用于预测的数据和用于分类的数据，并将用于预测的数据发送至第一个第四Bolt节点，将用于分类的数据发送至第二个第四Bolt节点；

相应的，通过第四Bolt节点，选取出参考数据，并将参考数据与其他数据发送至第五Bolt节点，包括：

通过第二个第四Bolt节点，从用于分类的数据中选取出参考数据，并将参考数据与用于分类的数据中的其他数据发送至第五Bolt节点；

电力物联网中流数据处理方法还包括：

通过第一个第四Bolt节点，基于用于预测的数据进行预测。

在一种可能的实现方式中，通过第一个第四Bolt节点，基于用于预测的数据进行预测，包括：

通过第一个第四Bolt节点，基于用于预测的数据和支持向量机模型进行预测。

在一种可能的实现方式中，电力物联网中流数据处理方法还包括：

采用流水线模式对电力物联网中流数据进行处理。

在一种可能的实现方式中，电力物联网中流数据处理方法还包括：

基于循环队列和流转算子实现流数据和各个节点的处理逻辑的流转。