[发明专利]一种流数据存储方法及装置

说明书

技术领域

本发明涉及流数据存储技术领域，特别涉及一种流数据存储方法及装置。

背景技术

伴随着工业4.0的浪潮，制造业的信息化水平越来越高，在工业自动化生产过程中会相应的产生海量的实时数据，这些数据即是流数据。流数据的持续产生，海量，实时的特性，使得这类数据的存储以及查询异常困难。采用本地化的关系型数据进行处理，会大大延迟数据查询的速度以及存储的数据量。针对此问题，国内外开始了大量的研究。比较传统的做法是在本地采用实时数据库或者实时数据库与关系型数据库集成的做法解决此问题。但是在工业互联网时代显然本地的数据无法发挥其数据的真正价值。另外一种做法是以单独的流数据处理系统对数据文件进行管理从而达到流数据实时处理的效果。

这种方法大部分用在消费级互联网领域，而且需要强大的服务器体系做支撑，在工业领域，数据的产生会量远远超过消费级的数据量，而且数据一般只有在某一段时间内算是实时数据，超过这一时间段即是历史数据，而且目前尚未出现巨大的服务器体系。因此采用一种将实时数据与历史数据进行区分存储处理，可以在满足用户查询历史数据的基础上，大大减小流数据处理系统的压力。

发明内容

本发明实施例的目的在于提供一种流数据存储方法及装置，以解决流数据的实时查询问题，以及本地存储量有限的问题，而且将流数据中实时数据与历史数据进行区分，可以有效的对数据进行存储以及处理，既可以减小服务器体系的成本，又可以达到实时数据快速查询的效果。

为达到上述目的，本发明实施例公开了一种流数据存储方法及装置，技术方案如下：

一种流数据存储方法，其特征在于，应用于服务器，包括物联网层，云端，网关、数据采集器，所述物联网层与云端物理连接，所述方法包括：

所述物联网固定时间间隔的采集用户提交的数据查询请求；

分析所述查询请求，包括所述查询请求的时间属性及特征属性；

根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；

根据所述时间属性、所述特征属性、所述待查询数据的存储量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；

数据采集器接收网络流数据，并将网络流数据转发给文件服务器，所述服务器上的接收进程接收转发来的网络流数据；

所述服务器读取配置文件，按照配置文件存储接收到的网络流数据。

优选的，所述云端包括：

流数据处理系统、控制器和关系型数据库，所述云端中的流数据处理系统存储接收到的流数据，并存储为历史数据；所述控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。

优选的，所述时间属性的时间跨度及每个特征属性的出现频率，根据每个特征属性的出现频率，选择超出预设出现频率的阈值的特征属性进行确定。

优选的，所述流数据处理系统采用HDFS分布式文件存储系统与Impala平台相结合的数据处理系统。

优选的，所述方法还包括：

采用窗口显示类显示实时流数据；

接收客户端的应用层通过服务端发送数据查询请求；

所述控制器根据不同的查询的请求从数据库中查询不同的数据；

所述控制器将查询到的数据发送给数据查询类；

数据查询类将数据传送至数据类；

数据类根据用户的动作显示实时数据或者历史数据。

优选的，所述方法还包括：

所述服务器上的数据接收进程将网络流数据转发给数据存储进程，数据存储进程按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；

每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；

将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采用追加写的方式将压缩后的数据文件写入到相应的存储文件中。

一种流数据存储装置，应用于服务器，包括物联网层，云端，网关、数据采集器，所述物联网层与云端物理连接，所述装置包括：

采集单元，用于所述物联网固定时间间隔的采集用户提交的数据查询请求；

分析单元，用于分析所述查询请求，包括所述查询请求的时间属性及特征属性；

选定单元，用于根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；