[发明专利]一种流数据存储方法及装置

权利要求书

1.一种流数据存储方法，其特征在于，应用于服务器，包括物联网层，云端，网关、数据采集器，所述物联网层与云端物理连接，所述方法包括：

所述物联网固定时间间隔的采集用户提交的数据查询请求；

分析所述查询请求，包括所述查询请求的时间属性及特征属性；

根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；

根据所述时间属性、所述特征属性、所述待查询数据的存储量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；

数据采集器接收网络流数据，并将网络流数据转发给文件服务器，所述服务器上的接收进程接收转发来的网络流数据；

所述服务器读取配置文件，按照配置文件存储接收到的网络流数据。

2.根据权利要求1所述一种流数据存储方法，其特征在于，所述云端包括：

流数据处理系统、控制器和关系型数据库，所述云端中的流数据处理系统存储接收到的流数据，并存储为历史数据；所述控制器查询流数据处理系统中的历史数据将其存储到关系型数据库，并且从流数据库中将这些数据删除。

3.根据权利要求1所述一种流数据存储方法，其特征在于，所述时间属性的时间跨度及每个特征属性的出现频率，根据每个特征属性的出现频率，选择超出预设出现频率的阈值的特征属性进行确定。

4.根据权利要求2所述一种流数据存储方法，其特征在于，所述流数据处理系统采用HDFS分布式文件存储系统与Impala平台相结合的数据处理系统。

5.根据权利要求2所述一种流数据存储方法，其特征在于，所述方法还包括：

采用窗口显示类显示实时流数据；

接收客户端的应用层通过服务端发送数据查询请求；

所述控制器根据不同的查询的请求从数据库中查询不同的数据；

所述控制器将查询到的数据发送给数据查询类；

数据查询类将数据传送至数据类；

数据类根据用户的动作显示实时数据或者历史数据。

6.根据权利要求1所述一种流数据存储方法，其特征在于，所述方法还包括：

所述服务器上的数据接收进程将网络流数据转发给数据存储进程，数据存储进程按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；

每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；

将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采用追加写的方式将压缩后的数据文件写入到相应的存储文件中。

7.一种流数据存储装置，其特征在于，应用于服务器，包括物联网层，云端，网关、数据采集器，所述物联网层与云端物理连接，所述装置包括：

采集单元，用于所述物联网固定时间间隔的采集用户提交的数据查询请求；

分析单元，用于分析所述查询请求，包括所述查询请求的时间属性及特征属性；

选定单元，用于根据所述时间属性和所述特征属性，选定分段的数量和分段的端点，并根据划分的分段中待查询数据的存储量选定待写入的缓存区的大小；

生成单元，用于根据所述时间属性、所述特征属性、所述待查询数据的存储量、分段的端点和待写入的缓存区的大小生成配置文件，并将配置文件存储于文件服务器上；

第一转发单元，用于数据采集器接收网络流数据，并将网络流数据转发给文件服务器，所述服务器上的接收进程接收转发来的网络流数据；

存储单元，用于所述服务器读取配置文件，按照配置文件存储接收到的网络流数据。

8.根据权利要求7所述一种流数据存储装置，其特征在于，所述装置还包括：

第二转发单元，用于所述服务器上的数据接收进程将网络流数据转发给数据存储进程，数据存储进程按照配置文件将网络流数据分配到对应的一级缓存区中进行存储；

排序单元，用于将每个一级缓存区分别对分配过来的网络流数据进行排序和压缩；

写入单元，用于将排序和压缩后的网络流数据写入二级缓存区，当二级缓存区达到预定的大小时，采用追加写的方式将压缩后的数据文件写入到相应的存储文件中。