[发明专利]一种机器数据分布式存储、读取方法及系统

说明书

本发明提供一种机器数据分布式存储、读取方法及系统，该方法包括：将实时采集的机器数据划分为若干个数据记录集，所述若干个数据记录集按数据类型进行数据存储，每一批次包括至少一个数据记录集，通过查询分析器提出用户查询请求，进行查询解析，并根据工业数据类型进行查询精确化，基于分区的组织方式，并行的从多个数据分区处理查询请求，依据数据类型从数据记录集内提取数据，得到若干查询结果片段，通过结果合成处理器将多个查询片段的查询结果进行合并得到最终的查询结果。

技术领域

本发明涉及机器数据处理技术领域，尤其涉及一种机器数据分布式存储、读取方法及系统。

背景技术

随着互联网技术的广泛应用，在科技行业，以及传统行业与互联网行业的结合的大背景下，企业的机器数据的增长呈现指数级，这些数据含有宝贵的价值，而在机器数据接入时需要实现可靠数据存储。现有的工业数据查询引擎查询过程较为繁琐，查询结果不够精确，耗时长。

7*24小时持续累积了海量的工业时序机器数据。工业时序数据有很多比较于关系数据所特有的性质。我们希望通过这些特性对海量的工业时序数据进行有效组织，并以此为基础在海量工业时序数据上进行分布式的查询处理，提供高效的查询服务能力以及水平扩展能力。同时，面向工业时序数据的查询请求也有其结合工业场景所特有的模式和特性，查询引擎有效支持和高效回答这些面向工业数据访问特性的查询请求。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种机器数据分布式存储、读取方法及系统。

本发明的一个方面，提供了一种机器数据存储方法，包括:

将实时采集的机器数据按数据类型划分为若干个数据记录集，所述若干个数据记录集在数据存储管理器内按数据类型进行分类数据存储，形成多个数据分区，每一数据分区包括至少一个数据记录集；

接口服务器接收到查询命令，并将查询命令传送至负载均衡器；负载均衡器根据系统各节点负载、节点失效情况进行请求调度和均衡，并把查询命令传递至数据查询检索器；

通过数据查询检索器接收查询请求，进行查询解析并根据有工业特点的元数据信息进行查询精确化，基于分区的组织方式，并行的从多个数据分区处理查询请求，依据数据类型从数据记录集内提取数据，得到若干查询结果片段；

通过结果合成处理器将多个查询片段的查询结果进行合并，得到最终具有工业数据访问专业特性的查询结果。

进一步地，还包括：

通过客户端输入查询命令，并发送至查询接口服务器；

进一步地，还包括：

通过负载均衡器进行系统优化，根据系统各节点负载、节点失效情况进行请求调度和均衡。

进一步地，所述负载均衡器使用包括轮询、最少连接优先、哈希和权重轮询的调度算法。

进一步地，所述工业数据类型包括数据的时间维度类型、设备维度类型和结合使用场景的用户自定义数据维度类型。

本发明还提供了一种机器数据分布式存储、读取系统，其特征在于，包括：

查询接口服务器，用以接收查询命令，并传送至负载均衡器；

负载均衡器，用以根据系统各节点负载、节点失效情况进行请求调度和均衡，并把查询命令传递至数据查询检索器；

数据查询检索器，用以接收查询请求，进行查询解析并根据有工业特点的元数据信息进行查询精确化，基于分区的组织方式，并行的从多个数据分区处理查询请求，依据数据类型从数据记录集内提取数据，得到若干查询结果片段；

查询结果合成器，用以将多个查询片段的查询结果进行合并得到最终具有工业数据访问专业特性的查询结果。