[发明专利]一种面向物联网的数据中间件系统

说明书

本发明公开了一种面向物联网的数据中间件系统，包括物联网数据采集模块，用于通过传感装置采集物联网设备的实时数据并传输至物联网数据存储模块；分布式内存文件层用于对实时数据进行写缓存和聚类写，将缓存后和聚类后的存储数据写入分布式文件层进行存储；物联网数据检索模块，用于对物联网数据存储模块中的存储数据建立索引，返回目标数据检索结果；物联网数据分析模块，用于对目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。本发明在分布式文件层上设置分布式内存文件层，对海量的传感器数据进行分布式并行写缓存和聚类合并，使得海量实时数据能够进行高吞吐的写缓存服务，且有效减少物联网中对象查询时的时间，提高查询效率。

背景技术

本发明属于数据处理技术领域，具体涉及一种面向物联网的数据中间件系统。

背景技术

物联网是一个将海量传感装置与互联网相结合起来而形成的巨大网络。在物联网中，海量传感装置不断地采集数据并发送到数据中心；随着感知技术与网络技术的不断发展，数据呈现出海量特性，形成了物联网大数据。对物联网大数据进行持久化存储，可以获得任一传感器的历史与当前感知数据，通过对数据进行检索和统计分析，可以实现复杂与规律的感知和趋势分析；数据存储与管理以流任务运行在数据中心中，通过节能任务调度，降低物联网应用的成本。目前，物联网产业早已渗透至诸如工业生产、智能家居、宇宙开发、海洋探测、环境保护、资源调查、医学诊断、生物工程、甚至文物保护等等及其广泛的领域，物联网产业进入快速发展时期。

物联网数据的存储与处理，需要持久化存储数据、实时检索数据，对数据进行及时的分析和处理，从而实现对数据有效的感知与控制。但是，物联网数据的海量特性为数据的存储与处理带来了巨大的挑战。主要在于：海量传感器频繁地产生新的采集数据并发送到数据中心，形成了庞大的实时数据写入流，而传统的持久化存储系统无法对海量实时数据进行实时高性能的数据存储，因此无法满足物联网海量数据在线存储的需求。

发明内容

本发明的目的是一种面向物联网的数据中间件系统，用于解决现有技术中存在的至少一个技术问题。

为了实现上述目的，本发明采用以下技术方案：

一种面向物联网的数据中间件系统，包括：采用数据总线相互通信连接的物联网数据采集模块、物联网数据存储模块、物联网数据检索模块和物联网数据分析模块；

所述物联网数据采集模块用于通过传感装置采集物联网设备的实时数据并传输至所述物联网数据存储模块；

所述物联网数据存储模块包括分布式文件层和与所述分布式文件层连接的分布式内存文件层，所述分布式内存文件层用于对所述实时数据进行写缓存和/或聚类写，并将缓存后和/或聚类后的存储数据写入所述分布式文件层进行存储；

所述物联网数据检索模块用于对所述物联网数据存储模块中的存储数据建立索引，接收目标数据检索请求并返回目标数据检索结果；

所述物联网数据分析模块用于对所述目标数据检索结果进行数据分析，得到对目标数据的数据分析结果。

在一种可能的设计中，所述分布式内存文件层置顶设置在所述分布式文件层上。

在一种可能的设计中，所述分布式内存文件层包括一个主存储节点和多个分布存储节点，所述主存储节点包括写缓存管理模块，所述分布存储节点包括写缓存服务模块；

所述写缓存管理模块用于根据所述物联网数据采集模块的写入请求，向所述物联网数据采集模块返回对应的写缓存服务模块；

所述写缓存服务模块用于接收所述实时数据以完成数据写入操作，并向所述物联网数据采集模块返回写成功的命令。

在一种可能的设计中，所述写缓存管理模块包括请求监听接口、写调度单元和第一元数据管理单元；