[发明专利]基于HDFS的异构物联网大数据的存储与读取系统及方法

说明书

本发明涉及一种基于HDFS的异构物联网大数据的存储与读取系统及方法，包括数据查询服务器、客户端和多个数据存储中心；数据查询服务器分别与客户端和各个数据存储中心连接；每一个数据存储中心包括数据采集模块、数据处理服务器和Hadoop集群，数据采集模块与数据处理服务器连接，数据处理服务器与Hadoop集群连接，Hadoop集群与数据查询服务器连接；Hadoop集群包括HDFS分布式文件系统；数据查询服务器中存储有各个Hadoop集群的存储参数。与现有技术相比，本发明在多个Hadoop集群之外，设置数据查询服务器，来保存各集群的IP地址和HDFS文件信息，打破了传统数据架构的壁垒，用户可以经数据查询服务器查询或下载多个Hadoop集群的数据，而不必依次访问各个Hadoop集群。

技术领域

本发明涉及大数据存储与读取领域，尤其是涉及一种基于HDFS的异构物联网大数据的存储与读取系统及方法。

背景技术

一方面，随着网络技术和通信技术的迅速发展，人类社会步入了大数据时代，人们也越来越关注大数据的处理和分析；另一方面，随着智慧城市的推进，各个部门的物联网系统产生了大量的数据，部门是指管理某物联网系统(如智慧交通系统)的机构，如交通、环保、水利、气象等，智慧城市物联网系统往往是异构互联网。

Hadoop是一个开源的分布式计算平台，Hadoop以Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce为核心，HDFS的诸多优点如高容错性、高扩展性让其有了很大的发展。用户可以在低廉的硬件上部署Hadoop，构建分布式文件系统；无需了解Hadoop分布式系统底层的具体细节就可以使用分布式编程模型开发应用程序。同时，用户可以很容易地组织计算机资源搭建自己的分布式计算平台，利用Hadoop优秀的计算和存储能力，完成大规模数据的处理。

HDFS是一种分布式文件系统，该系统由NameNode和DataNode两种节点组成。其中，NameNode用于管理Hadoop集群的命名空间和客户端对文件的访问操作，维护着文件系统树及整棵树内所有文件和目录。DataNode是文件系统的工作节点，管理存储的数据，它们根据需要存储并检索数据块，受客户端或NameNode调度，并且定期向NameNode发送它们所存储块的列表。

中国专利CN201910383263.8公开了一种基于Hadoop的云平台存储方法，将获取的大量数据存储在基于Hadoop的云平台，开发人员不需要对底层的磁盘、服务器等基础设施进行搭建和管理，而只需对云存储服务平台进行有效的维护和管理，致力于平台上的应用开发，以及云存储文件系统的优化，就可以满足用户的现实需求。

但是，在物联网系统中，受地理环境和成本限制，多个部门的物联网数据存储在不同的数据中心，即使使用Hadoop架构进行数据存储，每个部门的数据也分别存储在不同的Hadoop集群。用户如果想要读取不同部门的数据，就必须依次访问各个部门的数据中心，才能读取数据，不同部门的数据不互通，这给数据的综合分析使用带来了阻碍。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于HDFS的异构物联网大数据的存储与读取系统及方法，在多个Hadoop集群之外，设置数据查询服务器，来保存各集群的IP地址和HDFS文件信息，打破了传统数据架构的壁垒，用户可以经数据查询服务器查询或下载多个Hadoop集群的数据，而不必依次访问各个Hadoop集群。

本发明的目的可以通过以下技术方案来实现：

一种基于HDFS的异构物联网大数据的存储与读取系统，包括数据查询服务器、客户端和多个数据存储中心；

所述数据查询服务器分别与客户端和各个数据存储中心连接；

每一个数据存储中心包括数据采集模块、数据处理服务器和Hadoop集群，所述数据采集模块与数据处理服务器连接，所述数据处理服务器与Hadoop集群连接，所述Hadoop集群与数据查询服务器连接；