[发明专利]一种基于HBase的物联网大数据存取方法

说明书

本发明一种基于HBase的物联网大数据存取方法属于物联网数据处理技术领域，特别是一种基于HBase数据库的物联网大数据存取方法。包括1）创建HBase表，每一种终端类型对应一张HBase表,将终端类型名作为HBase的表名，指定列族名称(Column Family)、列限定符名称(Column)和Region的拆分策略；2）将上报数据导入HBase表,设计了一套rowkey的生成方案；3）数据查询。本发明充分考虑了物联网应用领域特点和HBase列式存储的特性，实现了数据的高效存储，满足了用户不同应用场景下的需求，并有效地兼顾了系统的可扩展性和数据均衡。

技术领域

本发明一种基于HBase的物联网大数据存取方法属于物联网数据处理技术领域，特别是一种基于HBase数据库的物联网大数据存取方法。

背景技术

物联网（Internet of things, IoT），即通过GPS、RFID、传感器等设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。简而言之，物联网就是“物物相连的互联网”。其中被连接入互联网的物品即为终端。通常一批具有相同通信协议、数据格式和指令集合的终端被定义为终端类型。通过定义终端类型可以为后续的分表、鉴权等操作提供依据。

在物联网通讯过程中，终端上传的数据信息一般包含以下几个字段：终端ID（terminalID），数据发送时间戳（timestamp），指令编码（cmdID），消息体内容（msgBody）。

HBase是一个分布式、可扩展的大数据存储，能够满足用户对大数据的随机、实时地读写需求。该项目的目标是利用普通的服务器来管理十亿行乘以百万列级大表。HBase中的一行由行键（rowkey）和一个或多个列及其值组成，各行按字母顺序存储。HBase中的一列由一个列族和一个列限定符组成。HBase中的数据存储在一个名为HFile的物理文件中，对于同一个HFile中的所有数据其列族名都是相同的。为了实现表的分布式存储，HBase按rowkey的范围划分了多个region。当HBase集群出现数据倾斜时，HMaster会对region进行分割、迁移。一个好的rowkey设计能够在数据导入时避免多余的region拆分、迁移等操作；在数据读取时，能够提高读取性能，避免复杂的过滤操作。在查询方法上，HBase提供了两种查询方式：针对某一条记录的Get操作以及对某一范围内连续数据的Scan操作。

传统物联网解决方案通常是把数据存储在关系型数据库中，其突出的问题是无法解决大数据量的高频插入和查询，并且方案的成本高昂、可扩展性不佳。而目前相对流行的非关系型数据库（NoSQL）解决方案，虽然能较好地解决大数据量的高频插入，但其对用户的使用限制较多，可用的查询方式也相对单一。针对上述情况，本文发明了一种基于HBase的物联网大数据存取方法，通过对rowkey的合理设计与对HBase的优化配置，实现了为用户提供高效地存储和查询性能的同时，封装出了友好的查询接口，从而真正发挥HBase大数据的性能优势以满足用户的实际需求。

发明内容

本发明的目的是针对上述不足之处提供一种基于HBase的物联网大数据存取方法，以支持海量终端上报数据的可靠存储和高效查询。

本发明是采取以下技术方案实现的：

一种基于HBase的物联网大数据存取方法，包括如下步骤：

1）创建HBase表

每一种终端类型对应一张HBase表,将终端类型名作为HBase的表名，指定列族名称Column Family、列限定符名称Column和Region的拆分策略；

2）将上报数据导入HBase表

在上报数据导入到HBase表的过程中，记录的rowkey生成方法和value的存储方法，包括如下步骤：