[发明专利]一种轨道交通非结构化流数据实时存储方法

摘要

本发明公开了一种轨道交通非结构化流数据实时存储方法，将轨道交通非结构化流数据采集到轨道交通大数据处理平台，平台基于Hadoop及其组件Hbase分布式数据库；对采集的多源非结构化流数据构建高效检索方案；将采集的多源非结构化流数据接入到数据缓冲区；队列的缓冲数据量达到阈值后调用HBase多线程写入方法或flushCommits()方法将数据写入HBase。本发明提出基于HBase的轨道交通非结构化流数据存储方案，能满足非结构化数据存储需求、轨道交通流数据的存储速度需求、存储容量需求。本发明提出轨道交通非结构化流数据的高效检索方案，以此设计HBase数据库RowKey可以加快数据检索效率。本发明提出多源非结构流数据多源缓冲区，并提出对应的优化HBase索引的方案，提高流数据写入效率。

主权项

1.一种轨道交通非结构化流数据实时存储方法，其特征在于，该方法包括以下步骤：步骤1：将轨道交通非结构化流数据采集到轨道交通大数据处理平台，平台基于Hadoop及其组件Hbase分布式数据库。步骤2：对采集的多源非结构化流数据构建高效检索方案步骤2.1站点流数据检索方案，具体包括以下子步骤：步骤2.1.1对于站点流数据，以其全网唯一索引作为HBase的RowKey，RowKey与时间戳组合可定位特定数据。步骤2.1.2对站点流数据进行预分区，在向HBase写入数据前，预先创建N个空region。步骤2.1.3根据预分区策略对站点流数据索引结构进行优化，对原有索引做Hash操作，得到一个前缀Prefix，Prefix＝HashCode(RowKey)％N，根据前缀Prefix更新RowKey。步骤2.2设备流数据检索方案，具体包括以下子步骤：步骤2.2.1对于设备流数据，以其全网唯一索引作为HBase的RowKey，RowKey与时间戳组合可定位特定数据。步骤2.2.2对设备流数据进行预分区，在向HBase写入数据前，预先创建M个空region。步骤2.2.3根据预分区策略对设备流数据索引结构优化，对原有索引做Hash操作，得到一个前缀Prefix，Prefix＝HashCode(RowKey)％M，根据前缀Prefix更新RowKey。步骤3：将采集的多源非结构化流数据接入到数据缓冲区。步骤4：步骤3中队列的缓冲数据量达到阈值后调用HBase多线程写入方法或flushCommits()方法将数据写入HBase。