[发明专利]数据存储方法及系统

说明书

本发明提供一种数据存储方法及系统，其中，所述数据存储方法包括：读取待存储的第一条数据元组；采用结构化数据编码方式将所述第一条数据元组编码为至少三种不同结构的结构化数据；将所述至少三种不同结构的结构化数据存储在高速缓冲存储器中，以使高速缓冲存储器将所述结构化数据写入异构分布式文件系统HDFS的节点中。上述方法可以有效的存储海量的时空轨迹数据，且能够实现海量的时空轨迹数据的实时分析查询。

技术领域

本发明涉及通信技术，尤其涉及一种数据存储方法及系统。

背景技术

时空轨迹数据具有数据量大、位置更新频繁、信息蕴含丰富等特点，为基于位置的服务（Location Based Service，简称LBS）、交通管理、城市规划、社会计算等提供了重要的数据源。

用户设备的时空轨迹数据也成为大数据（Big Data）时代的典型代表，海量的时空轨迹数据蕴含着诸多用户个性化信息，例如个体的时空轨迹可以用于描述其时空行为特征，大量的个体的时空轨迹则可以反映群体的时空行为规律，特别是对挖掘用户行为习惯及个人用户画像、智能城市交通规划、电信流量分配以及时空数据挖掘等实际应用具有非常重要的意义。

当前用户设备的时空轨迹数据是基于用户设备不同时间的位置信息集合，简单来讲可以是基于用户身份标识（IDentity，简称ID）、地理位置（LocationID）和时间戳（Timestamp）为主键的多元组集合，即{<Oid，LocationID，Timestamp,A₁,…,A_n>,…}。其中，前三个属性为时空轨迹数据的核心标示属性，包括Oid标示了对应的对象ID，LocationID标示了对应的时空轨迹点以及Timestamp标示了对应的时间点，A₁,…,A_n为数据附带的其他相关轨迹信息属性。

时空轨迹数据是一个结构化良好的关系型数据。大量的用户设备及较长的时间跨度，导致在该类结构化数据的存储及实时分析查询具有巨大的挑战。例如在一个大中型城市约有300～400万的移动终端，一天的时空轨迹数据即可达到约为5TB的数据量，这为有效的实时数据查询分析带来了巨大的困难。针对此类高速海量时空轨迹数据流，现有技术中提供有一种数据存储方案,如并行关系数据库存储系统。

并行关系数据库存储系统将传统分布式数据管理系统扩展于此种结构化的大数据存储管理。其缺陷是海量数据的管理效率不高，以及数据安全容错性不足。

另外，现有技术中还公开一种基于区域划分的时空轨迹数据存储方法，通过地理位置的网格区域划分，将位于同一网格单元的地理位置点存储在同一个网格区域内，以压缩时空轨迹的存储空间。该类方法将区域的索引存储在轨迹中，提供轨迹的快速检索方式，搜索相似轨迹时，不用与数据库中的所有轨迹匹配，而只需要计算该轨迹与其通过的区域中的轨迹的相似度即可。

然而，现有基于区域存储方法的缺点主要是：基于网格划分的结构导致轨迹数据的各个网格单元密度不均，且使得基于B+的树状存储结构不平衡而降低查询效率，不能够实现实时分析查询。

发明内容

本发明实施例提供一种数据存储方法及系统，用于存储海量的时空轨迹数据，并实现实时分析查询存储的时空轨迹数据。

第一方面，本发明实施例提供一种数据存储方法，包括：

读取待存储的第一条数据元组；

采用结构化数据编码方式将所述第一条数据元组编码为至少三种不同结构的结构化数据；

将所述至少三种不同结构的结构化数据存储在高速缓冲存储器中，以使所述高速缓冲存储器将所述结构化数据写入异构分布式文件系统HDFS的节点中。