[发明专利]数据存储方法及系统

权利要求书

1.一种数据存储方法，其特征在于，包括：

读取待存储的第一条数据元组；

采用结构化数据编码方式将所述第一条数据元组编码为至少三种不同结构的结构化数据；

将所述至少三种不同结构的结构化数据存储在高速缓冲存储器中，以使所述高速缓冲存储器将所述结构化数据写入异构分布式文件系统HDFS的节点中；

采用结构化数据编码方式将所述第一条数据元组编码为至少三种不同结构的结构化数据的步骤之前，所述方法还包括：

若所述高速缓冲存储器中已经缓存过与所述第一条数据元组关联的第二条数据元组，则查找与所述第一条数据元组关联的第二条数据元组的存储区域，所述第二条数据元组为已经存储在所述异构HDFS的节点中的数据元组；

所述将所述至少三种不同结构的结构化数据存储在高速缓冲存储器中，以使所述高速缓冲存储器将所述结构化数据写入异构HDFS的节点中，包括：

将所述三种不同结构的结构化数据存储在高速缓冲存储器中，以使所述高速缓冲存储器将所述结构化数据写入所述第二条数据元组所在的存储区域中；

若所述高速缓冲存储器中未缓存过与所述第一条数据元组关联的第二条数据元组，则设置所述结构化数据的存储位置；

所述将所述至少三种不同结构的结构化数据存储在高速缓冲存储器中，以使所述高速缓冲存储器将所述结构化数据写入异构HDFS的节点中，包括：

将所述三种不同结构的结构化数据存储在高速缓冲存储器中，以使所述高速缓冲存储器将所述结构化数据写入所述设置的所述结构化数据的存储位置中。

2.根据权利要求1所述的方法，其特征在于，所述第一条数据元组包括：

用户标识Oid、与所述Oid对应的时空轨迹点标识Location ID，与所述Location ID对应的时间信息Timestamp；

所述第一条数据元组还包括下述的一项或多项：

与所述Oid对应的用户状态、与所述Location ID对应的时空区域、与所述Oid对应的用户设备代码。

3.根据权利要求1或2所述的方法，其特征在于，所述第一条数据元组与所述第二条数据元组关联，包括下述的一种或多种：

所述第一条数据元组的Oid与所述第二条数据元组的Oid相同；

所述第一条数据元组的Location ID与所述第二条数据元组的Location ID相同；

所述第一条数据元组的Timestamp与所述第二条数据元组的Timestamp相同。

4.根据权利要求3所述的方法，其特征在于，所述至少三种不同结构的结构化数据，包括：

以所述第一条数据元组中的Oid、Location ID，Timestamp为索引值的第一种结构化数据；

以所述第一条数据元组中的Location ID为索引值的第二种结构化数据；

以所述第一条数据元组中的Timestamp为索引值的第三种结构化数据。

5.根据权利要求4所述的方法，其特征在于，采用结构化数据编码方式将所述第一条数据元组编码为第一种结构化数据，包括：

获取所述第一条数据元组的桶区标识Bucket ID，并将所述第一条数据元组中的数据分配到与所述Bucket ID对应的桶区Bucket中；

根据时空轨迹点将每一Bucket内的数据分为至少一个堆区Stack；

根据所述Stack内数据的一维属性将所述Stack内的数据分为至少一个块区Block；

根据Oid将所述Block中的数据分为至少一个文件，

根据时间序列将所述至少一个文件中的数据排列得到列存储队列；

所述Bucket、Stack、Block中的数据组成以所述Oid、Location ID和Timestamp为索引值的第一种结构化数据。

6.根据权利要求5所述的方法，其特征在于，所述获取所述第一条数据元组的BucketID，包括：

根据下述公式一获取所述Bucket ID；

其中，k为散列因子，t₀为所述第一条数据元组的起始时间，δ为Bucket的时间跨度，r为第一条数据元组。