[发明专利]分布式数据存储系统中多维有序数据的存储方法

说明书

技术领域

本发明属于计算机数据管理技术领域，特别涉及一种分布式数据存储系统中多维有序数据的存储方法。

背景技术

维度是组成现实世界事物的基本状态，随着对物理世界认知的加深，人们不再仅仅使用一个维度刻画事物，而是同时存储和使用多个维度对数据进行描述。多维有序数据是指某些维度具有顺序关系的数据集合,以这种数据为基础的应用广泛存在。例如，在气象预报中，用户需要使用预报模式、物理量类型、预报时刻、预报时效、地理高度等5个维度共同刻画一个气象预报数据，而在设备的传感监测中，至少需要设备ID、监测物理量类型、监测时刻等3个维度对监测数据进行描述。

新兴的分布式计算机数据存储系统(后文简称为分布式存储系统)在处理海量数据方面具有较强优势，以HBase、Cassandra为代表的基于Key-Value的分布式存储系统广泛应用于大数据场景。分布式存储系统实质是一个多维的分布式映射，一个分布式存储系统由n个节点组成，通过列族名(Column Family)、行键(Row Key)、列名(Column Name)唯一地映射到一个值(Value)，数据会根据行键分布到不同的节点上。不同于传统数据库以严格的表结构存储数据，分布式存储系统的数据是以松散结构的多维哈希表存储在系统中，是一种面向行的存储；其弱化了表的结构，可以自由地向列族中添加数据。每一个列族都被设计为一组数据关联或排列。而且根据用户需求场景，还可以采用多种灵活的方式保存数据，而不必拘泥于早前定义的表结构。

面对新兴的分布式存储系统，多维有序数据的存储带来了新的问题：(1)多种维度如何存储在分布式存储系统中；(即进行合理的存储结构设计)(2)针对有序维度连续访问的特点，如何得到性能最优的存储方案。

目前工业界对分布式存储系统存储结构设计的讨论主要在于定性分析，而非定量计算，例如易趣(Ebay)的工程师在《Cassandra数据模型设计最佳实践》对存储结构设计提出了4项关键原则；《Cassandra:The Definitive Guide》一书也定性的分析了存储结构设计的原则。但这些原则都需要依赖于工程师的使用经验，不能通过定量计算来完成设计。

发明内容

本发明的目的是针对目前分布式存储系统，数据保存方式灵活，结构弱化，方案众多，但性能无法预先评测的问题，提出一种分布式数据存储系统中多维有序数据的存储方法。本发明基于对存储系统的原理分析，通过对有序数据的基本操作进行理论时间代价评估，最终得到一种期望性能最优的存储方案；该方案具备应对大数据的能力，且具有很强的适应性。

本发明提出一种分布式数据存储系统中多维有序数据的存储方法，包括以下步骤：

1)对待存储的由多个对象组成的多维数据进行定义，并将维度划分为有序维度集合与无序维度集合；

设O＝{o₁,o₂,...,o_s}为s个待存储对象组成的集合，Dim{D₁,D₂,...,D_k}为集合O中所有待存储对象维度集合，共有k个维度，s、k均为正整数；V为集合O中所有待存储对象数据值集合；

设M为有序维度集合，N为无序维度集合,M、N均为非负整数，则待存储对象组成的集合O表达为多维有序数据集合的形式，如式(1)所示：

SeqData(|o₁，o₂，...，o_s|，M，N，V)(1)

2)对基于步骤1)得到的多维有序数据集合的读取操作进行定义；

2-1)单元读取：对D_i∈Dim，通过指定每一个维度的具体值D_i＝d_i,i＝1,2,...k，进行数据读取的操作称为单元读取，定义单元读取操作为：Op_read；

2-2)确定顺序近邻读取维度；对于有顺序近邻读取需求的维度D_target∈M，获取在该维度上的顺序近邻操作定义为：Op_next(D_target)；