[发明专利]一种基于分布式结构的并行数据处理方法

摘要

本发明涉及一种基于分布式结构的并行数据处理方法，其存储步骤包括1）根据主键值类型在主节点抽取得到数据主键值，在主节点中根据数据属性取值与区间对比结果确定数据分发的定向从节点，同时建立全局关键字B+树索引；2）根据全局关键字B+树索引基于share‑nothing原则将数据分发到主键值对应的从节点；3）在从节点接受数据分发请求，在本地基于share‑everything原则将数据存储在子节点中。本发明中结合有效的索引机制，提高系统数据存储与管理的效率；一方面保证数据合理分布，降低从节点存储吞吐，提高局部查询性能，利用从节点高可扩展性保证系统弹性；另一方面通过局部多副本复制保证局部副本安全。

主权项

一种基于分布式结构的并行数据存储方法，其步骤包括：1)根据主键值类型在主节点抽取得到数据主键值，在所述主节点中根据数据属性取值与区间对比结果确定数据分发的定向从节点，同时建立全局关键字B+树索引；主键值类型包括文本属性取值、数值区间取值以及空间栅格三种基本类型；2)根据所述全局关键字B+树索引基于share‑nothing原则将数据分发到所述主键值对应的从节点，包括以下分步骤：2‐1)利用预先注册的分发策略从当前数据中提取指定的列对应的数据取值构成当前数据属性，根据策略类型抽取该属性作为当前数据的主键值；2‐2)所述分发策略信息注册在全局关键字分区表中，根据当前数据表对应类型的全局关键字B+树获取当前数据键值对应的映射关系对；2‑3)通过这一映射关系对绑定特定的从节点，实现基于主键值取值的定向发送；其中，全局关键字B+树由一存放在根结点的全局关键字分区表和一组关键字到分发从节点标识的映射组成；根据所述主键值类型建立与全局关键字B+树索引一一对应的B+树索引包括：关键词/字索引、关键值索引以及空间栅格索引三种基本类型；3)在所述从节点接受数据分发请求，在本地基于share‑everything原则将数据存储在子节点中。