[发明专利]海量分布式数据库存储单元

摘要

本发明提供一种海量分布式数据库存储单元，该存储单元从下到上划分为三个层次，即：数据存储层、数据抽象层、数据应用层；同时还设有元数据，通过管理元数据将数据块组织起来。数据存储层用于管理最基本的数据块；数据抽象层用于对数据块内数据记录进行排序和基于日志的数据修改；1）数据应用层通过调用不同的排序函数将排序规则传入数据抽象层，使得数据抽象层能够对数据块和日志块内的记录或指针排序；2）数据应用层通过定义的合并函数实现对数据的增加、删除、修改操作；3）负责将底层的所有数据块或日志块建立索引，将这些数据块或日志块串联起来，并提供数据检索入口；元数据是数据块和日志块的索引。本发明实现了高效存储。

主权项

1.一种海量分布式数据库存储单元，其特征在于：该存储单元从下到上划分为三个层次，即：数据存储层、数据抽象层、数据应用层；同时还设有元数据，通过管理元数据将数据块组织起来；数据存储层用于管理最基本的数据块；数据块中数据的基本单位以及存储格式为键值对(key‑value)，key是键对象，value是值对象；一个键值对就是一条数据记录；数据块存放于磁盘中，内存中会设置一个块缓存区，当块缓存区中的数据达到预设的数据块大小时就将这些数据作为一个完整数据块存入磁盘中；存储单元通过数据块编号对数据块进行管理，在文件中写入数据时通过数据块编号和块内偏移来定位，即<bid，offset>；bid为块编号，offset为块内偏移；数据抽象层用于对数据块内数据记录进行排序和基于日志的数据修改；对数据记录排序操作时，排序的规则由数据应用层提供；基于日志的数据修改包括：不将数据修改行为立即作用在数据上，而是将这些修改操作以日志的方式记录下来；修改操作相应的日志记录位于日志块中，日志块存于磁盘上；当需要对数据块内数据修改时，对日志块进行提交，即将日志块与所对应的数据块进行合并，从而完成真正的数据修改；数据应用层主要负责：1）数据应用层通过调用不同的排序函数将排序规则传入数据抽象层，使得数据抽象层能够对数据块和日志块内的记录或指针排序；2）数据应用层通过定义的合并函数实现对数据的增加、删除、修改操作；3）负责将底层的所有数据块或日志块建立索引，将这些数据块或日志块串联起来，并提供数据检索入口；元数据是数据块和日志块的索引，负责记录组成数据表格的块信息，具体记录了组成数据表格的块序号以及块中键值对的键对象Key的范围。