[发明专利]基于云存储的键值存储系统

说明书

本申请公开了一种基于云存储系统构建的键值存储系统以及基于该键值存储系统的数据读取请求处理方法、数据写入请求处理方法和故障恢复方法。该键值存储系统基于云本地存储和云远端存储设备组成的混合云存储系统，包括具有快速索引能力的LSM‑tree存储架构、元数据块缓存、数据块缓存、内存缓存。该键值存储系统能够充分利用云存储系统中低操作延迟、低容量、使用费用较高的云本地存储和高操作延迟但大容量、使用费用便宜的云远端存储设备，在实现快速高效的LSM‑tree存储架构的同时控制了使用成本，并且保证数据的高效读取和写入，并能够大大加快故障恢复的过程。

技术领域

本申请属于信息存储技术领域，更具体地，涉及基于云存储构建的键值存储系统及基于该键值存储系统的数据读写请求处理方法和故障恢复方法。

背景技术

现在网络规模、应用程序的爆炸性增长导致数据量指数性增加，从而使得数据存储的成本效益成为底层数据库的主要设计目标之一。

日志结构合并树(Log-Structure-Merge-Tree,简称LSM-tree)是专门针对键值(key-value)存储系统所设计的数据库存储引擎，在键值数据库中被应用广泛。日志结构合并树以降低了部分数据读取性能为代价从而获得更好的数据写入性能，其在插入数据时首先会把插入的数据写入到内存缓冲区中，然后在内存缓冲区写满后将内存中的数据写入到磁盘上。日志结构合并树通过将随机写入合并为顺序写入从而避免了对磁盘的随机写入操作，但在其查找数据时需要先在内存中查找，然后在磁盘文件中进行查找。日志结构合并树结构在非关系型数据库(NoSQL)中应用广泛，以日志结构合并树作为存储引擎开发的键值数据库，典型的有RocksDB、LevelDB、BigTable和Dynamo等。

随着云技术的出现，云存储对于希望提高效率、灾难恢复和敏捷性的企业来说越来越流行，而且租用云存储资源能够有效的降低数据存储成本。而一些研究已经发现，使用云本地高读写性能的SSD存储设备和云远端存储设备组成的混合结构存储是一种更有效的解决方案。这是因为云本地存储提供了比云远端存储设备更快的数据读写访问性能。因此，越来越多的存储系统通过将云本地存储和云远端存储设备(或服务)整合，同时获得两者的好处。但是如何在这种混合存储结构上构建快速高效的LSM-tree存储架构具有挑战性。云本地存储和云远端存储设备之间的性能和成本并不平衡。例如，公司的AWS EC2的云本地高性能SSD存储和云远端存储设备gp2之间表现出了不同的数据读写性能和使用成本，云远端存储设备gp2可以减少大约80％的使用成本，但是对数据读写的吞吐量较低，存在带宽和IOPS(I/O per second)限制。使用相同大小的云远端存储设备gp2构建LSM-tree存储架构时会出现相当大的数据读写操作性能下降，其中读取操作性能下降了98％，写操作性能下降了40％。因此提供一个既能使用云本地存储又能使用云远端存储设备的LSM-tree存储架构非常重要，并且该LSM-tree存储架构要优先考虑提高数据读写性能。

申请内容

针对现有技术的缺陷和改进需求，本申请提供了一种基于云存储构建的键值存储系统以及基于该键值存储系统的数据读取方法、数据写入方法及故障恢复方法，其目的在于在云存储上构建一个快速高效的LSM-tree存储架构，同时发挥出云本地存储高读写性能、低操作延迟的特点和云远端存储设备容量大、价格低廉的特点，充分发挥云存储安全、敏捷的特性，并且能够实现故障快速恢复。

为实现上述目的，本申请的第一方面提供一种键值存储系统，该键值存储系统包括：具有计算机可读指令的存储器；用于执行该计算机可读指令的一个或多个处理器，该计算机可读指令控制该一个或多个处理器以执行操作；LSM-tree存储架构；内存缓存；元数据块缓存；以及数据块缓存。其中，该键值存储系统基于云本地存储设备或服务和云远端存储设备或服务组成的混合云存储系统。

进一步地，该LSM-tree存储架构包括部署在该云本地存储上的L0到Li层，以及部署在该云远端存储上的L(i+1)层到(Li+1)以下的其余层。通常，i＝1或2。