[发明专利]存储数据的方法和装置

说明书

本申请公开了存储数据的方法和装置。该方法的一具体实施方式包括：获取待存储的键值对数据；将上述键值对数据存储在磁盘的预写日志文件中；根据上述键值对数据在磁盘中的存储位置以及该键值对数据中的键在内存中为该键值对数据生成索引项，以通过该索引项对该键值对数据执行预定操作，在检测到满足合并整理条件的预写日志文件时，根据索引将该满足预定条件的预写日志文件中保留的键值对数据追加写入磁盘中，其中，存储位置包括以下至少一项：预写日志文件的文件名、键值对数据在预写日志文件中与文件起始位置的偏移量。该实施方式可以减小写入放大问题，提高存储数据的有效性。

技术领域

本申请涉及计算机技术领域，具体涉及数据处理领域，尤其涉及存储数据的方法和装置。

背景技术

写入放大(Write amplification，简称WA)是闪存和固态硬盘(SSD)中实际写入的物理信息量是将要写入的逻辑数量的多倍的现象。这是因为闪存在可重新写入数据前必须先擦除，执行这些操作的过程就产生了一次以上的用户数据和元数据的移动(或重新写入)，导致物理信息量倍增，并增加请求写入的次数。

作为电子平台上开发程序或系统的核心组件，引擎可供开发者迅速生成、铺设程序所需的功能，或利用其辅助程序的运转。现有的引擎架构一般包括三个部分：日志模块、索引模块和存储模块，日志模块保存与内存一致的数据，从日志模块中保存入存储模块的数据在日志模块中被清除。在数据被从日志模块中保存入存储模块时，需要对数据进行过滤冗余处理，通过索引模块从日志模块中读出键值对，清除重复的键或者被删除的键值，之后，将保留的键值写入存储模块。这种读、写过程存在写入放大问题，从而导致盘片需求量增大，存储数据的有效性不高。

发明内容

本申请的目的在于提出一种改进的存储数据的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种存储数据的方法，该方法包括：获取待存储的键值对数据；将上述键值对数据存储在磁盘的预写日志文件中；根据上述键值对数据在磁盘中的存储位置以及该键值对数据中的键在内存中为该键值对数据生成索引项，以通过该索引项对该键值对数据执行预定操作，在检测到满足合并整理条件的预写日志文件时，根据索引将该满足预定条件的预写日志文件中保留的键值对数据追加写入磁盘中，其中，存储位置包括以下至少一项：预写日志文件的文件名、键值对数据在预写日志文件中与文件起始位置的偏移量。

在一些实施例中，当预定操作包括读操作时，通过索引项对预写日志文件中所存储的键值对数据执行预定操作包括：在索引中查找待读取键值对数据所对应的索引项，以获取待读取键值对数据的存储位置；根据上述存储位置从预写日志文件中读取待读取键值对数据。

在一些实施例中，当预定操作包括删除操作时，通过所述索引项对预写日志文件中所存储的键值对数据执行预定操作包括：根据键值对数据中的键在索引中删除待删除键值对数据的索引项。

在一些实施例中，上述方法还包括：删除被追加写入磁盘的预写日志文件；更新内存中的索引。

在一些实施例中，合并整理条件包括以下至少一项：预写日志文件的占用空间超过预设文件空间阈值；预写日志文件的占用空间与总空间的比值超过预设文件空间比例阈值；预写日志文件中被删除的键值对数据超过预设阈值；预写日志文件中被删除键值对数据的占用空间与总空间的比值超过预设删除比例阈值；磁盘的已占用空间超过预设磁盘空间阈值；磁盘的已占用空间与磁盘总容量的比值超过预设磁盘空间比例阈值。

在一些实施例中，内存中的索引包括根据磁盘中的预写日志文件中的键值对数据的键生成的字典树，其中，在该字典树中，从根节点出发的每条路径对应一个键值对数据的键，每条路径的最后一个节点存储该路径所对应的键值对数据的存储位置。