[发明专利]用于减少内存元数据的存储引擎、方法和可读介质

说明书

本申请提供一种用于减少内存元数据的存储引擎、方法和可读介质。所述方法包括：接收将具有第一数据大小的第一记录存储到存储设备中的第一写入请求，以及确定所述第一数据大小是否大于或等于预设数据大小。根据所述第一数据大小是否大于或等于所述预设数据大小的确定结果，存储引擎可以将所述第一记录写入中间写入缓存的缓存项目或存储设备的数据存储区中的一个，其中，响应于预设条件被满足，将所述缓存项目中的存储记录写入存储设备的数据存储区。

技术领域

本申请涉及一种减少内存元数据的存储引擎、方法和可读介质。

背景技术

云存储记录引擎通常以区块(chunk)为单位进行数据存储，并且对保存在存储设备上的区块进行管理。云存储记录引擎可以直接管理存储设备上作为原始数据记录的区块。一个区块在逻辑上可以分成多个连续的区块段，并且区块段可以覆盖所包含记录的键空间的连续范围，其中，这些记录存储在单个超级块中。对于每个区块段，云存储记录引擎为该区块段的键范围内的所有记录维护记录级的存储器内索引。这样的每段索引被称为区块段索引映射(CSIM)。与被设计为只支持块存储设备的常规云存储引擎不同，云存储记录引擎可以被优化为在仅附加存储设备上运行。

在某些工作负载情景中，记录大小可以是固定的，而且相对较小，例如4096+64字节。在这种情况下，CSIM的数据结构可能会变得非常大，并且会占用大量的主机主内存。在最坏的情况下，可能需要8字节的CSIM项目(例如，31位逻辑偏移量、22位扇区偏移量和11位扇区大小)来表示4K大小的记录与其对应的物理扇区位置之间的映射。对于8TB设备，每个驱动器的总CSIM索引内存需求可为16GB，这意味着需要为12个驱动器的存储服务器配置预留大小为192GB的主内存。

发明内容

根据一个实施例，提供一种由计算设备实现的方法，该方法包括：接收将具有第一数据大小的第一记录存储到存储设备中的第一写入请求；确定所述第一数据大小是否大于或等于预设数据大小；以及根据所述第一数据大小是否大于或等于所述预设数据大小，将所述第一记录写入中间写入缓存的缓存项目或所述存储设备的数据存储区中的一个；其中，响应于预设条件被满足，将所述缓存项目中的所述存储记录写入所述存储设备的所述数据存储区。

根据另一实施例，提供一种存储引擎，其包括：一个或多个处理器；以及存储器，存储有可执行指令，当该可执行指令由所述一个或多个处理器执行时，使所述一个或多个处理器执行动作，所述动作包括：接收将具有第一数据大小的第一记录存储到存储设备中的第一写入请求；确定所述第一数据大小是否大于或等于预设数据大小；以及根据所述第一数据大小是否大于或等于所述预设数据大小，将所述第一记录写入中间写入缓存的缓存项目或所述存储设备的数据存储区中一个；其中，响应于预设条件被满足，将所述缓存项目中的所述存储记录写入所述存储设备的所述数据存储区。

根据另一实施例，提供一种或多种计算机可读介质，其存储有可执行指令，当所述可执行指令由一个或多个处理器执行时，使所述一个或多个处理器执行以下动作：接收将具有第一数据大小的第一记录存储到存储设备中的第一写入请求；确定所述第一数据大小是否大于或等于预设数据大小；以及根据所述第一数据大小是否大于或等于所述预设数据大小，将所述第一记录写入所述中间写入缓存的缓存项目或所述存储设备的数据存储区中一个；其中，响应于预设条件被满足，将所述缓存项目中的存储记录写入所述存储设备的所述数据存储区。

附图说明

详细描述将参照附图阐述。在所述附图中，附图标记的最左边数字表明该附图标记第一次出现的附图。在不同的附图中使用相同的附图标记表示相似或相同的项目。

图1示出了使用存储引擎的示例环境。

图2更详细地示出了示例存储引擎。

图3示出了另一个示例存储引擎。

图4示出了不同的元数据数据结构之间的示例关系。

图5示出了在存储设备中存储数据的示例方法。