[发明专利]一种数据重删方法、装置、设备及存储介质

说明书

本申请提供一种数据重删方法、装置、设备及存储介质，其中方法包括：获取键值数据库的第n层级中的第一SST文件；在将所述第一SST文件向所述键值数据库的第n+1层级中压缩合并的过程中，将所有参与合并的SST文件的key键按从小到大进行排序并遍历；对于遍历到的每一个key键，在待重删资源池中查找所述key键是否存在；若存在，将所述key键的value值修改为所述value值的指纹，并将所述key键修改之后的键值对写入磁盘，同时将所述value值所在数据块对应的存储地址标记为垃圾；若不存在，则将所述key键的键值对写入磁盘。本方案中，实现了数据重删的需求，提升了存储系统的空间资源利用率，从而降低了用户成本。

技术领域

本申请涉及数据存储技术领域，具体涉及一种数据重删方法、装置、设备及存储介质。

背景技术

随着各行各业的业务量及对数据存储性能的需求日益递增，为了满足客户的实际需求，新一代全闪存储系统应运而生。全闪存储系统虽然能满足客户对IOPS(每秒的读写次数)及时延的要求，但同时，相对于传统硬盘(HDD)，全闪存储系统中的固态硬盘(SSD)成本较高，增加了客户的实际使用成本。

为了节约成本，提升分布式全闪存储系统的用户可用容量，便需要通过消除冗余数据的方法，将重复数据删除，只保留一份，其余数据只需要保存对数据的引用即可，这便是分布式全闪存储系统中的重删特性。

在分布式全闪存储系统中，重删可以借助于数据库来完成对原始数据的存储与维护，达到重删的目的，比如rocksdb、mysql等数据库，但为了保证重删IO(读写)与业务IO互斥，会产生多次读写操作，放大较为严重，导致系统性能较差，不能够满足对性能要求较高的场景。

发明内容

本申请的目的是提供一种数据重删方法、装置、设备及存储介质，以提升存储系统的空间资源利用率。

本申请第一方面提供一种数据重删方法，应用于分布式全闪存储系统，包括：

获取键值数据库的第n层级中的第一SST文件；

在将所述第一SST文件向所述键值数据库的第n+1层级中压缩合并的过程中，将所有参与合并的SST文件的key键按从小到大进行排序并遍历；

对于遍历到的每一个key键，在待重删资源池中查找所述key键是否存在；

若存在，将所述key键的value值修改为所述value值的指纹，并将所述key键修改之后的键值对写入磁盘，同时将所述value值所在数据块对应的存储地址标记为垃圾；若不存在，则将所述key键的键值对写入磁盘。

本申请第二方面提供一种数据重删装置，应用于分布式全闪存储系统，包括：

获取模块，用于获取键值数据库的第n层级中的第一SST文件；

合并遍历模块，用于在将所述第一SST文件向所述键值数据库的第n+1层级中压缩合并的过程中，将所有参与合并的SST文件的key键按从小到大进行排序并遍历；

查找修改模块，用于对于遍历到的每一个key键，在待重删资源池中查找所述key键是否存在；若存在，将所述key键的value值修改为所述value值的指纹，并将所述key键修改之后的键值对写入磁盘，同时将所述value值所在数据块对应的存储地址标记为垃圾；若不存在，则将所述key键的键值对写入磁盘。

本申请第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现如第一方面中所述的方法。

本申请第四方面提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如第一方面中所述的方法。