[发明专利]一种聚合大对象写流程优化方法、装置、设备及介质

说明书

本申请公开了一种聚合大对象写流程优化方法、装置、设备及介质，涉及分布式存储技术领域。通过接收对目标小对象进行修改写的指令；根据指令在机械硬盘数据池内的聚合大对象中获取目标小对象，并对目标小对象进行修改写；获取目标小对象修改写前后的大小关系；根据大小关系将修改写后的目标小对象放入聚合大对象中目标小对象的原有位置或聚合大对象条带后。由此可知，上述方案依据聚合大对象中的目标小对象修改写前后的大小关系，选择将修改后的目标小对象放回原位，或追加至聚合大对象条带后，从而减小了聚合大对象创建新空间的次数，并降低了存储空间的无效利用率，提升了机械硬盘数据池的存储效率。

技术领域

本申请涉及分布式存储技术领域，特别是涉及一种聚合大对象写流程优化方法、装置、设备及介质。

背景技术

在分布式存储中，为了提升海量小对象数据(小于或等于512K的数据)的重构速度，对象存储使用了“缓存+聚合”的方案来代替原来直接存储的方式。具体地，将小对象优先写入到固态硬盘(Solid State Drive，SSD)高速缓存池中；当SSD缓存池达到一定水位时，这些小对象会聚合成大对象并下刷到机械硬盘(Hard Disk Drive，HDD)数据池中。以此采用缓存聚合后，集群中可靠自修复分布式对象存储(Reliable，Autonomic DistributedObject Store，RADOS)对象数大量减少，从而提升数据重构速度。

目前，在对聚合对象中的小对象进行修改写时，现有的机制首先会将要修改的小对象从聚合对象中取出，然后将原来的小对象所处空间无效化，并在对象修改之后在存储空间后创建一段新的空间，用来记录修改之后的对象信息。然而，当无效化空间不足以调动HDD数据池的聚合垃圾管理模块进行垃圾回收时，大量的无效化空间存在与HDD数据池中，会造成存储空间的浪费。

鉴于上述问题，如何优化聚合大对象的写流程，避免聚合大对象中的无效化空间过多造成存储空间的浪费，是该领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种聚合大对象写流程优化方法、装置、设备及介质，以优化聚合大对象的写流程，避免聚合大对象中的无效化空间过多造成存储空间的浪费。

为解决上述技术问题，本申请提供一种聚合大对象写流程优化方法，包括：

接收对目标小对象进行修改写的指令；其中，所述目标小对象的大小不大于512K；

根据所述指令在机械硬盘数据池内的聚合大对象中获取所述目标小对象，并对所述目标小对象进行修改写；其中，所述聚合大对象包含多个小对象；

获取所述目标小对象修改写前后的大小关系；

根据所述大小关系将修改写后的所述目标小对象放入所述聚合大对象中所述目标小对象的原有位置或所述聚合大对象条带后。

优选地，所述根据所述大小关系将修改写后的所述目标小对象放入所述聚合大对象中所述目标小对象的原有位置或所述聚合大对象条带后包括：

当修改写后的所述目标小对象的大小小于修改写前的所述目标小对象的大小时，填充数据至修改写后的所述目标小对象，直至所述目标小对象的大小等于修改写前的所述目标小对象的大小，将数据填充后的所述目标小对象放入所述聚合大对象中所述目标小对象的所述原有位置；

当修改写后的所述目标小对象的大小等于修改写前的所述目标小对象的大小时，直接将修改写后的所述目标小对象放入所述聚合大对象中所述目标小对象的所述原有位置；

当修改写后的所述目标小对象的大小大于修改写前的所述目标小对象的大小时，将所述聚合大对象中所述目标小对象的所述原有位置的空间无效化，并在所述聚合大对象原有条带后创建空间以放入修改写后的所述目标小对象。

优选地，在所述对所述目标小对象进行修改写之前，还包括：