[发明专利]一种分布式对象存储系统写缓存的方法和设备

说明书

本发明提供了一种分布式对象存储系统写缓存的方法和设备，该方法包括以下步骤：响应于接收到客户端发出对象上传的请求，将对象切分成头对象和若干尾对象；将头对象写入存储池中，并将写操作日志以及每一个尾对象写入到AEP中；将每一个尾对象下刷到存储池中，在写操作日志中更新下刷完成情况，同时删除AEP中完成下刷的尾对象；响应于所有尾对象下刷完成，删除写操作日志并结束本次写操作。通过使用本发明的方案，能够实现内存端的对象储存写缓存，提高了分布式对象的写性能，解决了掉电后写缓存数据丢失问题。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种分布式对象存储系统写缓存的方法和设备。

背景技术

随着互联网的发展，互联网数据量(非结构化数据)越来越大，分布式对象存储应运而生。这种新兴的存储方式，适用于图片、视频等非结构化数据的存储。它同时又具有块存储高速直接访问磁盘的特点以及文件存储分布式共享的特点，因此一经推出就得到广泛的发展与应用。

分布式对象存储中缓存技术，将可能频繁访问的数据保存在内存等高速设备中，可以显著提高数据的读写性能。由于DRAM掉线易失，并不能保证写入到内存中的数据全部成功下刷到硬盘中，目前对象存储缺少基于内存的写缓存实现方案。

目前在分布式对象存储中通过借助SSD或者NVME SSD等高速存储介质设备，作为数据存储的高速缓冲池，整体提高存储系统的读写性能。回写缓存一种缓存技术，在回写缓存技术中，一旦数据写到缓存中，就会发送写请求已完成信号，而把数据写到非易失性存储介质上的实际操作将会延迟进行，当数据写入高速缓存池时，就向客户端提示写完成。

这种通过高速缓存池的写缓存实现方案，仍然存在提升写性能的空间。首先相对于内存而言，NVME SSD等磁盘设备仍然需要较大IO延迟，其次该方案需要先将文件写入到高速磁盘，再将高速磁盘的数据下刷到普通硬盘，存在写放大的问题，该方案是缓存目标是整个rgw(对象存储网关)对象而言，对于大文件则不启用写缓存，未能提高大文件的写性能。

发明内容

有鉴于此，本发明实施例的目的在于提出一种分布式对象存储系统写缓存的方法和设备，通过使用本发明的方法，能够实现内存端的对象储存写缓存，提高了分布式对象的写性能，解决了掉电后写缓存数据丢失问题。

基于上述目的，本发明的实施例的一个方面提供了一种分布式对象存储系统写缓存的方法，包括以下步骤：

响应于接收到客户端发出对象上传的请求，将对象切分成头对象和若干尾对象；

将头对象写入存储池中，并将写操作日志以及每一个尾对象写入到AEP(ApachePass是intel推出的一种新型的非易失Optance Memory设备)中；

将每一个尾对象下刷到存储池中，在写操作日志中更新下刷完成情况，同时删除AEP中完成下刷的尾对象；

响应于所有尾对象下刷完成，删除写操作日志并结束本次写操作。

根据本发明的一个实施例，尾对象包含条带编号。

根据本发明的一个实施例，还包括：在将头对象写入存储池中，并将写操作日志以及每一个尾对象写入到AEP中之后通知客户端完成对象的上传。

根据本发明的一个实施例于，还包括：

响应于服务器断电重启，遍历AEP中所有写操作日志，查找断电重启前未完成的操作，将未完成下刷操作的尾对象下刷到存储池中，同时删除对应的日志。

根据本发明的一个实施例，AEP为直接访问模式。

本发明的实施例的另一个方面，还提供了一种分布式对象存储系统写缓存的设备，设备包括：

切分模块，切分模块配置为响应于接收到客户端发出对象上传的请求，将对象切分成头对象和若干尾对象；