[发明专利]基于分布式存储系统的数据处理方法

权利要求书

1.基于分布式存储系统的数据处理方法，其特征在于，包括：

定义至少包含压缩模式、离线压缩起始时间及离线压缩终止时间的压缩配置项，所述压缩模式包括在线压缩模式与离线压缩模式；

当写入待处理数据时，由客户端、服务端或者客户端与服务端先后对所述待处理数据执行链式压缩处理，并仅在离线压缩模式下根据离线压缩起始时间及离线压缩终止时间确定服务端介入执行链式压缩处理的时刻；

当读取待处理数据时，至少由客户端执行链式解压缩处理；

并在执行链式压缩处理或者链式解压缩处理后通过网络向对端设备进行响应。

2.根据权利要求1所述的数据处理方法，其特征在于，所述分布式存储系统包括：CEPH、Glusterfs、HDFS、Lustre。

3.根据权利要求2所述的数据处理方法，其特征在于，

当读取待处理数据时，由客户端执行链式压缩处理所得到的待处理数据，仅由客户端执行链式解压缩处理；

当部分读取待处理数据时，由服务端与客户端先后执行链式解压缩处理。

4.根据权利要求2所述的数据处理方法，其特征在于，所述压缩配置项还包括：链式解压标签，

当读取待处理数据时，

若为由服务端执行链式压缩处理所得到的待处理数据，则根据所述链式解压标签决定由客户端或者服务端执行链式解压缩处理；

若为由客户端与服务端先后执行链式压缩处理得到的待处理数据，则根据所述链式解压标签决定仅由客户端或者客户端与服务端先后执行链式解压缩处理。

5.根据权利要求2所述的数据处理方法，其特征在于，所述压缩配置项还包括：压缩开关、压缩算法、压缩块大小、压缩率临界值及压缩粒度；

其中，

所述压缩算法包括snappy压缩算法、zlib压缩算法、lzo压缩算法、lz4压缩算法或者gzip压缩算法；

所述压缩率临界值选定大于0且小于1的浮点值；

所述压缩块大小设置为服务端中2ⁿKB，n取大于或者等于1的正整数；

所述压缩粒度设置为存储池级别或者磁盘级别。

6.根据权利要求5所述的数据处理方法，其特征在于，

所述压缩算法选用snappy压缩算法；

所述压缩块大小设置为64KB；

在客户端与服务端先后执行链式压缩处理时，将所述压缩粒度设置为对象级别。

7.根据权利要求2至6中任一项所述的数据处理方法，其特征在于，所述数据处理方法还包括：

在写入待处理数据时，由RADOS和/或OSD对由待处理数据经过至少一次切割处理所形成的若干子数据块在文件系统中所形成的空洞进行至少一次合并处理；

在读取待处理数据时，由RADOS和/或OSD对由所述子数据块经过至少一次链式压缩处理所形成的压缩数据块经过链式解压缩处理后所形成的未经过链式压缩处理所对应的源数据在客户端的文件系统中分配文件系统空间。