[发明专利]分布式文件系统中可配置的透明压缩方法

说明书

本发明提供一种分布式文件系统中可配置的透明压缩方法，包括：检查DataNode独立进程是否存在闲置的压缩工作线程，若存在，根据设定的优先级规则以查找对应磁盘中压缩优先级最高的待压缩分块文件；调用压缩工作线程对该分块文件进行试压，估算出该分块文件的期望压缩比：1)响应于期望压缩比大于设定阈值，调用压缩工作线程根据设定的压缩规则对该分块文件进行压缩。本发明提及的压缩方法是一种异步压缩方法，集群会选择在CPU和IO相对空闲的时候，执行数据压缩，并且对待压缩的数据文件做优先级设定，在确保压缩效果的同时，达到对CPU/IO削峰填谷的效果。

技术领域

本发明涉及压缩方法领域，属于分布式文件系统中可配置的透明压缩方法。

背景技术

分布式存储技术是企业应对大规模数据存储问题的常用手段之一。然而，随着集群规模的增长，集群存储空间的问题逐渐凸显。如何降低数据拥有成本，提高现有集群的存储能力成为了企业技术部门需要思考和解决的问题。

本方法在传统分布式文件系统的基础上，为数据存储节点的设计做了改进，加入了透明压缩特性，从而实现节省存储空间，避免压缩影响存储上层的计算作业及对用户透明的目的。

文件系统中的透明压缩方法，多为同步压缩方法，在数据流动前进行压缩，以提高网络及硬盘的数据传输效能，并同时在一定程度上降低磁盘用量，代价是会占用一定的计算资源用于数据的压缩和解压。

线上集群的CPU使用率较高，向分布式文件系统写数据时进行同步压缩会占用CPU计算资源，导致计算任务被拖慢，并且反过来也会影响写数据速度。

发明内容

本发明的目的在于提供一种分布式文件系统中可配置的透明压缩方法，本压缩方法是一种异步压缩方法，集群会选择在CPU和IO相对空闲的时候，执行数据压缩，并且对待压缩的数据文件做优先级设定，在确保压缩效果的同时，达到对CPU/IO削峰填谷的效果。

为达到上述目的，本发明提供如下技术方案：

一种分布式文件系统中可配置的透明压缩方法，包括：

步骤1、提供一作为分布式存储集群数据节点、用于以本地文件形式保存文件分块的DataNode独立进程，提供一用以执行压缩任务Compressor worker独立进程，Compressorworker独立进程包括若干个Compressor workerThread工作线程，为每个磁盘分配一个独立的Compressor workerThread工作线程，Compressor workerThread工作线程用以执行当前磁盘被分配的压缩任务；

步骤2、通过Compressor worker独立进程定期向本地的DataNode独立进程发起心跳汇报，以告知DataNode独立进程当前压缩任务状态；

步骤3、响应于Compressor worker独立进程发送的心跳汇报，检查DataNode独立进程是否存在闲置的Compressor workerThread工作线程，若存在，调用DataNode独立进程，根据设定的优先级规则以查找对应磁盘中压缩优先级最高的待压缩分块文件，并将该分块文件所对应的压缩任务作为返回值反馈至Compressor worker独立进程；

步骤4、响应于接收到任意一个分块文件的压缩任务，调用Compressor worker独立进程，将该分块文件的压缩任务分配至对应磁盘的Compressor workerThread工作线程，Compressor workerThread工作线程对该分块文件进行试压，估算出该分块文件的期望压缩比：

1)响应于期望压缩比大于设定阈值，调用Compressor workerThread工作线程根据设定的压缩规则对该分块文件进行压缩；