[发明专利]分布式文件系统中可配置的透明压缩方法

摘要

本发明提供一种分布式文件系统中可配置的透明压缩方法，包括：检查DataNode独立进程是否存在闲置的压缩工作线程，若存在，根据设定的优先级规则以查找对应磁盘中压缩优先级最高的待压缩分块文件；调用压缩工作线程对该分块文件进行试压，估算出该分块文件的期望压缩比：1)响应于期望压缩比大于设定阈值，调用压缩工作线程根据设定的压缩规则对该分块文件进行压缩。本发明提及的压缩方法是一种异步压缩方法，集群会选择在CPU和IO相对空闲的时候，执行数据压缩，并且对待压缩的数据文件做优先级设定，在确保压缩效果的同时，达到对CPU/IO削峰填谷的效果。

主权项

1.一种分布式文件系统中可配置的透明压缩方法，其特征在于，包括：步骤1、提供一作为分布式存储集群数据节点、用于以本地文件形式保存文件分块的DataNode独立进程，提供一用以执行压缩任务Compressor worker独立进程，Compressor worker独立进程包括若干个Compressor workerThread工作线程，为每个磁盘分配一个独立的Compressor workerThread工作线程，Compressor workerThread工作线程用以执行当前磁盘被分配的压缩任务；步骤2、通过Compressor worker独立进程定期向本地的DataNode独立进程发起心跳汇报，以告知DataNode独立进程当前压缩任务状态；步骤3、响应于Compressor worker独立进程发送的心跳汇报，检查DataNode独立进程是否存在闲置的Compressor workerThread工作线程，若存在，调用DataNode独立进程，根据设定的优先级规则以查找对应磁盘中压缩优先级最高的待压缩分块文件，并将该分块文件所对应的压缩任务作为返回值反馈至Compressor worker独立进程；步骤4、响应于接收到任意一个分块文件的压缩任务，调用Compressor worker独立进程，将该分块文件的压缩任务分配至对应磁盘的Compressor workerThread工作线程，Compressor workerThread工作线程对该分块文件进行试压，估算出该分块文件的期望压缩比：1)响应于期望压缩比大于设定阈值，调用Compressor workerThread工作线程根据设定的压缩规则对该分块文件进行压缩；2)响应于期望压缩比小于等于设定阈值，判定该分块文件不需要压缩，并且将该判定结果在下一次心跳汇报中发送至DataNode独立进程，告知DataNode独立进程不再标记该分块文件为待压缩分块文件。