[发明专利]分布式文件系统中可配置的透明压缩方法

权利要求书

1.一种分布式文件系统中可配置的透明压缩方法，其特征在于，包括：

步骤1、提供一作为分布式存储集群数据节点、用于以本地文件形式保存文件分块的DataNode独立进程，提供一用以执行压缩任务Compressor worker独立进程，Compressorworker独立进程包括若干个Compressor workerThread工作线程，为每个磁盘分配一个独立的Compressor workerThread工作线程，Compressor workerThread工作线程用以执行当前磁盘被分配的压缩任务；

步骤2、通过Compressor worker独立进程定期向本地的DataNode独立进程发起心跳汇报，以告知DataNode独立进程当前压缩任务状态；

步骤3、响应于Compressor worker独立进程发送的心跳汇报，检查DataNode独立进程是否存在闲置的Compressor workerThread工作线程，若存在，调用DataNode独立进程，根据设定的优先级规则以查找对应磁盘中压缩优先级最高的待压缩分块文件，并将该分块文件所对应的压缩任务作为返回值反馈至Compressor worker独立进程；

步骤4、响应于接收到任意一个分块文件的压缩任务，调用Compressor worker独立进程，将该分块文件的压缩任务分配至对应磁盘的Compressor workerThread工作线程，Compressor workerThread工作线程对该分块文件进行试压，估算出该分块文件的期望压缩比：

1)响应于期望压缩比大于设定阈值，调用Compressor workerThread工作线程根据设定的压缩规则对该分块文件进行压缩；

2)响应于期望压缩比小于等于设定阈值，判定该分块文件不需要压缩，并且将该判定结果在下一次心跳汇报中发送至DataNode独立进程，告知DataNode独立进程不再标记该分块文件为待压缩分块文件；

通过cpu nice和io nice将Compressor worker独立进程设置为idle级别，在操作系统层面避免Compressor worker在计算繁忙时抢占cpu/io，对压缩任务的资源控制需要保证压缩任务尽可能利用集群相对较闲的时间段进行工作，且当有计算任务在此节点运行时，避免压缩任务影响计算任务的进度；DataNode在分配块压缩任务时，考虑本地数据读写连接的数量，当连接数较多时，适当减少块压缩任务分配速度；由Compressor worker独立进程限制Compressor workerThread的读写磁盘速度。

2.如权利要求1所述的分布式文件系统中可配置的透明压缩方法，其特征在于，所述设定的压缩规则是指，

对具有压缩任务的分块文件，分chunk进行压缩，每读取一个chunk，将压缩数据写入到tmp目录下对应文件夹内，并生成一Index文件。

3.如权利要求1所述的分布式文件系统中可配置的透明压缩方法，其特征在于，所述设定的优先级规则是指，

给DataNode独立进程中的每个分块文件均增加用以表达访问时间的字段accesstime，access time表示的上一次的访问时间大于设定时间阈值的分块文件被标记为待压缩分块文件，以及，

access time表示的上一次的访问时间越早，其所对应的分块文件的压缩优先级越高。

4.如权利要求1或者3所述的分布式文件系统中可配置的透明压缩方法，其特征在于，所述设定的优先级规则还包括：

附加文件对应的最后一个分块文件不进行压缩。

5.如权利要求1或者3所述的分布式文件系统中可配置的透明压缩方法，其特征在于，所述方法还包括：

提供一用以人工干涉的外带工具，该外带工具被定义成Compressor admin，为Compressor Worker独立进程提供策略建议以改变任意一个压缩任务的优先级。