[发明专利]一种用于大数据存储系统的数据压缩引擎及方法

摘要

本发明提出一种用于大数据存储系统的数据压缩引擎及方法，针对HDFS系统中海量小文件，判定各个小文件所属的访问热度等级，设置与各个访问热度等级相对应的元数据表副本机制及检索进程数机制；其中，对于高热度等级的小文件不予以合并和压缩；对于中等热度等级的小文件引入合并处理，不予以压缩；对于低热度等级的小文件引入合并与压缩处理，并且将同源的小文件合并为一个更大的文件结构并进行数据压缩。另外，本发明会针对高热度等级的小文件建立常驻的访问任务，从而避免了访问任务频繁开设和回收所带来的低效现象。

主权项

一种用于大数据存储系统的数据压缩引擎系统，其特征在于，包括：请求识别单元，对于大数据存储系统的任何一个客户端节点提出的写入请求或访问请求，判断该写入请求或访问请求针对的文件是否为小文件；如果是小文件则将所述写入请求转至小文件分配管理单元，将所述访问请求转至访问请求响应单元；小文件分配管理单元，根据请求识别单元转来的所述写入请求，将待上传的小文件分配给大数据存储系统下的数据节点集群当中的一个或多个固定的新增小文件接收数据节点；向提出写入请求的客户端节点返回被分配的新增小文件接收数据节点的信息，以便该客户端节点将该小文件作为一个分块发送至该新增小文件接收数据节点进行存储；并且维护一个新增小文件元数据表，为该小文件在该表中登记一个新建的元数据项；并且，小文件分配管理单元还用于维护高热度等级元数据表、中等热度等级元数据表和低热度等级元数据表；对于在新增小文件元数据表中登记并且由新增小文件接收数据节点存储的新增小文件，根据访问请求热度统计单元确定的该新增小文件的访问热度等级属于高热度等级、中等热度等级还是低热度等级，在相应热度等级对应的元数据表中为该小文件建立和维持元数据项；并且，向新增小文件接收数据节点下达指令，将该小文件传输给被分配存储该小文件的数据节点；其中，对于高热度等级的小文件，被分配存储该小文件的数据节点将其作为一个单独的分块进行存储；对于中等热度等级的小文件，将其合并为Sequence file等更大的文件结构，然后由被分配存储该合并的文件结构的数据节点进行存储；对于低热度等级的小文件，将其合并为Sequence file等更大的文件结构，并且对该文件结构进行数据压缩处理，然后由被分配存储该合并且压缩的文件结构的数据节点进行存储；访问请求热度统计单元，用于统计大数据存储系统下的每个小文件在单位时间内被全部客户端节点所请求访问的次数，根据该次数判定各个小文件所属的访问热度等级属于高热度等级、中等热度等级还是低热度等级；将所述访问热度等级传输给小文件分配管理单元；访问请求响应单元，响应请求识别单元转来的访问请求，为该访问请求创建一个访问任务，根据该访问请求提供的小文件标识符查询高热度等级元数据表、中等热度等级元数据表和低热度等级元数据表，确定该小文件所在的文件、分块及其数据节点的网络地址，向提出该访问请求的客户端节点反馈以上信息。