[发明专利]一种用于大数据存储系统的数据压缩引擎及方法

权利要求书

1.一种用于大数据存储系统的数据压缩引擎系统，其特征在于，包括：

请求识别单元，对于大数据存储系统的任何一个客户端节点提出的写入请求或访问请求，判断该写入请求或访问请求针对的文件是否为小文件；如果是小文件则将所述写入请求转至小文件分配管理单元，将所述访问请求转至访问请求响应单元；

小文件分配管理单元，根据请求识别单元转来的所述写入请求，将待上传的小文件分配给大数据存储系统下的数据节点集群当中的一个或多个固定的新增小文件接收数据节点；向提出写入请求的客户端节点返回被分配的新增小文件接收数据节点的信息，以便该客户端节点将该小文件作为一个分块发送至该新增小文件接收数据节点进行存储；并且维护一个新增小文件元数据表，为该小文件在该表中登记一个新建的元数据项；

并且，小文件分配管理单元还用于维护高热度等级元数据表、中等热度等级元数据表和低热度等级元数据表；对于在新增小文件元数据表中登记并且由新增小文件接收数据节点存储的新增小文件，根据访问请求热度统计单元确定的该新增小文件的访问热度等级属于高热度等级、中等热度等级还是低热度等级，在相应热度等级对应的元数据表中为该小文件建立和维持元数据项；并且，向新增小文件接收数据节点下达指令，将该小文件传输给被分配存储该小文件的数据节点；其中，对于高热度等级的小文件，被分配存储该小文件的数据节点将其作为一个单独的分块进行存储；对于中等热度等级的小文件，将其合并为Sequence file更大的文件结构，然后由被分配存储该合并的文件结构的数据节点进行存储；对于低热度等级的小文件，将其合并为Sequence file更大的文件结构，并且对该文件结构进行数据压缩处理，然后由被分配存储该合并且压缩的文件结构的数据节点进行存储；

访问请求热度统计单元，用于统计大数据存储系统下的每个小文件在单位时间内被全部客户端节点所请求访问的次数，根据该次数判定各个小文件所属的访问热度等级属于高热度等级、中等热度等级还是低热度等级；将所述访问热度等级传输给小文件分配管理单元；

访问请求响应单元，响应请求识别单元转来的访问请求，为该访问请求创建一个访问任务，根据该访问请求提供的小文件标识符查询高热度等级元数据表、中等热度等级元数据表和低热度等级元数据表，确定该小文件所在的文件、分块及其数据节点的网络地址，向提出该访问请求的客户端节点反馈以上信息。

2.根据权利要求1所述的数据压缩引擎系统，其特征在于，在对低热度等级的小文件进行合并且压缩的过程中，选取一定数量的同源的小文件，合并为Sequence file更大的文件结构。

3.根据权利要求2所述的数据压缩引擎系统，其特征在于，所述访问请求热度统计单元持续性地统计监测所有客户端节点对于所有小文件的访问请求，更新所有小文件的访问热度等级，并将小文件访问热度等级的变化通知所述小文件分配管理单元；并且，

响应原属于低热度等级的小文件变更为高热度等级，小文件分配管理单元从合并且压缩后的文件结构当中解压缩并分离出该小文件内容，作为一个独立的分块，存储于该数据节点上，并且更新高热度等级元数据表；

响应原属于低热度等级的小文件变更为中等热度等级，小文件分配管理单元从合并且压缩后的文件结构当中解压缩并分离出该小文件内容，作为一个独立的分块，存储于该数据节点上，当该数据节点上以独立分块形式存在的中等热度等级的小文件积累到一定数量，则可以将这些小文件合并为一个Sequence file更大的文件结构；并且更新中等热度等级元数据表；

响应原属于高热度等级的小文件变更为中等热度等级或者低热度等级，小文件分配管理单元向存储该小文件的分块的数据节点发出指令，通知该数据节点此以独立分块形式存在的小文件已经允许被合并，或已经允许被合并且压缩；当该数据节点上允许被合并、或允许被合并且压缩的以独立分块形式存在的小文件积累到一定数量，则可以将这些小文件合并为一个Sequence file更大的文件结构，或者合并为更大的文件结构并且对该文件结构执行压缩运算；并且更新中等热度等级元数据表或低热度等级元数据表。

4.根据权利要求3所述的数据压缩引擎系统，其特征在于，针对高热度等级的小文件，访问请求响应单元建立常驻的访问任务。