[发明专利]基于分层治理的HDFS分布式与集中式混合数据存储系统的方法

权利要求书

1.基于分层治理的HDFS分布式与集中式混合数据存储系统的方法，其特征在于，包括：

步骤一，对HDFS文件系统的namenode进行修改，使namenode支持：1.对文件读写的动态采样；2.多副本块存储在异构存储介质间的调度，namenode制定数据块在datanode和NFS存储之间切换；

步骤二，定义文件数据迁移规则，根据动态采样得来的文件读写操作记录，实现将数据存储依据数据活跃度从高到低在如下从1到4的存储状态依次转换：1.三副本同一存储介质；2.三副本异构存储介质；3.二副本异构存储介质；4.NFS存储；

步骤三，实现根据动态采样决策存储状态切换的触发算法；

步骤四，修改HDFS数据读写机制以支持自动化副本策略选择，由HDFS缺省的三副本在同一存储介质的存储策略切换至三副本在异构存储介质的存储策略或二副本在异构存储介质的存储策略；

动态采样发生在文件用户每次向namenode发送读写请求的过程中，采样模块会记录读写操作和发生的时间并将采样记录存储到数据表中，存储位置调度是在元数据表中将HDFS文件的不同副本定位于两种不同的存储设备中，当用户的读写请求被namenode接收，首先会在元数据表中查询副本所在的位置，然后根据位置数据服务器节点或NFS设备进行读写；

存储的初始状态为HDFS 3副本策略，均存储于HDFS的物理服务器集群上，当读写频率下降超过阈值，存储转入第二种状态，第3副本存储于NFS设备，随着读写频率的进一步下降，存储策略改为2副本，第1副本仍在HDFS物理服务器 集群上，但第2副本在NFS设备，最后，当读写频率降至最低，则将数据完全下沉至NFS设备；同理，伴随读写频率升高，数据文件活跃度增加，则数据文件的存储位置将反向提升，逐渐上升至标准HDFS的存储状态。

2.根据权利要求1所述基于分层治理的HDFS分布式与集中式混合数据存储系统的方法，其特征在于建立一种数据分层治理机制，将数据文件依据活跃度的降低从HDFS分布式文件系统的存储介质中逐渐下移到NFS存储设备。

3.根据权利要求1所述基于分层治理的HDFS分布式与集中式混合数据存储系统的方法，其特征在于建立一种数据分层治理机制，将数据文件依据活跃度的升高从NFS存储设备中逐渐上移到HDFS分布式文件系统的存储介质。

4.根据权利要求1所述基于分层治理的HDFS分布式与集中式混合数据存储系统的方法，其特征在于支持标准的HDFS用户接口，兼容基于hadoop部署的大数据应用。

5.根据权利要求1所述基于分层治理的HDFS分布式与集中式混合数据存储系统的方法，其特征在于通过下移低活跃度文件，将HDFS的横向扩展能力与NFS的纵向扩展能力结合。

6.根据权利要求5所述基于分层治理的HDFS分布式与集中式混合数据存储系统的方法，其特征在于数据存储在HDFS物理服务器集群的存储介质和NFS存储设备间切换，并借助NFS存储设备的容错机制提升可用性。

7.根据权利要求4所述基于分层治理的HDFS分布式与集中式混合数据存储系统的方法，其特征在于支持4种主要状态，包含完全以HDFS方式进行3副本存储和完全以NFS方式存储。

8.根据权利要求4所述基于分层治理的HDFS分布式与集中式混合数据存储系统的方法，其特征在于支持4种主要数据存储分布状态：STATE1:3副本，存储位置：HDFS物理服务器集群；STATE2:3副本，存储位置：副本1和2存储于HDFS物理服务器集群，副本3存储于 NFS设备；STATE3:2副本，存储位置：副本1于HDFS物理服务器集群，副本3存储于NFS设备；STATE4:单副本，存储位置：NFS设备，由NFS设备负责容错。