[发明专利]云存储系统中基于预判性绿色数据分类策略的降耗方法

说明书

技术领域

本发明属于计算机数据管理领域，具体是一种云存储系统中基于预判性绿色数据分类策略的降耗方法。

背景技术

随着数据密集型应用和服务的越来越普及，大型数据中心消耗着巨大的电力资源，并快速增长。据统计美国2011年所有数据中心的能耗总和为100TWh，按照普通的电费计价方法将花费掉1000亿美元，相比于2005年消耗的40TWh上涨了两倍之多，数据中心的能耗占了美国所有能耗的1～2%。而其中存储系统是数据中心的能耗大户，占了25～35%。数据中心不仅自身消耗巨大的能量，冷却设备所消耗的能量也是不可忽略的（占数据中心消耗能量的三分之一），更为严峻的是：除了能耗本身所带来的经济损失，其散发出的二氧化碳还会对环境产生恶劣的影响(在美国1度电会排放出0.7kg的二氧化碳)。而随着各种应用对存储设备的需求以每年60％的增长率在扩大，存储系统将消耗的能量更不容忽视。因此如何降低大型数据中心存储设备的能耗是一个迫切需要解决的问题。

发明内容

本发明主要是针对现有的利用数据分类的技术将不同的数据放入不同的磁盘区域来节省能耗中的不足，引入了对新数据以及季节热数据的概念，提出了预判性绿色数据分类策略。预判性绿色数据分类策略就是将文件的访问率与阈值比较，访问率大于热阈值就是热数据，访问率小于冷阈值就是冷数据，介于冷热阈值之间的数据则将其进行预判，当某时间段热时，就将其迁移至热区域，否则将其放入冷区域。如果有新数据进行写操作，且原云存储系统不存在该数据，将该数据与原云存储系统中的数据进行关联度分析，找到与其相关度最高的数据，将新数据放入与旧数据相同类型的磁盘中。

本发明方法的具体步骤是：

步骤（1）：对冷数据，热数据，季节热数据，以及新数据进行界定，具体界定如下：

1）冷数据：即在长期的数据操作过程中该数据的平均访问操作次数小于冷阈值。

2）热数据：即在长期的数据操作过程中该数据的平均访问操作次数大于热阈值。

3）季节热数据：即在长期的操作过程中该数据只有某段或某几段时间操作平均次数大于热阈值，数据温度呈现上下波动的情况，而在整个数据操作过程中数据平均访问操作次数处于冷热阈值之间。

4）新数据：即表示在云存储系统中没有存在的数据，相应的该数据也不存在被操作的次数。

步骤（2）：对预判性绿色数据分类策略模型的定义：

定义F＝{f₁,...,f_i,...,f_m}，F代表文件集合，f_i＝{m_i,p_i}，其中p_i表示文件f_i当前日期的前两年的每个月访问率构成的数组，m_i表示文件f_i的属性值，其中属性包括：文件的关键字的哈希值，文件名称的哈希值，文件内容的哈希值。p_ij代表数组p_i中的第j个元素，ap_i代表p_i数组的平均值，它是访问数据的平均访问率，

1）判定访问数据的平均访问频率ap_i是否为0，否，则该数据为旧数据，转至2）；是，则该数据为新数据，转至4）。

2）将旧数据的平均访问频率值ap_i与冷热阈值进行比较，如果平均访问频率大于等于热阈值th_h，则该数据为热数据，将该数据放入热磁盘；将冷热阈值之间的数据视为季节热数据，将小于等于冷阈值th_c的数据视为冷数据，将冷数据和季节热数据放入冷磁盘中；如果该数据为季节热数据，在放入冷磁盘之后，转至3）。

3）通过神经网络对季节热数据进行预测，预测其下个月的平均访问率，判断其下个月的温度。如果其下个月的平均访问率大于等于热阈值th_h，则将该数据放入热磁盘，否则放入冷磁盘。

4）将新数据的属性值与冷热磁盘中的旧数据的属性值进行关联度分析，找到相关度最大的旧数据，将新数据放入与旧数据相同类型的磁盘中。

步骤（3）：能耗模型的构建：