[发明专利]一种提高数据加载速率的混合存储系统及混合存储方法

说明书

技术领域

本发明涉及存储系统技术领域，尤其涉及一种提高数据加载速率的混合存储系统及混合存储方法。

背景技术

目前很多存储系统中使用的是高转速的硬盘驱动器(Hard Disk Drive,HDD)，使其能够保持工作在高性能状态下。然而，系统I/O实际工作在高速吞吐速率状态下的时间只是很小的一部分。有资料分析表明，在现有的大容量存储系统中，99％的时间里系统I/O的实际吞吐速率不到其最高吞吐速率的33％，而在70％的时间里系统I/O的实际吞吐速率不到其最高吞吐速率的5％，这就造成了高转速HDD很大一部分性能的浪费，也使得HDD的功耗过高，大大增加了使用成本。也就是说HDD在绝大部分时间里是不需要保持高转速的。

为了减小功耗的浪费，使用低转速的HDD是一种解决办法，但前提是不影响存储系统的性能，甚至反而能够进一步提升该系统的性能。因此，在现有技术中出现了一种I/O敏感的混合存储系统，如图1所示，该系统主要包括高性能存储单元、低转速HDD单元、统计单元和控制单元四个组成部分。统计单元具有自学习功能，也就是可以在一个固定的时间段内记录各个程序的运行情况，并根据程序的运行情况对用户的行为进行统计分析，进而得到不同用户不同应用在不同时间段的数据传输特征，然后控制单元可以根据这些数据传输特征，复用那些存储带宽利用率低的时间将上位机需要用高带宽和高I/O速率进行传输的数据预先从低转速HDD单元提取到高性能存储单元中，当上位机需要这些数据时，就可以直接在高性能存储单元中读取而不需要通过低转速HDD单元，正是由于预提取策略的存在，因此该混合存储系统可以使用低转速的HDD，且低转速的HDD足以应对上位机获取其他(不需要利用高带宽和高I/O速率进行传输)数据的操作。因此，该系统使用低转速的HDD就达到了减小功耗的目的，而且由于高性能存储单元的读写速度比HDD(即使是高转速)要快得多，所以该系统相对于全部使用高转速HDD的存储系统来说性能还会有所提升。

然而，用户对应用程序的使用行为并不是一成不变的，不同的用户不同的应用程序在不同的时间段的数据传输特征很有可能会发生变化，而且统计单元所使用的自学习算法有时也会出现误差，以至于不能准确地获得用户的数据特征，从而导致自学习结果不准确，这些都会给预提取的结果带来影响。如果经过一定时间(这个时间大于自学习的时间)后，用户的行为发生了改变，或者是自学习算法存在一定的误差，那么就会造成上位机需要的部分数据并没有被预提取到高性能存储单元中，即这部分数据在高性能存储单元中丢失(Miss)，因而当上位机需要这部分数据时还得再一次地访问HDD，而在如图1所示的混合存储系统中HDD为低转速，上位机要获取这些数据就会花费比较长的时间，使得系统性能降低，而且功耗也很有可能增加。如果这部分在高性能存储器中丢失的数据比较多，那么这个带有自学习和预提取技术的混合存储系统相比于传统的存储系统不但不能降低功耗、提升性能，反而还会增加功耗、降低性能，效果适得其反。

这里先定义一个参数：丢失数据比例(miss_rate_ratio)，即本应被预提取到高性能存储器中而实际却没有被提取的数据占所有应被提取的数据的比例。假定所有应被预提取的数据用A表示，本应被预提取到高性能存储器中而实际却并没有被预提取的数据用B表示，那么miss_rate_ratio为：

假设在传统存储架构情况下(包括使用单一高转速HDD的存储系统如图2所示或者在高转速的HDD上添加缓存(Cache)的混合存储系统如图3所示)，当上位机需要数据A时，此时HDD的转速应为高转速X，假设此时从HDD传输数据A到上位机的时间为ΔT1，那么ΔT1为：

其中，IOPSX为HDD转速为X时的I/O传输速率。

根据图1提出的混合存储架构，当用户对应用程序的使用行为发生了改变，或者是由于统计单元所使用的自学习算法本身所存在的误差，此时HDD的转速为低转速Y，那么此时从HDD传输数据B(A*miss_rate_ratio)到上位机的时间为ΔT2，那么ΔT2为：

因此，如果不对系统性能造成损失，那么ΔT2必须小于ΔT1，也就是说对于图1所示的混合存储架构来说，在不对系统性能造成损失的前提下，有一个最大可允许的miss_rate_ratio，其为：

当用户行为发生变化或者由于自学习算法的不准确性造成miss_rate_ratio比miss_rate_ratiomax小时，此时图1所示的混合存储系统并不会给系统性能带来损害，但当用户行为发生变化或者