[发明专利]基于层次存储介质的数据调度方法

说明书

技术领域

本发明涉及计算机领域的存储技术，特别是涉及一种基于层次存储介质的数据调度方法。

背景技术

随着互联网的普及，数据量呈爆炸性增长。这些数据的存储就成了很多企业需要考虑的重点问题。目前用于存储数据的设备，常见的有硬盘、光盘、磁带、闪存卡等。不同的设备，存储数据的方式不同，访问性能有差异，价格也有区别。通常情况下，访问性能越好，单位容量的价格就越高。很多企业都希望能够用最小的成本达到最佳的性能，达到性能与成本最佳的权衡，这就需要将多种不同特性的存储介质组合多个层次统一使用，这种存储介质被称为层次存储介质。

层次存储介质是指用于存储的介质分为多个不同的层次，一般分为至少两层。不同的存储层次，其访问性能、容量、成本等都有着较大的区别。层次越高，访问性能越好，单位存储容量的价格越高。通常情况下，数据的访问主要在层次高的介质上进行，存储主要在层次低的介质上进行。

工业研究表明，大约有80％的数据处于不活跃状态，而只有20％的数据处于活跃状态，这就意味着只需将这20％的数据存放于层次高的存储介质上，就能满足访问性能的需求；把剩余80％的数据存放于层次较低的存储介质上，就能满足存储成本的限制。这其实是数据与存储介质的匹配问题，分两步进行：一是如何找出活跃数据，即“热”数据；二是如何能保持“热”数据一直存储于层次较高的存储上。找出“热”数据通常有很多方法，有的是依照生命周期，即最新产生的数据为“热”数据，有的是统计数据的访问频率，频率越高，数据越“热”；找到“热”数据后，就要看其与存储位置是否匹配，如果不匹配，即“热”数据存于较低层次的存储上，而“冷”数据存于较高层次的存储上，就需要对数据的位置进行调整，这就是数据迁移。

在使用层次存储介质的环境中，数据的调度与数据迁移策略有关。数据的迁移策略其实就是跟数据迁移有关的各种问题。例如，迁移对象的选择，迁移的方向，迁移时机的选择，迁移过程的控制等。

(1)迁移对象的选择：

通常有两种方法，一种是人为制定规则，如规定某种特定类型的文件在特定的时间从某一级存储迁移到另一级存储上，这种方法多与应用环境相关。另一种方法，就是搜集数据的访问特性，根据数据的访问特性，建模分析，分析的结果是具体的数值，值越大，表明其之后的访问频率可能越高；随后再将数据与其对应的值结合起来，结合相关规则进行筛选，找出需要迁移的对象即可。

(2)迁移的方向：

指的是数据迁移过程中的数据流向问题。数据流向，有的是单向的，如存储区域网络(Storage Area Network，SAN)中用到的分级存储，使用了在线存储(高端磁盘阵列)+近线存储(低端磁盘阵列)+离线存储(磁带库、光盘库)，数据迁移是单向的，即只能从高层的存储移到低级的存储，依据的是信息生命周期的原理；有的是双向的，在由高性能磁盘阵列和低性能磁盘阵列组成的层次存储介质环境中，数据迁移的流向是双向的，存在数据的回迁问题，即数据要先从二级存储迁移到一级存储中，然后再传输给客户端，这类读取过程因为牵涉到两次读操作一次写操作，因此对性能损耗比较大，故从高层往低层的迁移，会非常谨慎。

(3)迁移时机的选择：

数据迁移，是个耗时耗资源的过程，如果迁移时机选的不好，系统的资源就得不到合理地利用。如在系统很繁忙的时候，发生大规模迁移，可能会导致处理用户访问请求的时间变长，影响服务质量；若迁移次数过多，会导致系统在很大的一部分资源与时间都用于内耗，其对外服务的质量也得不到有效提高；而如果迁移的次数太少或几乎不迁移，又会使得优质的资源得不到充分的利用，也不利于系统的合理使用。目前选择迁移时机的方法有两种，一种是一级存储空间的使用率；一种是固定周期。第一种方法，通过监视一级存储空间的使用率，保证一级存储空间的负载处于一个合理的范围内，使得数据访问能够有效进行；第二种方法，是每隔一段时间就对系统中的数据进行迁移，调整数据位置。

(4)迁移过程的控制：

主要包括迁移速率的控制和迁移过程的访问控制，要求迁移过程不能过分影响整个系统的访问性能。迁移速率的控制，主要分为两大类，一种是迁移进程优先，即不惜代价完成迁移；一种是保证服务质量的方法，即迁移的过程需要保证服务质量，需要监测系统的负载与带宽等因素。迁移过程的访问控制，指的是对于正在迁移的数据进行访问时的处理方法，多用文件锁的方法。

现有的分级存储技术有如下的不足之处：

(1)选择迁移对象：