[发明专利]一种基于分层存储的数据调度方法、系统及电子设备

说明书

本发明提供了一种基于分层存储的数据调度方法、系统及电子设备，该数据调度方法包括：采集分层存储的历史工作负载数据，并基于历史工作负载数据所对应的功率谱密度函数确定工作负载周期；根据工作负载周期为分层存储在预设周期内动态设定与工作负载周期匹配的工作负载模式；对待调度数据在预设周期内根据工作负载模式设定迁移优先级，以根据迁移优先级将待调度数据调度至组成分层存储的不同读/写性能的存储器群中的至少一个存储介质。通过本发明，实现了更好地引导待调度数据根据分层存储的性能引导待调度数据合理地迁移至分层存储的不同读/写性能的存储器群中的至少一个存储介质的效果，充分发挥了分层存储的存储性能。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种基于分层存储的数据调度方法、系统及电子设备。

背景技术

分层存储(Tiered Storage)是一种让数据在不同存储层次间进行迁移管理的技术，分层存储在提供所需性能的同时还能节约更多的成本。在所有数据中，访问频率较高的数据存放于高性能的存储层，而其他大部分数据存放于性能较低但是容量大且价格低廉的存储层，用户不需要知道数据存放在哪里，系统会自动检索出数据。从存储介质的物理结构来看，分层存储最新的发展是机械硬盘和闪存的结合。存储系统中的分层存储即将访问频率较高的热点数据存放在高读/写性能存储层，例如SSD存储层，而将访问频率较低的冷数据存放在低速率等低读/写性能的存储层，例如HDD存储层上。

参图1与图2所示，基于分层存储所组件的系统、软件或者包含软件的系统，通常以固定的周期收集和学习工作负载(workload)。EMC的FASTVP通过定期将最活跃数据重新定位到最上层存储，其使用的是固定周期并不考虑工作负载的统计数据；Dell的DataProgression每天在固定时间运行一次，且不考虑工作负载；IBM的存储产品采用的方式是在多个固定周期内采集的EMA(Exponential Moving Average)值判断该区段是否具有足够的负载压力，是否适合迁移热数据。EMA是一种无限脉冲响应滤波器，它采用指数衰减的加权因子。

申请人指出上述基于工作负载表征分层存储的存储开销及状态的现有技术由于存在“长尾效应”，从而无法及时并准确地反映出分层存储对待调度数据所形成的真实的工作负载的峰值，由此导致采用分层存储的存储装置所具有的存储能力无法被有效地发挥与利用，并整体导致采用分层存储的存储装置及包含该存储装置的计算机系统IOPS性能及吞吐能力的下降。此外，以固定的周期收集和学习工作负载(workload)的技术手段在面临突发性的高负荷场景中会导致无法满足基于特定访问请求所需要的数据读写能力，从而造成部署分层存储的投资造成浪费，过大(或者性能更强)或者过小(或者性能更弱)的分层存储均会导致投资成本过大及投资浪费的问题。

有鉴于此，有必要对现有技术中基于分层存储的数据调度方法予以改进，以解决上述问题。

发明内容

本发明的目的在于揭示一种基于分层存储的数据调度方法、系统及电子设备，用以解决现有技术中基于分层存储中数据调度过程中所存在的上述缺陷，尤其是为了降低分层存储的部署及维护成本，降低待调度数据在分层存储中的读/写成本，并充分发挥组成分层存储的不同读/写性能的存储装置在数据调度过程中的优势，以提高对待调度数据的调度效果，以合理利用分层存储中具有不同读/写性能的存储介质所形成的存储空间。

为实现上述目的之一，本发明提供了一种基于分层存储的数据调度方法，包括：

S1、采集分层存储的历史工作负载数据，并基于历史工作负载数据所对应的功率谱密度函数确定工作负载周期；

S2、根据所述工作负载周期为分层存储在预设周期内动态设定与工作负载周期匹配的工作负载模式；

S3、对待调度数据在预设周期内根据所述工作负载模式设定迁移优先级，以根据所述迁移优先级将所述待调度数据调度至组成分层存储的不同读/写性能的存储器群中的至少一个存储介质。