[发明专利]一种基于深度强化学习的分级存储数据自适应迁移方法

说明书

本发明属于大数据存储领域，涉及一种基于深度强化学习的分级存储数据自适应迁移方法。基于深度强化学习DQN模型的思路，结合分级存储系统的特点，定义了状态空间、动作空间、奖励值，设计实现了一种自适应数据迁移方法，数据块会根据该方法在全连接层神经网络的指导下做出迁移决策，最后由系统根据决策进行相应的数据迁移。本发明设计的自适应迁移算法提升了分级存储系统的吞吐量，并提供较低的延迟，充分利用了SSD存储设备的优势，减少了存储成本，提高了分级存储系统的数据访问性能。

技术领域

本发明属于大数据存储领域，涉及一种基于深度强化学习的分级存储数据自适应迁移方法。

背景技术

大数据时代的到来对存储技术提出了更高的读写性能要求，同时存储设备也不断推陈出新，除了普通磁盘HDD，也出现了固态硬盘SSD、非易失性内存NVM等。HDD的读写延迟都是毫秒(ms)级别，同时功耗很大，但是数据存储的持久性比较长，存储的价格很低，约0.2元/GB；而SSD则是读写延迟是微秒(μs)级别，读写速度比较快(特别是随机读性能较高)，但是价格较高，约1元/GB；而最近几年上市的Intel傲腾系列存储905P，读写性能更高，约8元/GB；企业级别的傲腾P4800X存储，读写性能进一步提高，但是价格约20元/GB。因此，设计不同存储设备的分级混合存储，根据数据访问热度不同，实现数据在SSD和HDD之间的自动迁移，将最大化提高存储效率和性能，发挥分级存储系统的优势。关于数据迁移，可以使用传统操作系统缓存中常用的页面置换算法，如LRU(Least Recently Used)最近最少使用算法，以及LFU(Least Frequently Used)最近最不常用算法。但是由于分级存储系统往往支撑多种不同的应用，不同应用具有迥然各异的数据访问模式，分布往往差距巨大，one-size-fit-all模式的页面置换算法往往不能很好应对该情况。而强化学习作为近年来新兴的机器学习技术，可以根据数据分布的变化，自适应地调整模型算法，将强化学习用于分级存储中的数据迁移是个可探索的方向。

强化学习是一类特殊的机器学习算法，借鉴于行为主义心理学。与有监督学习和无监督学习的目标不同，算法要解决的问题是智能体(agent，即运行强化学习算法的实体)在环境中怎样执行动作以获得最大的累计奖励。例如，对于自动行驶的汽车，强化学习算法控制汽车的动作，保证安全行驶到目的地。强化学习是一个自学习系统，主要通过反复试验来进行学习，通过有限次的执行动作来得到最大的奖励，以此来获得最优的方案。

在每个时刻，智能体和环境都有自己的状态，智能体根据当前状态s确定一个动作a，并执行该动作，在状态s时执行具体的动作a后的预期回报为Q(s,a)，并且环境会根据智能体的动作反馈相应的回报奖励r。经典的强化学习算法Q-Learning就是由一系列的状态、动作、奖励{s,a,r}组成，Q即为价值函数Q(s,a)的函数值，该算法的主要思想就是将状态与动作构建成一张Q值表来存储Q值，然后根据Q值来选取能够获得最大收益的动作。Q值需要存储在一个二维表格中，实际应用中的场景可能会很复杂，很难定义出离散的状态，用一个函数来逼近价值函数成为解决这个问题的一种思路，用神经网络可来拟合强化学习中的价值函数，是深度强化学习的基本思想。深度学习基于价值函数的深度强化学习的典型代表是DQN(深度Q网络)，DQN采用神经网络来估计Q函数，并引入了experience replay和targetnetwork提高系统的稳定性，将采样的样本进行存储并且随机的采样，打破了序列样本之间的关联性，保证了可以平滑学习，避免振荡或分歧。在进行网络更新的时则是对这些经验进行回顾，均匀的从记忆库采样来更新网络。

发明内容

本发明首先基于Kafka构建HDD-SSD分级存储系统，将数据分块存储于HDD设备和SSD设备上，针对分级存储系统中数据的自动迁移问题，本发明提供了一种基于深度强化学习的数据自适应迁移方法，使用无模型化的控制方法进行决策，决定在何时触发数据在SSD存储设备和HDD存储设备之间的迁移，提升分级存储系统的访问性能，减少存储成本。

本发明的技术方案是：