[发明专利]一种基于深度强化学习的分级存储数据自适应迁移方法

权利要求书

1.一种基于深度强化学习的分级存储数据自适应迁移方法，其特征在于，步骤如下：

步骤1：结合分级存储系统的特点，定义DQN的状态空间，具体如下：

步骤1.1：根据分级存储系统的文件块大小B、SSD存储空间大小S_S、HDD存储空间大小S_H，计算整个系统可存储文件块的总个数为

步骤1.2：对于文件块，有的是在SSD中的文件块，有的是在HDD中的文件块，有的是存储了数据的文件块，有的是还没有被利用的文件块；用一个二进制数代表该文件块的存储状态标识，如果是在SSD中并且存储了数据的文件块，该二进制数为1，否则为0；

步骤1.3：根据步骤1.2的标识结果，获得一个代表整个存储系统文件块存储状态的d维状态向量v，其中元素或者是1或者是0；那么状态空间即为状态向量v的多种可能结果，状态空间大小为2^d；

步骤2：结合分级存储系统的特点，定义DQN的动作空间；一个动作表示为二元组(a1,a2)，a1代表将状态向量v中的第a1个元素取反，即0变为1，1变为0；同理a2代表将状态向量v中的第a2个元素取反；如果a1＝a2，则状态向量保持不变；模拟了数据迁移的过程，即将第a1和a2个文件块交换下存储位置；

步骤3：结合分级存储系统的特点，定义执行动作后DQN得到的奖励r；奖励r考虑SSD命中率，它等于执行两个连续动作之间，用户从分级存储系统中读取数据文件块在SSD设备中的概率，即类似于高性能存储设备的命中率；

步骤4：初始化DQN参数，包括初始化神经网络的参数，Q函数进行随机初始化

步骤5：基于已有的数据访问历史日志数据，进行k次的仿真训练，具体做如下操作：

步骤5.1：定义起始状态向量v；随机选v中的个项位置赋值为1，即随机选择放置到SSD上的个文件块，其它项为0；

步骤5.2：基于定义的状态向量空间、动作空间、奖励执行DQN算法，执行k次仿真训练；具体做如下操作：

步骤5.2.1：根据日志数据的数据块访问情况，确定仿真过程的奖励值；即计算SSD数据块的命中率；

步骤5.2.2：根据奖励值更新DQN的神经网络参数，并得出需要执行的数据块迁移动作；以一定的概率ε随机选择动作，以1-ε的概率选择通过当前DQN网络预测得到最大Q值的动作，模拟数据块在SSD和HDD之间的迁移过程；

步骤5.2.3：重复步骤5.2.1和步骤5.2.2，共重复k次，得到DQN的网络参数；

步骤6：将DQN仿真训练出来的网络模型部署到分级存储系统中，继续根据数据块的访问操作计算奖励值，并反馈更新DQN网络，实现动态的强化学习，实现数据块的自适应迁移。