[发明专利]一种ceph分布式存储系统的数据均衡方法及系统

说明书

本发明属于云存储数据均衡领域，公开了一种ceph分布式存储系统的数据均衡方法及系统，本发明通过设置了状态空间、动作空间和奖励函数，采用一个演员网络和两个评论家网络组成的神经网络对状态空间和动作空间中的状态动作价值进行输出，并通过奖励函数调整优化模型中ceph系统的对象存储设备，将数据均衡问题转化为ceph系统中OSD的权重优化问题，通过智能体与环境的交互完成ceph系统的数据均衡，并且能够在不破坏原有算法逻辑的情况下，在多副本情况获得较好的分布效果。

技术领域

本发明属于云存储数据均衡领域，具体涉及一种ceph分布式存储系统的数据均衡方法及系统。

背景技术

随着互联网的高速发展，各种新的需求层出不穷，同时带来了用户数据的爆炸式增长，人们对存储的需求越来越大，传统集中式的存储已不能满足大规模存储应用的需要，成为数据存储的瓶颈，因此分布式存储开始兴起。ceph系统是一种统一分布式文件系统，具有高性能、高可靠性和高扩展性。ceph系统采用CRUSH算法进行数据映射存储，存在着数据在设备间分布不均衡的问题。CRUSH算法是一种伪随机哈希算法，对于相同的输入，算法能够得到唯一确定的存储数据的设备列表。但是CRUSH算法对于数据的均衡分布不尽人意，实际使用中，对象存储设备(Object Storage Device,OSD)的容量使用率明显失衡，这不仅造成了存储资源的浪费，也会造成使用率高的OSD在读写过程中成为系统瓶颈，降低整个存储设备的QoS性能。因此数据均衡分布对存储系统性能的提高很有帮助。

针对数据分布不平衡的问题，有人提出了一种B-CRUSH算法，该算法通过设计新的哈希算法并设计一种自适应模型来优化数据分布不均衡的问题。也有方法基于温度因子提出一种CRUSH算法改进方案，利用设计的温度因子，动态增加节点的权重来改进原始CRUSH算法。

针对数据分布不平衡的问题，上述的B-CRUSH算法对原有算法的逻辑改动较大，破坏了原有算法在集群扩容时数据迁移量小的优点。另一种基于温度因子提出一种CRUSH算法改进方案，能够得到负载较低的节点作为存储节点，但是在多副本数据的场景下，该算法无法的带同样的分布效果。

发明内容

本发明的目的在于克服上述不足，提供一种ceph分布式存储系统的数据均衡方法及系统，通过调整对象存储设备的权重，达到智能体与环境的交互，完成ceph系统的数据均衡。

为了达到上述目的，一种ceph分布式存储系统的数据均衡方法，包括以下步骤：

搭建ceph系统仿真环境，将预设的归置组映射到预设的对象存储设备；

在ceph系统仿真环境中，根据归置组和对象存储设备以及对象存储设备的最大权重值，生成包括所有状态的状态空间；

根据不同对象存储设备在当前时刻权重的变化，生成包括所有动作的动作空间；

根据某一时刻采取的动作权重与对应时刻下某一对象存储设备中归置组的数量与数据完全均衡分布时每个对象存储设备中归置组的数量差值的乘积作为评价指标，结合下一时刻状态时获得的奖励，形成奖励函数；

将状态空间中的状态输入到神经网络中，神经网络采用一个演员网络和两个评论家网络组成的神经网络，两个评论家网络输出两个包括状态和动作的状态动作价值，从中选取最小的值作为最终状态动作价值；

评论家网络采用梯度下降算法确定最小化损失函数，根据最小化损失函数调整评论家网络的权重系数；

演员网络将输出的某一权重变化值送入评论家网络中计算最终状态动作价值的梯度，并根据最终状态动作价值的梯度更新演员网络的对应参数；

在演员网络输出的权重变化值上增加零均值，完成优化模型的构建；

结合奖励函数训练优化模型，最终得到使对象存储设备标准差最小的权重。