[发明专利]数据存储的方法、装置、存储介质及电子设备

权利要求书

1.一种数据存储的方法，其特征在于，所述方法包括：

在对分布式文件系统HDFS中的多个预设数据节点增加磁盘后，获取所述HDFS中每个磁盘当前时刻的磁盘性能参数；

根据所述磁盘性能参数确定每个磁盘的存储优先级得分，并根据所述存储优先级得分从所述HDFS中的多个所述磁盘中确定目标磁盘；

获取所述HDFS中已经写入的至少一个数据块；

针对每个数据块，确定该数据块中的数据文件，在所述目标磁盘中未存储所述数据文件的情况下，将该数据块存储至所述目标磁盘，不同的磁盘存储不同的数据文件。

2.根据权利要求1所述的方法，其特征在于，所述磁盘性能参数包括磁盘已占用吞吐量、磁盘最大吞吐量、磁盘吞吐量容许空间、磁盘已占用容量、磁盘最大容量以及磁盘容量容许空间，所述根据所述磁盘性能参数确定每个磁盘的存储优先级得分包括：

针对每个所述磁盘，根据该磁盘的所述磁盘已占用吞吐量、所述磁盘最大吞吐量以及所述磁盘吞吐量容许空间确定该磁盘的磁盘吞吐余量占用比，并根据该磁盘的所述磁盘已占用容量、所述磁盘最大容量以及所述磁盘容量容许空间确定该磁盘的磁盘容量余量占用比；

根据所述磁盘吞吐余量占用比和所述磁盘容量余量占用比确定该磁盘的所述存储优先级得分。

3.根据权利要求2所述的方法，其特征在于，所述根据所述存储优先级得分从所述HDFS中的多个所述磁盘中确定目标磁盘包括：

根据所述存储优先级得分生成采样带，所述采样带包括多个依次连接的预设分段，所述预设分段与所述磁盘一一对应，每个所述预设分段的长度为对应磁盘的存储优先级得分，并且不同的所述预设分段对应多个不同的预设采样点；

生成[0,N]区间内的随机数，所述N为所述预设采样点的个数，并且所述预设采样点个数远远大于所述HDFS中磁盘的个数；

根据所述采样带和所述随机数从多个所述预设分段中确定目标分段，并将所述目标分段对应的磁盘作为所述目标磁盘。

4.根据权利要求3所述的方法，其特征在于，所述根据所述采样带和所述随机数从多个所述预设分段中确定目标分段包括：

根据所述采样带，将多个所述预设分段中所述随机数对应的预设分段作为所述目标分段。

5.根据权利要求3所述的方法，其特征在于，所述根据所述采样带和所述随机数从多个所述预设分段中确定目标分段包括：

根据所述预设采样点的个数和所述HDFS中所述磁盘的个数确定所述采样带中每个预设分段对应的平均采样点个数；

以所述随机数为期望，以所述平均采样点个数的二分之一为方差建立高斯分布模型，并根据所述高斯分布模型和预设随机数生成模型从所述采样带中确定目标采样点集，所述目标采样点集包括多个连续的预设采样点；

从所述目标采样点集中随机选取任一预设采样点为目标采样点，并将所述目标采样点对应的预设分段作为所述目标分段。

6.根据权利要求1所述的方法，其特征在于，在所述将该数据块存储至所述目标磁盘之后，所述方法还包括：

对所述目标磁盘进行标记，以便标记所述目标磁盘中存储有该数据块。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：

在对多个所述预设数据节点增加磁盘时，将所述HDFS中存储的每个数据文件的文件副本的数量降低至第一预设数量。

8.根据权利要求7所述的方法，其特征在于，在所述获取所述HDFS中已经写入的至少一个数据块之前，所述方法还包括：

在对多个所述预设数据节点完成存储扩容后，针对每个数据文件，重新复制该数据文件得到第二预设数量的所述文件副本，所述第一预设数量与所述第二预设数量的和等于该数据文件的原始数量；

所述获取所述HDFS中已经写入的至少一个数据块包括：

从所述第二预设数量的文件副本对应的数据块中获取至少一个所述数据块。