[发明专利]数据存储的方法、装置、存储介质及电子设备

说明书

本公开涉及一种数据存储的方法、装置、存储介质及电子设备，可以在对分布式文件系统HDFS中的多个预设数据节点增加磁盘后，获取所述HDFS中每个磁盘当前时刻的磁盘性能参数；根据所述磁盘性能参数确定每个磁盘的存储优先级得分，并根据所述存储优先级得分从所述HDFS中的多个所述磁盘中确定目标磁盘；获取所述HDFS中已经写入的至少一个数据块；针对每个数据块，确定该数据块中的数据文件，在所述目标磁盘中未存储所述数据文件的情况下，将该数据块存储至所述目标磁盘，不同的磁盘存储不同的数据文件。

技术领域

本公开涉及分布式文件系统中的数据存储领域，具体地，涉及一种数据存储的方法、装置、存储介质及电子设备。

背景技术

随着全民的健康信息服务和智慧医疗服务的提出，推动了健康大数据的应用，通常情况下，可以利用Hadoop架构实现对海量数据的分布式存储，来支持历史数据归档和在线历史数据查询等功能，Hadoop上所有的数据都存储在HDFS(Hadoop Distributed FileSystem，分布式文件系统)上，海量的医疗大数据在面对HDFS存储空间不足、节点扩展受限的情况下，可以通过在分布式文件系统中的数据节点增加磁盘的方式进行存储扩容，但这会使得每个节点内部同时存在有数据的旧磁盘和新增未存放数据的新磁盘，节点内各个磁盘上的数据不均衡，从而影响系统性能。

相关技术中，可以使用HDFS自带的Balance工具对其数据进行平衡，但这也只能保证每一个数据节点的数据大小均衡，无法解决节点内各个磁盘上的数据不均衡的问题。

发明内容

本公开的目的是提供一种数据存储的方法、装置、存储介质及电子设备。

第一方面，提供一种数据存储的方法，所述方法包括：在对分布式文件系统HDFS中的多个预设数据节点增加磁盘后，获取所述HDFS中每个磁盘当前时刻的磁盘性能参数；根据所述磁盘性能参数确定每个磁盘的存储优先级得分，并根据所述存储优先级得分从所述HDFS中的多个所述磁盘中确定目标磁盘；获取所述HDFS中已经写入的至少一个数据块；针对每个数据块，确定该数据块中的数据文件，在所述目标磁盘中未存储所述数据文件的情况下，将该数据块存储至所述目标磁盘，不同的磁盘存储不同的数据文件。

可选地，所述磁盘性能参数包括磁盘已占用吞吐量、磁盘最大吞吐量、磁盘吞吐量容许空间、磁盘已占用容量、磁盘最大容量以及磁盘容量容许空间，所述根据所述磁盘性能参数确定每个磁盘的存储优先级得分包括：针对每个所述磁盘，根据该磁盘的所述磁盘已占用吞吐量、所述磁盘最大吞吐量以及所述磁盘吞吐量容许空间确定该磁盘的磁盘吞吐余量占用比，并根据该磁盘的所述磁盘已占用容量、所述磁盘最大容量以及所述磁盘容量容许空间确定该磁盘的磁盘容量余量占用比；根据所述磁盘吞吐余量占用比和所述磁盘容量余量占用比确定该磁盘的所述存储优先级得分。

可选地，所述根据所述存储优先级得分从所述HDFS中的多个所述磁盘中确定目标磁盘包括：根据所述存储优先级得分生成采样带，所述采样带包括多个依次连接的预设分段，所述预设分段与所述磁盘一一对应，每个所述预设分段的长度为对应磁盘的存储优先级得分，并且不同的所述预设分段对应多个不同的预设采样点；生成[0,N]区间内的随机数，所述N为所述预设采样点的个数，并且所述预设采样点个数远远大于所述HDFS中磁盘的个数；根据所述采样带和所述随机数从多个所述预设分段中确定目标分段，并将所述目标分段对应的磁盘作为所述目标磁盘。

可选地，所述根据所述采样带和所述随机数从多个所述预设分段中确定目标分段包括：根据所述采样带，将多个所述预设分段中所述随机数对应的预设分段作为所述目标分段。