[发明专利]数据读取方法、装置、电子设备及可读存储介质

说明书

本申请实施例提供了一种数据读取方法、装置、电子设备及可读存储介质。该方法包括：为HDFS系统中各个数据存储节点DN设置机房标识，并为待备份数据设置副本分布属性；确定所述机房标识对应的目标机房，并从该目标机房中选择所述副本数量的数据存储节点DN；将所述待备份数据存储在所选择的DN中；在通过NN接收到客户端发送的针对目标数据的读数据请求时，通过所述NN将存储有所述目标数据的全部DN的DN标识发送给所述客户端；通过所述客户端确定存储有所述目标数据的每个DN的机房标识是否与所述客户端的机房标识相同；在所述客户端确定所述全部DN包含机房标识与所述客户端的机房标识相同的目标DN的情况下，从所述目标DN中读取所述目标数据。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据读取方法、装置、电子设备及可读存储介质。

背景技术

文件分布式系统基础架构Hadoop包含了两种重要服务系统，分别是文件分布式系统HDFS(Hadoop Distributed File System)和资源管理系统YARN(Yet Another RecourseNegotiator)。其中，HDFS基于主从结构(master/slaver),包括至少一个作为master的管理节点NameNode(NN)和多个作为slaver的数据存储节点DataNode(DN)。写入HDFS中的文件会首先被分为若干个文件块block，每个文件块被备份为多份，每份存储至一个DataNode中。的HDFS在读写数据时，通常会大量占用机房间的带宽，导致读写效率较低。

发明内容

本申请实施例提供一种数据读取方法、装置、电子设备及可读存储介质，以提高HDFS系统的数据读写效率。

本申请实施例第一方面提供了一种数据读取方法，所述方法包括：

为HDFS系统中各个数据存储节点DN设置机房标识，并为待备份数据设置副本分布属性，该副本分布属性至少包括：机房标识和副本数量；

按照所述待备份数据的副本分布属性，确定所述机房标识对应的目标机房，并从该目标机房中选择所述副本数量的数据存储节点DN；

将所述待备份数据存储在所选择的DN中；

在通过NN接收到客户端发送的针对目标数据的读数据请求时，通过所述NN将存储有所述目标数据的全部DN的DN标识发送给所述客户端，所述客户端与所述HDFS系统包括的多个DN中的一个DN位于同一主机中；

通过所述客户端确定存储有所述目标数据的每个DN的机房标识是否与所述客户端的机房标识相同；

在所述客户端确定所述全部DN包含机房标识与所述客户端的机房标识相同的目标DN的情况下，从所述目标DN中读取所述目标数据。

可选地，所述HDFS系统与机房数据管理服务器ZDMS和区域服务器ZS分别连接；在所述待备份数据为被跨机房读取的数据的情况下，为待备份数据设置副本分布属性，包括：

通过ZDMS从所述HDFS系统包括的管理节点NN中实时读取历史操作记录，所述历史操作记录包括多个数据的历史读写操作；

通过ZDMS根据读取的历史操作记录中在不同机房的客户端之间进行跨机房读数据的历史读操作，生成多个缓存规则，每个所述缓存规则至少包括：被跨机房读取的数据的存储路径、发起跨机房读数据请求的客户端所在的机房的原机房标识、被跨机房读取的数据的副本数量和有效期；

通过ZS从ZDMS中读取缓存规则，根据读取的缓存规则为被跨机房读取的数据设置副本分布属性。

可选地，所述方法还包括：

通过ZS将读取的缓存规则中的存储路径发送给所述NN；

通过所述NN根据接收到的存储路径，确定所述存储路径对应的DN标识，并将确定的DN标识返回给ZS；