[发明专利]一种数据获取方法、数据提供方法及装置

说明书

本发明实施例公开一种数据获取方法、数据提供方法及装置，涉及计算机技术领域，能够有效提高模型训练中训练数据的获取速度。所述数据获取方法包括：向层级目录服务器发送文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；将所述层级目录服务器返回的、包含所述桶名的目录信息加载到内存，所述目录信息指示所述文件在所述对象存储服务器中的存储路径；根据所述目录信息，从所述对象存储服务器中获取所述文件。本发明可应用于机器学习中。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据获取方法、数据提供方法及装置。

背景技术

近年来，人工智能技术在产业和生活中得到了越来越广泛的应用。机器学习作为人工智能领域的一个重要分支，能够通过大量数据的训练，得到较为理想的数学模型，从而模拟人的思维。

然而，由于模型训练所需的数据量巨大，常常是千万级的文件数量，训练数据的读取速度就成为影响模型训练效率的重要因素。

对于模型训练中，训练数据的读取速度较慢的问题，相关领域尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例提供一种数据获取方法、数据提供方法及装置，能够有效提高模型训练中训练数据的获取速度。

第一方面，本发明实施例提供一种数据获取方法，包括：

向层级目录服务器发送文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；

将所述层级目录服务器返回的、包含所述桶名的目录信息加载到内存，所述目录信息指示所述文件在所述对象存储服务器中的存储路径；

根据所述目录信息，从所述对象存储服务器中获取所述文件。

可选的，所述向层级目录服务器发送文件的目录信息挂载请求之前，所述方法还包括：

向所述对象存储服务器发送鉴权请求；

所述向层级目录服务器发送文件的目录信息挂载请求包括：

在接收到所述对象存储服务器发送的鉴权成功的消息后，向层级目录服务器发送文件的目录信息挂载请求。

可选的，所述根据所述目录信息，从对象存储服务器中获取所述文件之前，所述方法还包括：

获取文件筛选规则信息；

所述根据所述目录信息，从对象存储服务器中获取所述文件包括：

根据所述文件筛选规则信息，从所述目录信息中选择需要读取的目标文件；

根据所述目标文件的目录信息，从所述对象存储服务器中获取所述目标文件。

可选的，所述文件筛选规则信息包括需要读取的所述目标文件的数量、分布、大小中的至少一种。

可选的，所述挂载请求还携带所述对象存储服务器对应的负载均衡服务器的地址，以通过所述负载均衡服务器访问所述对象存储服务器，其中，所述负载均衡服务器用于按照负载均衡算法将网络访问请求均衡分配到所述对象存储服务器。

第二方面，本发明的实施例还提供一种数据提供方法，包括：

接收模型训练服务器发送的、文件的目录信息挂载请求，所述挂载请求携带对象存储服务器中所述文件所在的桶的桶名；

向所述模型训练服务器发送包含所述桶名的目录信息，所述目录信息指示所述文件在所述对象存储服务器中的存储路径。

可选的，在所述向所述模型训练服务器发送包含所述桶名的目录信息之前，所述方法还包括：根据所述桶中存储对象的对象名称，生成所述存储对象对应的文件系统的所述目录信息。