[发明专利]训练系统、训练数据访问方法及装置、电子设备、介质

说明书

本公开涉及一种训练系统、训练数据访问方法及装置、电子设备、介质，所述系统包括：服务器和多个节点，所述服务器，用于为所述多个节点分配缓存任务；所述节点，用于基于所述服务器分配的缓存任务，缓存训练数据块；所述节点包括至少一个客户端；所述至少一个客户端中的第一客户端，用于获取针对目标训练数据的第一数据访问请求；所述第一客户端，用于响应于所述第一数据访问请求，确定用于缓存所述目标训练数据的目标客户端，以从所述目标客户端所在节点中获取所述目标训练数据。

技术领域

本公开涉及计算机技术领域，尤其涉及一种训练系统、训练数据访问方法及装置、电子设备、介质。

背景技术

分布式存储是一种数据存储技术，可以将数据分散存储到多个服务器上，这些分散存储的数据资源可以形成一个虚拟的存储系统。云计算和互联网的发展带来了海量的数据，分布式存储为海量的数据提供了一种高效的存储方式。分布式存储利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，有效提高了系统的可靠性、可用性和存取效率。

通常，客户端通过向服务器请求实现文件的读或写，每次文件的读或写均需要通过服务器。以读取文件为例，客户端首先向服务器发送文件读取请求，然后服务器根据该文件读取请求向客户端返回请求的文件。但是，一个服务器会连接多个客户端，大量的客户端同时访问服务器会占用服务器较多的网络资源，使服务器性能变差。

发明内容

本公开提出了一种训练系统、训练数据访问方法及装置、电子设备、介质。

根据本公开的一方面，提供了一种训练系统，包括：

一种训练系统，其特征在于，所述系统包括：服务器和多个节点，

所述服务器，用于为所述多个节点分配缓存任务；

所述节点，用于基于所述服务器分配的缓存任务，缓存训练数据块；

所述节点包括至少一个客户端；

所述至少一个客户端中的第一客户端，用于获取针对目标训练数据的第一数据访问请求；

所述第一客户端，用于响应于所述第一数据访问请求，确定用于缓存所述目标训练数据的目标客户端，以从所述目标客户端所在节点中获取所述目标训练数据。

在一种可能的实现方式中，所述第一客户端，还用于响应于所述第一数据访问请求，根据所述训练系统中多个客户端的注册信息以及元信息，确定所述多个客户端中用于缓存目标训练数据块的所述目标客户端，所述元信息包括各训练数据的信息。

在一种可能的实现方式中，在所述目标客户端为所述第一客户端的情况下，所述第一客户端，用于从所述第一客户端所在节点上获取包括所述目标训练数据的目标训练数据块，并从所述目标训练数据块中获取所述目标训练数据。

在一种可能的实现方式中，在所述目标客户端为第二客户端的情况下，所述第一客户端，用于向所述第二客户端发送针对所述目标训练数据的第二数据访问请求，所述第一客户端与所述第二客户端不同，且所述第一客户端与所述第二客户端属于不同节点；

所述第二客户端，用于响应于所述第二数据访问请求，从所述第二客户端所在节点中获取所述目标训练数据块，并向所述第一客户端发送所述目标训练数据块；

所述第一客户端，还用于从所述第二客户端发送的所述目标训练数据块中获取所述目标训练数据。

在一种可能的实现方式中，所述目标客户端，用于获取所述服务器为所述目标客户端分配的缓存任务；

所述目标客户端，用于将所述缓存任务指示的待缓存的训练数据块，缓存至所述目标客户端所在节点中，所述待缓存的训练数据块包括所述目标训练数据块。