[发明专利]用于计算集群的数据传输方法、装置及存储介质

说明书

本公开涉及一种用于计算集群的数据传输方法、装置及存储介质，该方法包括：对该多个节点的存储介质的存储空间进行统一编址，得到编址信息；在该多个节点的每一个节点的存储空间中构建缓存空间；响应于该多个节点中的任意一个目标节点中的应用程序发起数据访问请求，确定需求数据；根据该需求数据确定该需求数据所在的第一节点以及目标物理地址；在该第一节点不是该目标节点的情况下，根据该目标物理地址查询该目标节点的本地缓存空间中是否命中该需求数据；在该本地缓存空间未命中该需求数据的情况下，将该第一节点中的需求数据传输至该目标节点的本地缓存空间，以使得该应用程序从该目标节点的本地缓存空间获取该需求数据。

技术领域

本公开涉及信息传输领域，具体地，涉及一种用于计算集群的数据传输方法、装置及存储介质。

背景技术

当前，随着计算硬件以及高速网络的快速发展，构建多节点的异构计算集群获得了广泛的研究和关注。然而，虽然网络硬件，通信协议等快速发展，网络传输与本地的PCI总线传输相比，其带宽和延迟仍存在一定差距；如何提升跨节点的数据传输能力，提升集群整体计算性能，是当前集群性能优化的重要方向。

在跨节点集群中，当前的网络传输使用多种方法来实现和提升数据传输性能。然而在相关技术中，直接的内存数据拷贝方法由于需要CPU介入网络软件栈的处理，带来额外的性能开销，性能较差；RDMA技术可以有效实现高速的跨节点数据通信，但是不能解决异构硬件（如GPU）等的通信问题，存在跨节点数据访问灵活性差的问题。

发明内容

为了进一步提高数据传输效率，本公开提供一种用于计算集群的数据传输方法、装置及存储介质。

为了实现上述目的，本公开第一方面提供一种用于计算集群的数据传输方法，应用于包括多个节点的计算集群，所述方法包括：

对所述多个节点的存储介质的存储空间进行统一编址，得到编址信息，所述编址信息中的每一个地址映射至所述多个节点中的任一节点的存储介质的存储空间的一个物理地址；并，

在所述多个节点的每一个节点的存储空间中构建缓存空间；

响应于所述多个节点中的任意一个目标节点中的应用程序发起数据访问请求，确定所述数据访问请求对应的需求数据；

根据所述需求数据的地址确定所述需求数据所在的第一节点以及目标物理地址；

在所述第一节点不是所述目标节点的情况下，根据所述目标物理地址查询所述目标节点的本地缓存空间中是否命中所述需求数据；

在所述本地缓存空间未命中所述需求数据的情况下，将所述第一节点中存储于所述目标物理地址的需求数据传输至所述目标节点的本地缓存空间；并，

将所述本地缓存空间中存储所述需求数据的地址映射为所述目标物理地址，以使得所述应用程序从所述目标节点的本地缓存空间获取所述需求数据。

可选地，所述存储空间包括内存和/或显存，所述在所述多个节点的每一个节点的存储空间中构建缓存空间包括：

在所述多个节点的每一个节点的内存和/或显存中构建缓存空间以及本地存储空间；

所述方法包括：

在所述第一节点为所述目标节点的情况下，确定所述目标物理地址指向所述目标节点的本地存储空间，并将所述目标节点的本地存储空间中存储的需求数据返回至所述应用程序。

可选地，所述方法还包括：

根据历史访问特征，基于预取算法确定预取数据以及预取规模；

将所述预取数据对应的物理地址中的数据按照所述预取规模缓存至所述本地缓存空间。

可选地，所述方法还包括：