[发明专利]基于nGraph的GPU后端分布式训练方法和系统

权利要求书

1.一种基于nGraph的GPU后端分布式训练方法，其特征在于，包括：

接收训练请求，并获取对应的训练数据；

通过nGraph框架链接的NCCL库文件的系统路径获取NCCL库文件；

按照所述训练请求调用NCCL通信接口配置得到训练模型；所述NCCL通信接口为位于所述nGraph框架GPU后端、基于所述NCCL库文件的通信操作接口；

利用所述训练模型对所述训练数据进行GPU后端训练。

2.根据权利要求1所述的GPU后端分布式训练方法，其特征在于，接收训练请求，并获取对应的训练数据之前，还包括：

在所述nGraph框架源码中添加所述NCCL库文件的系统路径；

修改nGraph框架的编译文件，在所述nGraph框架的分布式功能启用NCCL功能，并在所述NCCL功能启用时执行通过nGraph框架链接的NCCL库文件的系统路径获取NCCL库文件的步骤。

3.根据权利要求1所述的GPU后端分布式训练方法，其特征在于，按照所述训练请求调用NCCL通信接口配置得到训练模型时，还包括：

根据所述训练请求确定所述训练模型的分布式训练类型；所述分布式训练类型包括多机分布式和单机分布式。

4.根据权利要求3所述的GPU后端分布式训练方法，其特征在于，利用所述训练模型对训练数据进行GPU后端训练之前，还包括：

执行环境训练初始化；

若所述训练模型的分布式训练类型为多机分布式，所述执行环境训练初始化包括：

执行MPI初始化和NCCL库初始化；

若所述训练模型的分布式训练类型为单机分布式，所述执行环境训练初始化包括：

执行NCCL库初始化。

5.根据权利要求1所述的GPU后端分布式训练方法，其特征在于，利用所述训练模型对训练数据进行GPU后端训练后，还包括：

释放占用的内存资源和进程资源，并结束所述NCCL通信接口的调用步骤。

6.根据权利要求1所述的GPU后端分布式训练方法，其特征在于，按照所述训练请求调用NCCL通信接口配置得到训练模型之前，还包括：

获取通信操作函数；

对所述通信操作函数进行参数解析；

对解析得到的参数建立与NCCL库相应操作的函数调用关系，得到所述NCCL通信接口。

7.根据权利要求1至6任一项所述的GPU后端分布式训练方法，其特征在于，所述NCCL通信接口包括基于NCCL的聚合操作、基于NCCL的广播操作、基于NCCL的发送操作和基于NCCL的接收操作。

8.一种基于nGraph的GPU后端分布式训练系统，其特征在于，包括：

请求接收模块，用于接收训练请求，并获取对应的训练数据；

文件获取模块，用于通过nGraph框架链接的NCCL库文件的系统路径获取NCCL库文件；

模型生成模块，用于按照所述训练请求调用NCCL通信接口配置得到训练模型；所述NCCL通信接口为位于所述nGraph框架GPU后端、基于所述NCCL库文件的通信操作接口；

训练模块，用于利用所述训练模型对所述训练数据进行GPU后端训练。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的GPU后端分布式训练方法的步骤。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的GPU后端分布式训练方法的步骤。