[发明专利]基于nGraph框架实现分布式神经网络训练的方法

说明书

本申请公开了一种基于nGraph框架实现分布式神经网络训练的方法、装置及电子设备和存储介质，该方法包括：将OpenCL标准API库和Intel IKL平台环境集成到nGraph框架中；确定神经网络训练需要的算子，在nGraph框架中添加算子对应的类定义，并在FPGA后端设备中添加算子对应的kernel实现；为集群中的每个服务器创建对应的进程；在分布式神经网络训练过程中，将神经网络训练的输入数据分发至每个服务器中，每个服务器将获取到的输入数据分发至包含的多个FPGA后端设备中。本申请实现了通过nGraph框架在FPGA后端设备中进行深度学习神经网络的分布式训练。

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种基于nGraph框架实现分布式神经网络训练的方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

目前DNN(Deep Neural Network，深度神经网络)已获得了广泛的应用，包括图像和视频分类，语音识别和语言翻译。然而随着深度神经网络越来越广泛地开发和使用，模型尺寸变得越来越大，例如可达数百个层，总共有1000万到2000万个参数。这种增长使得高效的模型训练变得更加重要。Tensor flow、pytorch等深度学习框架，以及GPU、FPGA、ASIC芯片等各种硬件加速器的出现，为神经网络训练性能提升做出了巨大贡献。然而，不同的深度学习框架之间，以及不同的硬件加速设备之间的工作原理，开发及优化方法天差地别，在开发工程中想要更换深度学习框架或者想要将深度学习模型部署到其他更先进的设备时，开发者需要付出大量的精力和时间进行迁移和优化。针对上述问题，Intel推出了nGraph框架，这是一种面向各种设备和框架的深度神经网络模型编译器，可以大大简化跨框架和硬件平台实现深度学习性能优化这类工作的复杂性，扩展了深度学习模型的适用性和可移植性。目前，nGraph框架已经支持或正在开发支持的前端深度学习框架有Tensorflow、MXNet、PaddlePaddle等，已经支持或正在开发支持的后端硬件加速设备有CPU、NNP以及各类GPU。

在nGraph框架中添加其对FPGA设备的支持，可以使得基于nGraph框架的开发人员能够利用FPGA设备对深度学习神经网络的训练进行加速，进一步提升性能。然而，在相关技术中，只能够通过nGraph框架在FPGA后端设备中进行深度学习神经网络的单机训练，并没有支持多机多卡分布式训练。

因此，如何实现通过nGraph框架在FPGA后端设备中进行深度学习神经网络的分布式训练是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种基于nGraph框架实现分布式神经网络训练的方法、装置及一种电子设备和一种计算机可读存储介质，实现了通过nGraph框架在FPGA后端设备中进行深度学习神经网络的分布式训练。

为实现上述目的，本申请提供了一种基于nGraph框架实现分布式神经网络训练的方法，包括：

将OpenCL标准API库和Intel IKL平台环境集成到nGraph框架中；

确定神经网络训练需要的算子，在所述nGraph框架中添加所述算子对应的类定义，并在FPGA后端设备中添加所述算子对应的kernel实现；

为集群中的每个服务器创建对应的进程，以便利用所述进程循环管理对应的服务器中的多个FPGA后端设备；

在分布式神经网络训练过程中，将神经网络训练的输入数据分发至每个所述服务器中，以便每个所述服务器将获取到的输入数据分发至包含的多个FPGA后端设备中。

其中，所述确定神经网络训练需要的算子，在所述nGraph框架中添加所述算子对应的类定义，并在FPGA后端设备中添加所述算子对应的kernel实现，包括：