[发明专利]计算集群及计算集群配置方法

说明书

本发明提供用于训练深度神经网络的计算集群及计算集群配置方法。其中，待训练的深度神经网络所包含的单层网络数量为N，N为自然数；其中，每一单层网络包含多个功能节点；任一单层网络表示为第i层网络；i小于等于N；计算集群包括：与N层单层网络一一对应的子计算集群；其中，与第i层单层网络相对应的子计算集群为第i子计算集群；第i子计算集群中的计算节点与第i层单层网络中的功能节点一一对应；计算节点包括至少一个基本计算模块；每一基本计算模块包括点对点全互联的m个加速卡，每一加速卡包括点对点全互联的n个人工智能芯片；m为不小于2的自然数；n为自然数；任一基本计算模块与相邻的基本计算模块间通过芯片级点对点连接实现互联。

技术领域

本发明涉及计算机领域，特别涉及计算集群及计算集群配置方法。

背景技术

深度神经网络是近几年机器学习领域的流行话题，在许多任务上取得了先进的成果。

深度神经网络在正式投入使用前需要进行训练。训练神经网络模型需要大量的内存和计算资源。因此，单一计算机所能提供的内存和计算资源是远远不够的。

发明内容

有鉴于此，本发明提供用于训练深度神经网络的计算集群及计算集群配置方法。

为了实现上述发明目的，本发明提供以下技术方案：

一种计算集群，应用于训练深度神经网络；

待训练的深度神经网络所包含的单层网络数量为N，N为自然数；其中，每一所述单层网络包含多个功能节点；任一单层网络表示为第i层网络；i小于等于N；

所述计算集群包括：

与N层单层网络一一对应的子计算集群；其中，与所述第i层单层网络相对应的子计算集群为第i子计算集群；

所述第i子计算集群中的计算节点与所述第i层单层网络中的功能节点一一对应；

所述计算节点包括至少一个基本计算模块；每一基本计算模块包括点对点全互联的m个加速卡，每一所述加速卡包括芯片级点对点全互联的n个人工智能芯片；m为不小于2的自然数；n为自然数；

任一基本计算模块与相邻的基本计算模块间通过芯片级点对点连接实现互联。

可选的，还包括：调度器，用于将所述计算集群中的所有人工智能芯片划分至多个虚拟分片中，以支持多租户。

可选的，所述调度器还用于：在大规模计算过程中，调度负载至虚拟分片上。

可选的，所述计算节点包括一个或多个机柜，每一机柜中安置至少一个机箱；每一机箱中安置至少一个所述基本计算模块；或者，所述计算节点包括一个或多个机箱，每一机箱中安置至少一个所述基本计算模块。

可选的，相邻机柜间通过芯片级点对点连接实现互联；相邻机箱间通过芯片级点对点连接实现互联；同一机箱内的相邻基本计算模块间，通过芯片级点对点连接实现互联。

一种计算集群配置方法，应用于训练深度神经网络；

待训练的深度神经网络所包含的单层网络数量为N，N为自然数；其中，每一所述单层网络包含多个功能节点；任一单层网络表示为第i层网络；i小于等于N；

所述方法包括：

配置与N层单层网络一一对应的子计算集群；其中，与所述第i层单层网络相对应的子计算集群为第i子计算集群；

配置所述第i子计算集群中的计算节点与所述第i层单层网络中的功能节点一一对应；其中，所述计算节点包括至少一个基本计算模块；每一基本计算模块包括点对点全互联的m个加速卡，每一所述加速卡包括芯片级点对点全互联的n个人工智能芯片；m为不小于2的自然数；