[发明专利]一种基于服务器集群的深度学习方法

说明书

本发明提供一种基于服务器集群的深度学习方法，其中，服务器集群包括若干个分布式服务器以及第二交换机，任一分布式服务器包括若干个处理器模组及第一交换机。则深度学习方法包括：各分布式服务器通过网络获取外部设备数据，并分发至各处理器模组；各处理器模组接收到数据后，对外部设备数据进行运算处理分析；并通过网络，将运算处理分析结果返回至外部设备。

技术领域

本发明涉及深度学习技术领域，特别涉及一种基于服务器集群的深度学习方法。

背景技术

深度学习属于机器学习研究中的一个领域，其主要目的在于建立、模拟人脑进行分析学习的神经网络，通过模仿人脑的机制来解释数据，例如图像，声音和文本。深度机器学习方法包括监督学习与无监督学习，不同的学习框架下建立的学习模型不同。例如，卷积神经网络(Convolutional neural networks，简称CNNs)就是一种深度的监督学习下的机器学习模型，而深度置信网(Deep Belief Nets，简称DBNs)就是一种无监督学习下的机器学习模型。

基于服务器运行深度学习模型应用非常常见，例如图像识别、信号识别、网络分类等。由于深度学习模型运行本身需要极高的算力，将模型部署于服务器，通过本地网络或者互联网传输模型输入及输出结果是一种常见的应用场景。因此，会有一大部分深度学习模型会以部署在服务器的方式向市场提供人工智能方面的服务。

由于相较于CPU(Central Processing Unit，中央处理器)而言，GPU(GraphicsProcessing Unit，图像处理器)具有更强的浮点数运算能力，因此，深度学习通常采用GPU服务器实现。目前，常见的GPU服务器结构如图1所示，采用基于标准的外扩式服务器结构。所述GPU服务器包括多个CPU以及GPU，其中，通用性的计算任务由CPU完成，高度并行的深度学习计算任务由GPU完成，形成异构计算形态。CPU和GPU之间依靠PCIE总线进行通讯和数据交互。

在深度学习中通常存在一些强交互的场景，CPU与GPU需要进行大量的数据交互，而CPU的运算内存是基于自身所有的DDR接口连接，通常在主板上留有内存条插槽可以根据需要配置DDR内存容量，GPU的运算内存(通常也称为显存)，则通常为已固定的容量配置，直接固化在GPU板卡上。CPU外挂内存和GPU显存之间的数据不共享，因此，在计算过程中，需要通过PCIE总线来回搬运，较为耗时，进而影响服务器运算效率。

发明内容

针对现有技术中的部分或全部问题，本发明提供一种基于服务器集群的深度学习方法，其中，所述服务器集群包括若干个分布式服务器以及第二交换机，所述分布式服务器中包括若干个处理器模组及第一交换机，所述深度学习方法包括：

各分布式服务器通过网络获取外部设备数据，并分发至各处理器模组；

各处理器模组对所述外部设备数据进行运算处理分析；以及

各处理器模组通过网络，将运算处理分析结果返回至外部设备。

进一步地，所述分布式服务器与外部设备之间及与以太网协议进行通信。

进一步地，所述分布式服务器通过网络获取外部设备数据包括：

任一分布式服务器仅接受指定外部设备的数据。

进一步地，所述分布式服务器通过网络获取外部设备数据包括：

所述第二交换机按照时间顺序，将外部设备发送的数据依次分发至各分布式服务器。

进一步地，所述分布式服务器通过网络获取外部设备数据包括：

任一分布式服务器仅接受指定类型的数据。

进一步地，将外部设备数据分发至各处理器模组包括：

所述第二交换机及第一交换机根据IP地址，将外部设备数据分发至各处理器模组。