[发明专利]训练深度神经网络的方法、装置及系统

权利要求书

1.一种训练深度神经网络的系统，其特征在于，所述系统包括：计算节点、参数服务器以及交互平台，所述深度神经网络的每个映射层的训练参数对应由一个参数服务器存储，每个参数服务器对应至少一个计算节点；

所述交互平台，用于根据深度神经网络的映射层数量激活同等数量的参数服务器，基于训练样本的样本数量激活特定数量的计算节点，并将训练样本发送给所述计算节点；

所述计算节点，用于基于各自获得的训练样本集合分别对所述参数服务器对应的映射层进行训练，将获得的训练参数发送给所述参数服务器，其中所述训练样本集合由所述训练样本切片获得；

所述参数服务器，用于将不同计算节点发送的训练参数进行合并，获得更新后的训练参数，并将更新后的训练参数发送给对应的计算节点。

2.根据权利要求1所述的系统，其特征在于，所述交互平台用于：

对所述训练样本进行切片，获得多个训练样本集合；

将所述训练样本集合分发给各个计算节点；

或者，将所述训练样本发送给主计算节点，以使得所述主计算节点对所述训练样本进行切片及分发。

3.根据权利要求2所述的系统，其特征在于，所述交互平台，用于在将所述训练样本发送给所述计算节点之前，根据模式设置指令确定所述训练样本的切片模式，所述切片模式包括：

由交互平台对训练样本进行切片；

或者，由主计算节点对训练样本进行切片。

4.根据权利要求1所述的系统，其特征在于，所述交互平台，用于在根据深度神经网络的映射层数量激活同等数量的参数服务器之前，根据网络设置指令，配置所述深度神经网络下述各层的数量和/或层级顺序：

输入层、输出层、映射层。

5.根据权利要求1所述的系统，其特征在于，所述交互平台，用于在根据所述样本数量以及计算节点的既定数据处理量确定计算节点的数量之后，根据预置策略信息动态调整参数服务器对应的计算节点的数量。

6.一种训练深度神经网络的方法，其特征在于，所述深度神经网络的每个映射层的训练参数对应由一个参数服务器存储，每个参数服务器对应至少一个计算节点，所述方法包括：

交互平台根据深度神经网络的映射层数量激活同等数量的参数服务器；

基于训练样本的样本数量激活特定数量的计算节点；

将所述训练样本发送给所述计算节点，以使得各个计算节点基于对所述训练样本切片后获得的训练样本集合分别对对应的映射层进行训练，并将获得的训练参数发送给对应的参数服务器进行更新。

7.根据权利要求6所述的方法，其特征在于，所述基于训练样本的样本数量激活特定数量的计算节点，包括：

根据所述样本数量以及计算节点的既定数据处理量确定计算节点的数量；

激活所述数量的计算节点，其中，每个计算节点均用于对各个映射层分别进行训练。

8.根据权利要求6所述的方法，其特征在于，所述基于训练样本的样本数量激活特定数量的计算节点，包括：

根据所述样本数量以及计算节点的既定数据处理量确定一组计算节点的数量；

根据所述参数服务器的数量激活相同组数的计算节点，其中，一组计算节点对应训练一个映射层。

9.根据权利要求6所述的方法，其特征在于，所述将所述训练样本发送给所述计算节点，包括：

对所述训练样本进行切片，获得多个训练样本集合；

将所述训练样本集合分发给各个计算节点；

或者，将所述训练样本发送给主计算节点，以使得所述主计算节点对所述训练样本进行切片及分发。

10.根据权利要求9所述的方法，其特征在于，在所述将所述训练样本发送给所述计算节点之前，所述方法进一步包括：

根据模式设置指令确定所述训练样本的切片模式，所述切片模式包括：

由交互平台对训练样本进行切片；

或者，由主计算节点对训练样本进行切片。