[发明专利]初始化参数的集群同步方法、装置、设备、介质及系统

权利要求书

1.一种初始化参数的集群同步方法，由设置在训练集群的主服务器上的集中主节点执行，其特征在于，包括：

接收与待训练的目标神经网络匹配的初始化训练参数；

根据初始化训练参数，构建与主服务器中的各第一从节点分别匹配的服务器内数据包，并将各服务器内数据包发送至匹配的各第一从节点；

根据初始化训练参数，构建与训练集群中的各从服务器分别匹配的服务器间数据包，并将各服务器间数据包分别发送至各从服务器中的分层主节点；

其中，各分层主节点用于将接收到的服务器间数据包同步至各从服务器中的各第二从节点。

2.根据权利要求1所述的方法，其特征在于，所述第一从节点为所述主服务器中包括的，用于与集中主节点共同训练目标神经网络所使用的其他节点，且第一从节点和集中主节点的合集为主服务器中包括的全部节点的真子集；

根据初始化训练参数，构建与主服务器中的各第一从节点分别匹配的服务器内数据包，并将各服务器内数据包发送至匹配的各第一从节点，包括：

根据所述初始化训练参数以及各所述第一从节点的节点识别标识，构建与所述第一从节点的节点数量匹配的多个服务器内数据包；

通过所述主服务器中预先配置的服务器内高速网络，将各所述服务器内数据包分别发送至各所述第一从节点。

3.根据权利要求1所述的方法，其特征在于，所述第一从节点为所述主服务器中包括的，用于与集中主节点共同训练目标神经网络所使用的其他节点，且第一从节点和集中主节点的合集为主服务器中包括的全部节点；

根据初始化训练参数，构建与主服务器中的各第一从节点分别匹配的服务器内数据包，并将各服务器内数据包发送至匹配的各第一从节点，包括：

根据所述初始化训练参数构建一个服务器内数据包，并将所构建的服务器内数据包在所述主服务器中预先配置的服务器内高速网络中进行广播；

通过服务器内高速网络，将使用服务器内数据包复制得到的，与第一从节点的数量值匹配的多个服务器内数据包分别发送至各第一从节点。

4.根据权利要求1所述的方法，其特征在于，所述从服务器为所述训练集群中包括的，用于与主服务器共同训练目标神经网络所使用的其他服务器；

根据初始化训练参数，构建与训练集群中的各从服务器分别匹配的服务器间数据包，并将各服务器间数据包分别发送至各从服务器中的分层主节点，包括：

根据所述初始化训练参数以及各所述分层主节点的节点识别标识，构建与所述从服务器的服务器数量匹配的多个服务器间数据包；

通过所述训练集群中预先配置的服务器间高速网络，将各所述服务器间数据包分别发送至各从服务器中的分层主节点。

5.一种初始化参数的集群同步方法，由设置在训练集群的从服务器上的分层主节点执行，其特征在于，包括：

接收训练集群的主服务器中的集中主节点发送的服务器间数据包，其中，所述服务器间数据包为所述集中主节点根据与待训练的目标神经网络匹配的初始化训练参数，以及所述分层主节点的节点识别标识构建得到的；

将所述服务器间数据包发送至所在从服务器中的各第二从节点，以实现对初始化训练参数的服务器内同步；

其中，所述第二从节点为所述从服务器中包括的，用于与分层主节点共同训练目标神经网络所使用的其他节点。

6.一种初始化参数的集群同步装置，由设置在训练集群的主服务器上的集中主节点执行，其特征在于，包括：

训练参数接收模块，用于接收与待训练的目标神经网络匹配的初始化训练参数；

第一服务器内发送模块，用于根据初始化训练参数，构建与主服务器中的各第一从节点分别匹配的服务器内数据包，并将各服务器内数据包发送至匹配的各第一从节点；

服务器间发送模块，用于根据初始化训练参数，构建与训练集群中的各从服务器分别匹配的服务器间数据包，并将各服务器间数据包分别发送至各从服务器中的分层主节点；

其中，各分层主节点用于将接收到的服务器间数据包同步至各从服务器中的各第二从节点。