[发明专利]一种半异步并行神经网络的计算优化方法及系统

权利要求书

1.一种半异步并行神经网络的计算优化方法，其特征在于，包括参数服务器的工作步骤：

S1、初始化计算节点的相关参数和神经网络的相关参数；

S2、将神经网络的相关参数发送给空闲的计算节点并命令计算节点执行计算；

S3、基于速度预测器预测计算节点所需的计算时间，得到预测结果；

S4、根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果；

S5、等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作；

S6、根据预设规则判断本次循环计算结束并对神经网络和速度预测器进行参数更新，得到更新后的神经网络；

S7、返回步骤S2直至更新后的神经网络的准确度达到预设值。

2.根据权利要求1所述一种半异步并行神经网络的计算优化方法，其特征在于，还包括计算节点的工作步骤：

接收来自参数服务器发送的神经网络的相关参数；

获取样本并将样本通过神经网络，计算神经网络的梯度；

将梯度发送给参数服务器，接收参数服务器返回的命令并执行相应的工作。

3.根据权利要求2所述一种半异步并行神经网络的计算优化方法，其特征在于，所述预测计算节点所需的时间，得到预测结果这一步骤，其具体包括：

将计算节点上一次循环的计算时长输入到预构建的速度预测器；

根据计算节点上一次循环的计算时长预测该计算节点本次计算所需的时间，得到预测结果。

4.根据权利要求3所述一种半异步并行神经网络的计算优化方法，其特征在于，所述预构建的速度预测器采用长短期记忆网络模型。

5.根据权利要求4所述一种半异步并行神经网络的计算优化方法，其特征在于，所述根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果这一步骤，其具体包括：

根据预测结果和节点状态计算本次循环计算的可能的结束时间点；

对可能的结束时间点进行打分并选取最优的结束时间点；

根据最优的结束时间点对每个计算节点进行分类，得到分类结果。

6.根据权利要求5所述一种半异步并行神经网络的计算优化方法，其特征在于，所述分类结果包括第一类别节点和第二类别节点，所述第一类别节点为本次循环中预计等待时间较短的计算节点，所述第二类别节点为本次循环中预计等待时间较长的计算节点。

7.根据权利要求6所一种半异步并行神经网络的计算优化方法，其特征在于，所述等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作这一步骤，其具体包括：

等待任一计算节点计算完毕，根据计算节点的类别给出不同的指令；

对于第一类别节点，参数服务器接收计算结果并发送停止计算命令给该计算节点，计算节点转为空闲等待状态；

对于第二类别节点，参数服务器接收计算结果并发送继续计算命令给该计算节点，计算节点继续开始计算。

8.根据权利要求7所述一种半异步并行神经网络的计算优化方法，其特征在于，所述根据预设规则判断本次循环计算结束具体为判断到第一类计算节点全部计算完毕，本次循环计算结束。

9.一种半异步并行神经网络的计算优化系统，其特征在于，包括：

参数服务器，用于初始化参数、发送相关参数、预测计算时间、将计算节点分类、发送回应、参数更新和判断准确度；

计算节点，用于接收相关参数、执行计算和响应命令。