[发明专利]一种半异步并行神经网络的计算优化方法及系统

说明书

本发明公开了一种半异步并行神经网络的计算优化方法及系统，该方法包括：初始化参数；将相关参数发送给空闲的计算节点；预测计算节点计算所需的时间；将计算节点分类；等待任一节点计算完毕后根据计算节点的类别发送对应命令；本次循环计算结束后进行参数更新；返回计算节点计算步骤直至更新后的神经网络的准确度达到预设值。该系统包括：参数服务器和计算节点。本发明克服了某些节点计算速度过慢导致整体速度过慢的问题。本发明作为一种半异步并行神经网络的计算优化方法及系统，可广泛应用于网络优化领域。

技术领域

本发明属于网络优化领域，尤其涉及一种半异步并行神经网络的计算优化方法及系统。

背景技术

同步随机梯度下降方法中，服务器需要服务器需要等待所有的计算节点的梯度都计算完后才能进行参数的更新。在计算节点的数量规模较大时，由于各种环境噪音的存在，很容易就出现某些节点计算速度显著慢于其它节点的情况；或者由于计算的网络链接拓扑的不对称，就会使得某些节点与服务器通信所需的时间显著长于其它节点。在这种情况出现时，整体计算过程就会被最慢的节点所拖慢。特别地，如果计算节点之间本身就是异构的，某些节点计算速度本身就比较缓慢，那么整体的计算速度也会变得极为缓慢，降低了网络的训练速度。

发明内容

为了解决上述技术问题，本发明的目的是提供一种半异步并行神经网络的计算优化方法及系统，克服了某些节点计算速度过慢导致整体速度过慢的问题。

本发明所采用的第一技术方案是：一种半异步并行神经网络的计算优化方法，包括以下步骤：

S1、初始化计算节点的相关参数和神经网络的相关参数；

S2、将神经网络的相关参数发送给空闲的计算节点并命令计算节点执行计算；

S3、基于速度预测器预测计算节点所需的计算时间，得到预测结果；

S4、根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果；

S5、等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作；

S6、根据预设规则判断本次循环计算结束并对神经网络和速度预测器进行参数更新，得到更新后的神经网络；

S7、返回步骤S2直至更新后的神经网络的准确度达到预设值。

进一步，还包括计算节点的工作步骤：

接收来自参数服务器发送的神经网络的相关参数；

获取样本并将样本通过神经网络，计算神经网络的梯度；

将梯度发送给参数服务器，接收参数服务器返回的命令并执行相应的工作。

进一步，所述预测计算节点所需的时间，得到预测结果这一步骤，其具体包括：

将计算节点上一次循环的计算时长输入到预构建的速度预测器；

根据计算节点上一次循环的计算时长预测该计算节点本次计算所需的时间，得到预测结果。

进一步，所述预构建的速度预测器采用长短期记忆网络模型。

进一步，所述根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果这一步骤，其具体包括：

根据预测结果和节点状态计算本次循环计算的可能的结束时间点；

对可能的结束时间点进行打分并选取最优的结束时间点；

根据最优的结束时间点对每个计算节点进行分类，得到分类结果。