[发明专利]一种基于模型结构特性的分布式深度学习通信方法和系统

摘要

本发明公开了一种基于模型结构特性的分布式深度学习通信方法和系统，属于深度学习领域。包括：使用分布式集群预训练深度神经网络模型，对于每台机器，计算各层网络之前所有层的前向计算与后向计算所用时间总和Tij，对于每个server，对在[min{ti′j},min{ti′j+Ti′j})期间收集到的第j层网络梯度，在min{ti′j+Ti′j}时间点进行累加，并用累加梯度更新权值参数。本发明根据网络各层的前向计算与后向计算所需时间及在网络位置，限制server接收梯度的时间，实现多机间的软同步，对每一层采用不同的同步节点个数，消除迭代计算中等待时间。根据梯度的陈旧度对其缩放，减小陈旧梯度的影响，在保证训练精度的前提下，提高分布式深度学习通信效率，加快训练速度。