[发明专利]通过高效混合并行化减少深度神经网络训练次数

说明书

提出了自动寻找深度神经网络(DNN)的有效并行化策略的系统和方法。包括有效排序的顶点序列的计算图有助于在相对短的时间内计算最佳并行化策略。在各种DNN上评估并行化策略的有效性，并且将由各种实施例提出的策略的性能与数据并行、专家设计的策略和其它现有技术的方法进行比较。实验结果表明，所提出的策略优于基线数据并行策略，并取得了比专家设计的策略和现有技术的方法更好的性能。

相关申请的交叉引用

本专利申请根据35USC§119(e)涉及并要求2019年11月4日提交的、标题为“REDUCING TRAINING TIMES OF DEEP NEURAL NETWORKS THROUGH EFFICIENT HYBRIDPARALLELISM”的第62/930,518号共同未决和共同拥有的美国专利申请的优先权权益，并将Venmugil Elango列出作为发明人(案号28888-2363P)，该专利文件的全部内容出于所有目的通过引用并入本文。

背景技术

本公开总体上涉及用于计算机学习的、可以提供改进的计算机性能、特征和使用的系统和方法。更具体地，本公开涉及用于通过有效混合并行技术来减少深度神经网络(DNN)的训练时间的系统和方法。

DNN在诸如计算机视觉、自然语言处理、推荐系统等多个领域取得了巨大的成功。训练DNN需要大量的计算和存储器要求。将多个设备上的训练并行化以减少训练时间已经成为标准实践。有几种可行的方法来使DNN中的不同层平行化。穷举搜索该列表以找到最优并行化策略是过于耗时和不切实际的。标准的做法是使用数据并行，因为其简单性。然而，数据并行通常是次优的，并且受到差的性能和高存储器要求的困扰。已经利用特定的领域知识在逐个案例的基础上提出了专家设计的策略。这些专家设计的策略除了能够很好地推广到策略设计所针对的DNN外，不能很好地推广到其他的DNN。

因此，希望提供能够增加硬件利用率并减少深度神经网络的训练时间的更有效的系统和方法。

发明内容

本公开的实施方式提供了包括一个或多个指令序列的非暂时性计算机可读介质以及用于寻找对深度神经网络(DNN)的顶点进行并行化以增加所述DNN的硬件利用率并减少所述DNN的训练时间的有效策略的系统。

在本公开的一方面，提供了一种包括一个或多个指令序列的非暂时性计算机可读介质，所述一个或多个指令序列在由至少一个处理器执行时实现用于寻找对深度神经网络(DNN)的层进行并行化以增加所述DNN的硬件利用率并减少所述DNN的训练时间的有效策略的步骤，所述步骤包括：获得顶点序列，所述顶点序列中的顶点表示DNN的层，所述顶点序列已根据顶点排序策略排序，使得表示所述DNN的计算图中的受限邻居集合的大小得以减小；对于每个顶点，使用递归来计算用于对所述DNN的顶点进行并行化的子策略，每个顶点与一个或多个根据成本函数来降低配置成本的有效配置相关联；和输出具有用于所述计算图的最低成本的策略。

在本公开的另一方面，提供了一种包括一个或多个指令序列的非暂时性计算机可读介质，所述指令序列在由至少一个处理器执行时实现以下步骤，所述步骤用于对深度神经网络(DNN)的计算图的顶点进行排序以产生有效的顶点序列，其中，所述顶点序列中的顶点表示DNN的层，进而有效地计算提高所述DNN的硬件利用率和减少所述DNN的训练时间的最佳策略，所述步骤包括：对于顶点集合中的一个或多个顶点，初始化右相关顶点集合、末端顶点集合和未排序的顶点集合；对于每个顶点，执行以下步骤：从所述未排序的顶点集合中迭代地选择具有最小右相关集合基数的顶点，并将所选择的顶点分配给顶点序列；更新所述末端顶点集合和所述右相关顶点集合，使得计算图中的右相关顶点集合的大小得以正确保持；和输出所述顶点序列作为有序的顶点序列。