[发明专利]一种基于SPARK平台的并行化深度学习方法

摘要

本发明提供的方法针对现有的深度学习方法参数同步模式在大规模集群中可能会存在的问题，在Spark环境中引入了参数存储节点和参数服务控制节点这一编程框架，将集群中的节点分为计算节点、参数存储节点和参数服务控制节点，参数服务控制节点负责参数的收发以及参数更新机制的实现。参数存储节点和参数服务控制节点的出现使得异步通信成为可能，计算节点只需要在某次迭代的伊始向参数服务控制节点请求权重，在迭代的末尾向参数服务控制节点发送权重即可，大幅降低了通信时间、通信量以及节点闲置时间，使得在大数据环境下的深度学习训练任务的效率大幅提升。

主权项

1.一种基于SPARK平台的并行化深度学习方法，其特征在于：包括以下步骤：S1.在多个节点上分别安装SPARK平台，然后进行相关的环境变量设置；S2.令多个节点中的部分节点为计算节点，剩余的节点中，一部分为参数存储节点，另一部分为参数服务控制节点；S3.在各个计算节点上分别初始化一个训练模型；S4.判断所有的计算节点的训练模型的状态是否都已触发触发器，若是则执行步骤S6，否则执行步骤S4；S4.将训练数据进行划分后平均分配给各个计算节点，各个计算节点上的训练模型利用分配的数据进行前向传播计算和后向传播计算，得到训练模型的参数信息后将参数信息通过参数服务控制节点回传至参数存储节点进行存储；然后同步更新训练模型的相关状态；S5.判断各个计算节点的一代训练是否完成，若否则直接执行步骤S4；若是则输出总时间，并且使每个计算节点向参数服务控制节点请求对应计算节点最新的参数信息，请求得到最新的参数信息对训练模型进行配置后，执行步骤S4；S6.结束。