[发明专利]训练深度神经网络的方法、装置及系统

说明书

本发明公开了一种训练深度神经网络的方法、装置及系统，涉及互联网技术领域，为解决深度神经网络训练效率低下的问题而发明。本发明的方法包括：交互平台根据深度神经网络的映射层数量激活同等数量的参数服务器，基于训练样本的样本数量激活特定数量的计算节点，并将训练样本发送给计算节点；计算节点基于各自获得的训练样本集合分别对参数服务器对应的映射层进行训练，将获得的训练参数发送给参数服务器；参数服务器将不同计算节点发送的训练参数进行合并，获得更新后的训练参数，并将更新后的训练参数发送给对应的计算节点。本发明主要应用于大数据环境下的深度神经网络训练过程中。

技术领域

本发明涉及互联网技术领域，尤其涉及一种训练深度神经网络的方法、装置及系统。

背景技术

深度学习是机器学习研究中的一个新领域，其目的在于模拟人脑对数据进行分析的学习过程，通过模仿人脑认知的机制来解释数据。深度神经网络是一种由多个映射层逐级排列组成的网络模型结构，其中每个映射层包含一对彼此对应的显层及隐层结构，用以对低层数据进行特征提炼以获得高层表示的数据属性或类别。由于深度神经网络可以学习数据特征之间的组合关系、聚合生成高层次的语义特征，因此近年来其已经在图像检测、语音识别、文本分类等方面得到了很好的验证和实践。

构建深度神经网络的重点在于训练过程，即使用大量的样本数据作为深度神经网络的输入，对深度神经网络进行有监督式的训练或无监督式的训练。在训练过程中，样本数据进入深度神经网络的输入层，成为首个映射层中显层的输入。在该映射层中，显层神经元建立与隐层神经元之间的映射关系，获得映射权重，完成本层中的特征抽象，然后将该映射层隐层的输出作为下一个映射层显层的输入，继续进行下一映射层的映射关系建立。可以看出，训练过程的本质在于获得每一级映射层中显层神经元到隐层神经元的映射权重，这个过程在业内也被称作为生成训练参数。

在现有训练深度神经网络的过程中，发明人发现：随着网络信息的几何式增长，现实需求对深度神经网络的“认知”广度和深度不断提出更高的要求，这就需要使用越来越多的样本数据对深度神经网络进行训练，例如谷歌的阿尔法围棋程序(AlphaGo)就需要以百万甚至千万数量级的棋谱进行训练。但是基于大量数据的网络训练过程会大大增加训练耗时，使得网络训练的时效性无法得到保障。因此如何在大数据背景下提高深度神经网络的训练效率，就成为摆在技术人员面前的一道难题。

发明内容

本发明提供了一种训练深度神经网络的方法、装置及系统，能够解决深度神经网络训练效率低下的问题。

为解决上述问题，第一方面，本发明提供了一种训练深度神经网络的系统，该系统包括：计算节点、参数服务器以及交互平台，深度神经网络的每个映射层的训练参数对应由一个参数服务器存储，每个参数服务器对应至少一个计算节点；

交互平台，用于根据深度神经网络的映射层数量激活同等数量的参数服务器，基于训练样本的样本数量激活特定数量的计算节点，并将训练样本发送给计算节点；

计算节点，用于基于各自获得的训练样本集合分别对参数服务器对应的映射层进行训练，将获得的训练参数发送给参数服务器，其中训练样本集合由训练样本切片获得；

参数服务器，用于将不同计算节点发送的训练参数进行合并，获得更新后的训练参数，并将更新后的训练参数发送给对应的计算节点。

第二方面，本发明还提供了一种训练深度神经网络的方法，深度神经网络的每个映射层的训练参数对应由一个参数服务器存储，每个参数服务器对应至少一个计算节点，该方法包括：

交互平台根据深度神经网络的映射层数量激活同等数量的参数服务器；

基于训练样本的样本数量激活特定数量的计算节点；

将训练样本发送给计算节点，以使得各个计算节点基于对训练样本切片后获得的训练样本集合分别对对应的映射层进行训练，并将获得的训练参数发送给对应的参数服务器进行更新。