[发明专利]学习网络在等价类空间中的优化

说明书

根据本公开的实现，提出了一种学习网络在等价类空间中的优化方案。在该方案中，确定贯穿学习网络的多个层的多个基础路径。多个层上的每个节点利用具有缩放不变属性的激活函数对来自前一层的节点的输入进行处理，每个基础路径包括多个层中的每一层上的单个节点，并且多个基础路径中的处理彼此线性无关。对于多个基础路径中的每一个基础路径，更新与该基础路径中的节点相关联的参数的组合值，在每个基础路径中，与一个节点相关联的参数被用以调节该节点从前一层的节点获得的输入。基于更新后的参数的组合值，更新在多个基础路径中与多个层上的节点相关联的参数的值。通过该方案，提高了优化效率，实现更准确地获得参数的优化值。

背景技术

深度学习在诸如图像分类、机器翻译、语音识别等诸多领域具有广泛的应用。例如，在大数据和强大的计算资源的基础上，能够训练具有多个层级、多个参数的深度神经网络(Deep Neural Networks，DNN)，也被称为深度学习网络。在训练或优化阶段，需要根据给定的训练数据集和优化目标，对学习网络的参数进行训练和优化。例如，对于神经网络的训练而言，可以采用随机梯度下降(SGD)方法。然而，训练学习网络通常是一项非常艰难的任务，需要通过大量的迭代过程不断更新学习网络的各个参数。各个参数的确定取决于迭代过程的收敛程度。这需要耗费大量计算和时间资源。

发明内容

根据本公开的实现，提出了一种学习网络在等价类空间中的优化方案。在该方案中，确定贯穿学习网络的多个层的多个基础路径。多个层上的每个节点利用具有缩放不变属性的激活函数对来自前一层的节点的输入进行处理，每个基础路径包括多个层中的每一层上的单个节点，并且多个基础路径中的处理彼此线性无关。对于多个基础路径中的每一个基础路径，更新与该基础路径中的节点相关联的参数的组合值，在每个基础路径中，与一个节点相关联的参数被用以调节该节点从前一层的节点获得的输入。基于更新后的参数的组合值，更新在多个基础路径中与多个层上的节点相关联的参数的值。通过该方案，在由基础路径表示的等价类空间执行学习网络的优化，有助于提高优化的计算效率并且还可以更快、更准确地获得参数的优化值。

提供发明内容部分是为了简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1示出了能够实施本公开的多个实现的计算设备的框图；

图2A示出了具有缩放不变属性的激活函数的曲线的示意图；

图2B示出了学习网络的部分节点之间的处理的示意图；

图3示出了单个节点的输入和输出的处理的示意图；

图4示出了根据本公开的一些实现的用于学习网络的优化的过程的流程图；

图5示出了根据本公开的一些实现的在图1的学习网络中确定的基础路径的示意图；以及

图6示出了根据本公开一些实现的用于参数更新的过程的流程图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实施方式

现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本公开的范围的任何限制。

如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

示例环境