[发明专利]用于适应性缩放的人工神经网络中的非均匀正则化

说明书

提供了一种用于人工神经网络的灵活正则化和适应性缩放的系统。该系统包括：存储器，其存储人工神经网络和训练数据；处理器和接口，其将信号和训练数据提交给具有一系列层的神经网络，各个层包括神经元节点的集合，其中，来自邻近层的一对节点与多个可训练参数相互连接以将信号从前一层传递到下一层；随机数发生器，其遵循跨神经网络的层深度方向和节点宽度方向的多维分布以随机方式修改各个神经元节点的输出信号以进行正则化，其中，至少一层跨神经元节点具有非恒等剖面；训练算子，其使用训练数据更新神经网络参数，使得神经网络的输出在多个目标函数中提供更好的值；以及自适应截断器，其对压缩大小的神经网络中的各个层的神经元节点的输出进行剪枝，以在针对任何新的传入数据的下游测试阶段降低运行中的计算复杂度。

技术领域

本发明总体上涉及人工神经网络系统和用于设计神经网络的方法，具体地，涉及用于实现灵活正则化和适应性降维的神经网络中的非均匀丢弃(dropout)。

背景技术

在数据分析和通信之前，特征提取和降维很重要。在许多真实世界应用中，原始数据测量(例如，音频/言语、图像、视频和生物信号)常常具有非常高的维数。充分处理高维数常常需要应用将原始数据变换为有意义的降维特征表示的降维技术。这些特征表示应该将维数降低至捕获数据的突出性质所需的最小数量。由于需要减轻所谓的维数灾难(是指在数据分析中维数呈指数增加的问题现象)，在许多机器学习和人工智能应用中降维很重要。迄今为止，已有许多降维算法，例如主成分分析(PCA)、核PCA、Isomap、最大方差展开、扩散映射、局部线性嵌入、拉普拉斯特征映射、局部切空间分析、Sammon映射、局部线性坐标和流形制图。在过去几十年里，基于称为自动编码器(AE)的人工神经网络(ANN)的潜在表示学习已广泛用于降维，因为这种非线性技术与诸如PCA的经典线性技术相比显示出优异的真实世界性能。

降维中的挑战之一是确定可充分捕获特定应用所需的数据特征的最优潜在维数。尽管诸如稀疏AE(SAE)和率失真AE的一些正则化技术可有助于调节有效维数，但目前没有允许在不修改训练的AE模型的情况下根据不同下游应用的不同失真要求无缝调节潜在维数的适应性方法。一些现有工作强加层次架构的有条件AE训练和逐步层叠。然而，这些早前方法需要多次繁琐的重新训练。因此，与线性PCA提供分等级的潜在变量不同，现有AE通常具有潜在变量同样重要的缺点。

类似于确定潜在变量的大小的问题，确定人工神经网络的大小具有挑战性，因为显著浅且窄的网络不能很好地工作，而不必要的深且宽的网络需要不现实地大量的训练数据来工作。可使用丢弃很好地对过完备网络进行正则化以防止过拟合。在较深的层使用较高的丢弃的随机深度方法可为过深的神经网络自组织网络深度的有效大小。然而，确定网络宽度的大小仍需要设计者的反复试验。

为此，需要开发一种用于实现灵活正则化和适应性降维的神经网络系统和设计神经网络的方法。

发明内容

根据本发明的一些实施方式，提供了一种用于人工神经网络的灵活正则化和适应性缩放的系统。该系统包括：存储器，其存储人工神经网络和训练数据；处理器和接口，其将信号和训练数据提交给包括一系列层的神经网络，各个层包括神经元节点的集合，其中，来自邻近层的一对节点与多个可训练参数相互连接以将信号从前一层传递到下一层；随机数发生器，其遵循跨神经网络的层深度方向和节点宽度方向的多维分布以随机方式修改各个神经元节点的输出信号以进行正则化，其中，至少一层跨神经元节点具有非恒等剖面(profile)；训练算子，其使用训练数据更新神经网络参数，使得神经网络的输出在多个目标函数中提供更好的值；以及自适应截断器，其对压缩大小的神经网络中的各个层的神经元节点的输出进行剪枝，以在针对任何新的传入数据的下游测试阶段降低运行中的计算复杂度。