[发明专利]神经网络中突触活性的自调节阈值

说明书

提供了神经网络中的突触活性的自调节阈值。在各个实施例中，对于人工神经网络内的多个神经元中的每一个，确定与经由具有非零突触权重的突触而连接至神经元的活跃输入相对应的重叠值。确定多个神经元中其重叠超过神经网络的激活阈值的那些神经元的计数。将该计数与预定神经元活性目标进行比较。调节神经网络的激活阈值以达到预定神经元活性目标。

本发明是在国防高级研究项目机构(DARPA)授予的合同编号N66001-15-C-4034下由政府支持完成的。政府对本发明具有一定权利。

背景技术

本公开的实施例涉及人工神经网络，并且更具体地，涉及神经网络中的神经元活性的自调节阈值。

发明内容

根据本公开的实施例，提供了用于对神经网络进行自调节的方法和计算机程序产品。在各个实施例中，对于人工神经网络内的多个神经元中的每一个，确定与经由具有非零突触权重的突触而连接至神经元的活跃输入相对应的重叠值。确定多个神经元中其重叠超过所述神经网络的激活阈值的那些神经元的计数。将该计数与预定神经元活性目标进行比较。调节神经网络的激活阈值以达到预定神经元活性目标。

附图说明

现在将参考附图仅通过示例的方式描述本公开的实施例，在附图中：

图1示出了根据本公开的实施例的示例性突触阵列。

图2示出了根据本公开的实施例的动态调节突触活性阈值的方法。

图3是根据本公开的实施例的阈值操作的示意图。

图4示出了根据本公开的实施例的对神经网络进行自调节的方法。

图5描述了根据本发明实施例的计算节点。

具体实施方式

人工神经网络(ANN)是分布式计算系统，其包括通过称为突触的连接点互连的多个神经元。每个突触编码一个神经元的输出和另一个神经元的输入之间的连接的强度。每个神经元的输出由从连接到它的其它神经元接收的聚合输入确定。因此，给定神经元的输出基于连接的神经元的输出以及由突触权重确定的连接的强度。ANN通常被训练以通过调节突触的权重以使得特定类的输入产生期望的输出来解决特定问题(例如，模式识别)。

可以使用各种算法用于该学习过程。某些算法可以适用于特定任务，例如图像识别、语音识别或语言处理。训练算法导致突触权重的模式，其在学习过程期间朝向给定问题的最优解收敛。反向传播是一种用于监督学习的合适算法，其中在学习过程期间可获得已知的正确输出。这种学习的目的是获得一种系统，该系统通用到在训练期间不可用的数据。

通常，在反向传播期间，将网络的输出与已知的正确输出进行比较。针对输出层中的每个神经元计算误差值。从输出层开始，向后传播误差值，以确定与每个神经元相关联的误差值。误差值对应于每个神经元对网络输出的贡献。然后使用误差值来更新权重。通过以这种方式进行递增校正，网络输出被调节为符合训练数据。

人工神经网络(ANN)在解决人工智能中的问题方面已经日益成功，特别是那些需要大量数据和长时间处理的问题。如上所述，网络中的每个节点或神经元的基本操作是计算来自其它节点的输入的加权和，并且如果该和超过给定的激发阈值，则激活神经元。权重与每对神经元之间的突触连接相关联。

在一些神经网络中，尖锐阈值(Heaviside阶跃函数)被诸如双曲正切或逻辑函数的非线性压制函数代替。这使得神经元响应成为每个输入的可微分函数，并且允许应用反向传播，其中误差通过网络被向后反馈并用于调节突触权重，以便迭代地最小化网络的输出误差。然而，这些数学改进使ANN进一步远离脑的生物学操作，而脑的生物学操作是神经网络设计的最初启发。