[发明专利]神经网络计算装置和系统及其方法

说明书

技术领域

本发明的示例实施例涉及数字神经网络计算技术；具体而言，涉及一种神经网络计算装置及其方法，该装置的所有部件作为与一个系统时钟同步的电路而运作，而且该装置包括用于存储人工神经网络数据的分布式存储结构以及用于通过管线电路以时分方式处理所有神经元的计算结构。

背景技术

数字神经网络计算机是模拟生物神经网络以便构造与大脑作用类似的功能的电子电路。

为了以人工方式实现生物神经网络，提出了具有与生物神经网络类似的结构的各种计算方法，这种生物神经网络的构造方法可称之为神经网络模型。在大多数神经网络模型中，人工神经元通过有向连接而连接，以形成网络。每个神经元具有唯一属性并通过连接传送该属性，从而影响相邻神经元的属性。各个神经元之间的每个连接具有唯一属性，并用于调整通过该连接传送的信号的强度。在各种神经网络模型中，最常用的神经元属性是与神经元的输出值对应的状态值，并且最常用的连接属性是指示连接的连接强度的权重值。

人工神经网络内的神经元可分为输入神经元、输出神经元以及其他隐藏神经元；输入神经元用于从外部接收输入值，输出神经元用于把处理结果传送给外部。

与生物神经网络不同，数字神经网络计算机不能线性地改变神经元的值。因而，在计算过程中，数字神经网络计算机逐个地计算全部神经元的值并在下次计算过程中反映已计算的值。可将数字神经网络计算机逐个地计算全部神经元的值的周期称为神经网络更新周期。在执行数字人工神经网络时，可以重复神经网络更新周期。

为使人工神经网络得到期望的结果值，以连接属性的形式存储神经网络内的知识信息。将通过调整人工神经网络内的连接属性而积累知识的步骤称为学习模式，而将通过输入数据搜索积累的知识的步骤称为回想模式。

在大多数神经网络模型中，回想模式的执行方法如下：为某输入神经元指定输入数据，重复神经网络更新周期以得到输出神经元的状态值。在一个神经网络更新周期内，可根据如下公式1来计算神经网络内的每个神经元j的状态值：

[公式1]

yj(T+1)=f(Σi=1Pjwij·yMij(T))]]>

其中，y_j(T)表示第T次神经网络更新周期所计算的神经元j的状态值(属性)，f表示用于确定神经元j的输出的激活函数，p_j表示神经元j的输入连接的个数，w_ij表示神经元j的第i个输入连接的权重值(属性)，并且M_ij表示与神经元j的第i个输入连接相连接的神经元的个数。

在一些神经网络模型中，例如径向基函数和自组织特征映射模型中，可使用下述公式2所示的式子，但该式子不如公式1常用。

[公式2]