[发明专利]一种用于稀疏连接的人工神经网络计算装置和方法

权利要求书

1.一种用于稀疏连接的人工神经网络计算装置，用于接收输入数据并根据输入数据产生输出数据，输入数据包括输入神经元数据和权值数据，输出数据包括输出神经元数据，所述用于稀疏连接的人工神经网络计算装置包括：

映射单元，用于接收连接关系及权值数据和/或输入神经元数据，并根据连接关系将输入数据中每个权值数据一一对应到相应的输入神经元数据，并将所述权值数据和/或所述相应的输入神经元数据存储在存储装置和/或缓存中；

存储装置，用于存储数据和指令；

运算单元，用于根据所述存储装置中存储的指令对所述数据执行相应的运算；所述运算单元执行的运算包括：第一步，将所述输入神经元数据和权值数据相乘，得到加权输出神经元数据；第二步，执行加法树运算，用于将第一步处理后的加权输出神经元数据通过加法树逐级相加，或者将输出神经元数据通过和偏置相加得到加偏置输出神经元数据；第三步，对第二步得到的神经元数据执行激活函数运算，得到最终输出神经元数据。

2.如权利要求1所述的用于稀疏连接的人工神经网络计算装置，其特征在于，所述连接关系包括：

第一种情形：

采用1表示有连接，0表示无连接，每个输出神经元数据与所有输入神经元数据的连接状态组成一个0和1的字符串来表示该输出神经元数据的连接关系；或者

采用1表示有连接，0表示无连接，每个输入神经元数据与所有输出神经元数据的连接状态组成一个0和1的字符串来表示该输入神经元数据的连接关系；或者

第二种情形：

将一输出神经元数据的第一个有连接的输入神经元数据所在的位置距离第一个输入神经元数据的距离、所述输出神经元数据的第二个有连接的输入神经元数据距离第一个有连接的输入神经元数据的距离，所述输出神经元数据的第三个有连接的输入神经元数据距离第二个有连接的输入神经元数据的距离，……，依次类推，直到穷举所述输出神经元数据的所有输入神经元数据，来表示所述输出的连接关系。

3.如权利要求1所述的用于稀疏连接的人工神经网络计算装置，其特征在于，所述人工神经网络计算装置还包括直接内存存取单元DMA，用于在所述存储装置和缓存中进行数据或者指令读写。

4.如权利要求3所述的用于稀疏连接的人工神经网络计算装置，其特征在于，所述人工神经网络计算装置还包括：

指令缓存，用于存储指令；以及

控制单元，用于从所述指令缓存中读取指令，并将其译码成各运算单元指令。

5.如权利要求3所述的用于稀疏连接的人工神经网络计算装置，其特征在于，所述人工神经网络计算装置还包括：

输入神经元缓存，用于缓存输入到所述运算单元的输入神经元数据；以及

权值缓存，用于缓存权值数据。

6.如权利要求3所述的用于稀疏连接的人工神经网络计算装置，其特征在于，所述人工神经网络计算装置还包括：

输出神经元缓存，用于缓存所述运算单元输出的输出神经元数据。

7.如权利要求1所述的用于稀疏连接的人工神经网络计算装置，其特征在于，所述映射单元用于接收连接关系及权值数据和/或输入神经元数据，并根据连接关系将输入数据中每个权值数据一一对应到相应的输入神经元数据，并输出到所述运算单元，而不是存储在存储装置中。

8.如权利要求7所述的用于稀疏连接的人工神经网络计算装置，其特征在于，所述人工神经网络计算装置还包括输入神经元缓存和/或权值缓存，所述输入神经元缓存用于缓存输入到所述运算单元的输入神经元数据，所述权值缓存用于缓存权值数据，所述映射单元用于接收连接关系及权值数据和/或输入神经元数据，并根据连接关系将输入数据中每个权值数据一一对应到相应的输入神经元数据，并存储到所述输入神经元缓存和/或权值缓存中。

9.如权利要求1所述的用于稀疏连接的人工神经网络计算装置，其特征在于，所述激活函数包括sigmoid函数、tanh函数或ReLU函数。

10.一种用于稀疏连接的人工神经网络的计算方法，其特征在于，包括以下步骤：

步骤1，接收连接关系及权值数据和/或输入神经元数据，并根据连接关系将输入数据中每个权值数据一一对应到相应的输入神经元数据；其中，所述连接关系包括：

第一种情形：

采用1表示有连接，0表示无连接，每个输出神经元数据与所有输入神经元数据的连接状态组成一个0和1的字符串来表示该输出神经元数据的连接关系；或者

采用1表示有连接，0表示无连接，每个输入神经元数据与所有输出神经元数据的连接状态组成一个0和1的字符串来表示该输入神经元数据的连接关系；

第二种情形：

将一输出神经元数据第一个有连接的输入神经元数据所在的位置距离第一个输入神经元数据的距离、所述输出神经元数据第二个有连接的输入神经元数据距离第一个有连接的输入神经元数据的距离，所述输出神经元数据第三个有连接的输入神经元数据距离第二个有连接的输入神经元数据的距离，……，依次类推，直到穷举所述输出神经元数据的所有输入，来表示所述输出神经元数据的连接关系

步骤2，将所述输入神经元和权值数据相乘，得到加权神经元数据；

步骤3，执行加法树运算，将第一步处理后的加权输出神经元数据通过加法树逐级相加，或者将输出神经元数据通过和偏置相加得到加偏置输出神经元数据；

步骤4，对步骤3得到的神经元数据执行激活函数运算，得到最终输出神经元数据；其中，所述激活函数包括sigmoid函数、tanh函数或ReLU函数。