[发明专利]支持离散数据表示的人工神经网络正向运算装置和方法

摘要

本发明提供了一种支持离散数据表示的用于执行人工神经网络正向运算的装置，包括指令缓存单元、控制器单元、数据访问单元、互联模块、主运算模块、以及多个从运算模块、离散数据运算模块、连续离散转换模块。使用该装置可以实现支持离散数据表示的多层人工神经网络的正向运算。正向运算过程中的权值、神经元等数据可以采用离散形式表示。例如‑1、‑1/2、0、1/2、1等不是连续的数据。提供了支持离散数据运算的模块。根据离散数据的值采用不同位运算例如数据的异或、取非等代替连续数据的基本运算例如乘法、加法等。提供了将连续数据转换为离散数据的模块。提供了利用上述装置支持批归一化(batch normalization)计算。

主权项

1.一种支持离散数据表示的用于执行人工神经网络正向运算的装置，包括指令缓存单元、控制器单元、数据访问单元、计算单元和连续离散转换模块，其中：数据访问单元，用于访存外部地址空间，直接向装置内部的各个缓存单元读写数据，完成数据的加载和存储；指令缓存单元，用于读入的指令；所述连续离散转换模块，用于对数据执行离散数据类型以及连续数据类型之间的互换；控制器单元，用于从指令缓存单元读取指令，并将该指令译码成计算单元行为的微指令；计算单元，用于执行本层的输入神经元向量与权值向量之间的运算得到计算结果，所述输入神经元向量与权值向量中至少有一个为离散数据。