[发明专利]NAND存储器阵列中的二值神经网络的实现

说明书

本发明题为“NAND存储器阵列中的二值神经网络的实现”。使用NAND阵列架构来实现二值神经网络(BNN)允许在存储器阵列内执行矩阵乘法和累加。将用于存储BNN的权重的单位突触存储在一对串联连接的存储器单元中。将二值输入作为具有电压值的模式施加在连接到所述单位突触的一对字线上，以通过确定所述单位突触是否导通来执行所述输入与所述权重的所述乘法。此类乘法的结果由读出放大器来确定，结果由计数器进行累加。

发明人：

Won Ho Choi

Pi-Feng Chiu

Wen Ma

Minghai Qin

Gerrit Jan Hemink

Martin Lueker-Boden

相关申请的交叉引用

本申请要求2018年7月24日提交的美国临时专利申请号62/702,713的优先权，并且与由Hoang等人与本申请同时提交的标题为“Realization of Neural Networks withTernary Inputs and Binary Weights in NAND Memory Arrays(在NAND存储器阵列中实现具有三值输入和二值权重的神经网络)”的申请相关，这两个专利均以引用方式并入本文。

背景技术

人工神经网络越来越多地用于人工智能和机器学习应用中。在人工神经网络中，将一组输入通过一个或多个中间或隐藏层传播以生成输出。通过多组权重来连接将输入连接到输出的各层，所述多组权重是在训练或学习阶段中通过以下方式生成的：确定用于将输入转换成输出的一组数学变换，移动通过所述层，计算每个输出的概率。一旦确立了权重，就可以在推理阶段使用所述权重来根据一组输入确定输出。虽然此类神经网络可以提供高度准确的结果，但是它们是计算极其密集的，并且在从存储器中读取连接不同层的权重并将所述权重传输到处理单元的处理单元中所涉及的数据传输可能相当密集。

附图说明

相同编号的元件是指不同图中的共同部件。

图1是连接到主机的存储器系统的一个实施方案的框图。

图2是前端处理器电路的一个实施方案的框图。在一些实施方案中，前端处理器电路是控制器的一部分。

图3是后端处理器电路的一个实施方案的框图。在一些实施方案中，后端处理器电路是控制器的一部分。

图4是存储器封装的一个实施方案的框图。

图5是存储器管芯的一个实施方案的框图。

图6示出了人工神经网络的简单示例。

图7A是描述用于训练神经网络以生成一组权重的过程的一个实施方案的流程图。

图7B是描述用于使用神经网络进行推断的过程的一个实施方案的流程图。

图8是矩阵乘法在神经网络中的使用的示意图。

图9是示出响应于不同输入-权重组合的二值神经网络的输出的表格。

图10示出了用于在一对串联连接的存储器单元中存储二值权重的单位突触单元的实施方案。

图11示出了用于在二值或单层单元(SLC)存储器上存储数据状态的阈值电压的分布。

图12和图13示出了使用一对串联连接的SLC存储器单元作为单位突触来实现二值神经网络的实施方案。

图14示出了将单位突触并入NAND阵列中。