[发明专利]用于人工神经网络的差分非易失性存储器单元

说明书

本发明题为“用于人工神经网络的差分非易失性存储器单元”。非易失性存储器阵列架构用于实现神经网络(BNN)的用途允许在所述存储器阵列内执行矩阵乘法和累加。用于存储神经网络的权重的单位突触由两个单独存储器单元的差分存储器单元形成，诸如具有可编程电阻的存储器单元，每个存储器单元连接在字线对中的对应一者与共享位线之间。将输入作为具有电压值的模式施加在连接到所述单位突触的字线对上，以通过确定所述共享位线上的电压电平来执行所述输入与所述权重的乘法。此类乘法的结果由感测放大器来确定，且所述结果由累积电路进行累加。

发明人：

Pi-Feng Chiu

Won Ho Choi

Wen Ma

Martin Lueker-Boden

相关申请的交叉引用

本申请要求于2018年7月24日提交的美国临时专利申请号 62/702,713的优先权，并且与均于2019年3月28日提交的美国专利申请号16/368,441和16/368,347相关，所有这些专利均以引用方式并入本文。

背景技术

人工神经网络越来越多地用于人工智能和机器学习应用中。在人工神经网络中，将一组输入通过一个或多个中间层或隐藏层传播以生成输出。通过多组权重来连接将输入连接到输出的各层，该多组权重是在训练或学习阶段中通过以下方式生成的：确定用于将输入转换成输出的一组数学变换，移动通过所述层，计算每个输出的概率。一旦确立了权重，就可以在推理阶段使用该权重来根据一组输入确定输出。虽然此类神经网络可以提供高度准确的结果，但是它们是计算极其密集的，并且在从存储器中读取连接不同层的权重并将所述权重传输到处理单元的处理单元中所涉及的数据传输可能相当密集。

附图说明

类似编号的元件是指不同图中的通用部件。

图1是连接到主机的存储器系统的一个实施方案的框图。

图2是前端处理器电路的一个实施方案的框图。在一些实施方案中，前端处理器电路是控制器的一部分。

图3是后端处理器电路的一个实施方案的框图。在一些实施方案中，后端处理器电路是控制器的一部分。

图4是存储器封装件的一个实施方案的框图。

图5是存储器管芯的一个实施方案的框图。

图6示出了人工神经网络的简单示例。

图7A是描述用于训练神经网络以生成一组权重的方法的一个实施方案的流程图。

图7B是描述用于使用神经网络进行推断的方法的一个实施方案的流程图。

图8是矩阵乘法在神经网络中的使用的示意图。

图9是示出响应于不同输入-权重组合的二进制神经网络的输出的表格。

图10表示使用两个差分存储器单元来形成用于存储权重位的单位突触的实施方案。

图11示出了分别作为字线电压、电阻值和位线电压的输入值、权重值和输出值的编码。

图12A至图12D分别对应于图11的表格中所示的四种情况。

图13A至图13C示出了单位突触的电阻式存储器单元的一些实施方案。

图14示出了图10的单位突触并入阵列中。

图15使神经网络的矩阵乘法与图14的结构更密切相关。

图16是如针对图14的阵列架构所示，在推断中使用二进制神经网络进行矩阵乘法计算的一个实施方案的流程图。