[发明专利]具有差分二进制非易失性存储器单元结构的可配置精密神经网络

说明书

本公开一般涉及具有差分二进制非易失性存储器单元结构的可配置精密神经网络。本发明公开了非易失性存储器阵列架构用于实现神经网络(BNN)的用途，其允许在存储器阵列内执行矩阵乘法和累加。用于存储神经网络的权重的单位突触由两个单独存储器单元的差分存储器单元形成，诸如具有可编程电阻的存储器单元，每个存储器单元连接在字线对中的对应一者与共享位线之间。将输入作为具有电压值的模式施加在连接到单位突触的字线对上，以通过确定共享位线上的电压电平来执行输入与权重的乘法。此类乘法的结果由感测放大器来确定，并且该结果由求和电路进行累加。通过针对权重使用多个差分存储器单元，所述方法可以从二进制权重扩展到多位权重值。

相关申请的交叉引用

本申请是2019年5月7日提交的美国专利申请号16/939,109的部分继续申请，其要求2018年7月24日提交的美国临时申请号62/702,713的优先权，并且与均在2019年3月28日提交的美国专利申请号16/368,441和16/368,347相关，所有这些申请以引用方式并入本文。

背景技术

人工神经网络越来越多地用于人工智能和机器学习应用中。在人工神经网络中，将一组输入通过一个或多个中间层或隐藏层传播以生成输出。通过多组权重来连接将输入连接到输出的层，该多组权重是在训练或学习阶段中通过以下方式生成的：确定用于将输入转换成输出的一组数学变换，移动通过所述层，计算每个输出的概率。一旦确立了权重，就可以在推理阶段使用所述权重来根据一组输入确定输出。虽然此类神经网络可以提供高度准确的结果，但是它们是计算极其密集的，并且在从存储器中读取连接不同层的权重并将所述权重传输到处理单元的处理单元中所涉及的数据传输可能相当密集。

附图说明

类似编号的元件是指不同图中的通用部件。

图1是连接到主机的存储器系统的一个实施方案的框图。

图2是前端处理器电路的一个实施方案的框图。在一些实施方案中，前端处理器电路是控制器的一部分。

图3是后端处理器电路的一个实施方案的框图。在一些实施方案中，后端处理器电路是控制器的一部分。

图4是存储器封装件的一个实施方案的框图。

图5是存储器管芯的一个实施方案的框图。

图6示出了人工神经网络的简单示例。

图7A是描述用于训练神经网络以生成一组权重的方法的一个实施方案的流程图。

图7B是描述用于使用神经网络进行推断的方法的一个实施方案的流程图。

图8是矩阵乘法在神经网络中的使用的示意图。

图9是示出响应于不同输入-权重组合的二进制神经网络的输出的表格。

图10表示使用两个差分存储器单元来形成用于存储权重位的单位突触的实施方案。

图11示出了分别作为字线电压、电阻值和位线电压的输入值、权重值和输出值的编码。

图12A至图12D分别对应于图11的表格中所示的四种情况。

图13A至图13C示出了单位突触的电阻式存储器单元的一些实施方案。

图14示出了图10的单位突触并入阵列中。

图15使神经网络的矩阵乘法与图14的结构更密切相关。

图16是如针对图14的阵列架构所示，在推断中使用二进制神经网络进行矩阵乘法计算的一个实施方案的流程图。

图17示出了用于并发多输入阵列内矩阵乘法运算的等效分压器。

图18示出了如位线上所见的输出电压与在多个输入权重积的并发感测中确定的求和代码之间的关系。