[发明专利]存储器装置及其操作方法

说明书

本发明公开了一种存储器装置及其操作方法，该存储器装置，包括复合记忆单元的阵列。此些复合记忆单元的至少一个包含第一类型的第一存储单元、第二类型的第二存储单元、第一单元间数据路径连接第一存储单元至第二存储单元、及第一数据路径控制开关。第一数据路径控制开关回应于数据传输致能信号而致能第一存储单元及第二存储单元之间通过第一单元间数据路径的数据传输。

技术领域

本发明是有关于一种存储器装置，且特别是有关于一种包含易失性及非易失性存储单元的存储器装置。

背景技术

神经网络是受生物神经系统处理信息的方式所启发的信息处理示例。随着大型训练数据集和复杂学习演算法的可用性，神经网络促进了例如计算机视觉、语音识别、和自然语言处理等众多领域的重大进步。

神经网络中的基本计算单元是神经元。神经元接收来自其他神经元或来自外部来源的输入并计算输出。图1绘示示例性神经网络100。神经网络100包含按层排列的多个神经元。神经网络100包括输入神经元的输入层102(也即，提供输入数据的神经元)、隐藏神经元的三个隐藏层106、108、及110(也即，执行计算并将信息从输入神经元传输到输出神经元、及输出神经元的输出层104(也即，提供输出数据的神经元)。相邻层中的神经元具有连接在它们之间的突触层。例如，突触层112连接输入层102和隐藏层106中的神经元，突触层114连接隐藏层106和108中的神经元，突触层116连接隐藏层108和110中的神经元，而突触层118连接隐藏层110和输出层104中的神经元。所有这些连接具有与它们相关联的权重。例如，隐藏层106中的神经元122、124和126分别通过与权重w1132、w2134、和w3136的连接而连接到隐藏层108中的神经元128。隐藏层108中的神经元128的输出可以根据来自隐藏层106中的神经元122、124和126的输入(x1、x2和x3)以及连接中的权重w1、132、w2134、和w3136而被计算为函数。此函数可表达如下：

在上面的乘积和(sum-of-product)表达式中，每个乘积项是可变输入xi和权重wi的乘积。权重wi可以在此些项之间变化，例如对应于可变输入xi的系数。相仿地，也可以计算隐藏层中其他神经元的输出。隐藏层110中的两个神经元的输出用作输出层104中的输出神经元的输入。

神经网络可用于学习最能代表大量数据的图案。靠近输入层的隐藏层学习高级通用模式，而靠近输出层的隐藏层学习更多数据特定图案。训练是神经网络从训练数据中学习的阶段。在训练期间，基于训练期的结果为突触层中的连接分配权重。推断(inference)是使用训练过的神经网络来推断/预测输入数据并基于预测产生输出数据的阶段。

卷积神经网络是一种神经网络，其在输入层之后包括一个或多个卷积隐藏层，然后接续一个或多个完全连接的隐藏层。卷积神经网络最常用于分析2D数据，例如图像内的物件识别。在卷积隐藏层中，可以通过在整个图像中滑动权重矩阵并重复相同的点积运算来计算输入图像的区域和权重矩阵之间的点积。卷积隐藏层用于检测输入图像的高级特征(high-level feature)。最后一个卷积隐藏层的输出是第一个完全连接的隐藏层的输入。完全连接的隐藏层中的每个神经元系连接到相邻完全连接的隐藏层中的每个神经元。完全连接的隐藏层的目的是使用在卷积隐藏层中检测到的特征的非线性组合来对输入图像中的物件进行分类。

存储器内计算(in-memory computing)是一种将存储器内计算装置中的存储单元用于数据处理和存储器储存的方法。神经网络或卷积神经网络可被实现在存储器内计算装置中。乘积和函数的权重可以储存在存储器内计算装置的存储单元中。乘积和函数可以实现为存储器内计算装置中的电路运作，其中阵列的存储单元的电特性实现此函数。

在具有易失性存储单元(例如，SRAM)的存储器内计算装置中，执行乘积和运算所花费的时间可能是短的，且运作可具有高推断准确性。然而，将权重从储存乘积和所需的权重的其他存储单元加载于易失性存储单元之中可能要花费很长的时间。再者，以易失性存储单元执行乘积和运算可能导致高功耗。