[发明专利]存内乘加计算方法、装置、芯片和计算设备

说明书

本公开实施例公开了一种存内乘加计算方法、装置、芯片和计算设备，其中，该方法包括：从预设的神经网络获取目标数量个输入权重数据对集合；生成输入权重数据对集合中的输入权重数据对分别对应的编码；将目标数量个输入权重数据对集合存入预设的第一存储区；基于第二存储区中的每个乘积数据对应的编码，确定第一存储区中是否存在对应的目标输入权重数据对，如果存在，将该乘积数据确定为目标输入权重数据对对应的待累加数据；对每个输入权重数据对集合中的输入权重数据对分别对应的待累加数据进行累加操作，得到累加结果。本公开实施例避免了加法树的使用，减少了资源占用量，反向搜索过程可以利用神经网络中的数据的稀疏性，减少累加操作的功耗。

技术领域

本公开涉及计算机技术领域，尤其是一种存内乘加计算方法、装置、芯片和计算设备。

背景技术

神经网络，用来模拟人脑分析和处理信息的计算系统。它是人工智能的基础，解决了以人类或统计标准将被证明是不可能或很难解决的问题。人工神经网络具有自我学习能力，能够在获得更多数据的前提下产生更好的结果。神经网络技术在人脸识别，命名实体识别，语音识别，签名验证，语义检测等场景下都有广泛的应用。

对于传统的神经网络加速器来说，在每一个架构环节都会消耗大量的资源，例如乘法器，加法器的功耗与时延等，同时其运行性能也受到存储与处理器之间的带宽限制。而存内计算一定程度上缓解了由于带宽带来的性能限制。

发明内容

本公开的实施例提供了一种存内乘加计算方法，该方法包括：从预设的神经网络获取目标数量个输入权重数据对集合；生成输入权重数据对集合中的输入权重数据对分别对应的编码；将目标数量个输入权重数据对集合存入预设的第一存储区；对于预设的用于存储乘积数据的第二存储区中的每个乘积数据，基于该乘积数据对应的编码，确定第一存储区中是否存在对应于该乘积数据的目标输入权重数据对，如果存在，将该乘积数据确定为目标输入权重数据对对应的待累加数据；对于目标数量个输入权重数据对集合中的每个输入权重数据对集合，对该输入权重数据对集合包括的输入权重数据对分别对应的待累加数据进行累加操作，得到该输入权重数据对集合对应的累加结果。

在一些实施例中，从预设的神经网络获取目标数量个输入权重数据对集合，包括：执行目标数量次如下步骤，得到目标数量个输入权重数据对集合：基于神经网络中的权重窗口的大小和移动步长，从输入神经网络中的输入数据中确定权重窗口覆盖的输入数据和权重窗口中的权重数据组成输入权重数据对集合。

在一些实施例中，生成输入权重数据对集合中的输入权重数据对分别对应的编码，包括：从目标数量个输入权重数据对集合包括的输入权重数据对中，确定不包含零的输入权重数据对；生成不包含零的输入权重数据对对应的编码。

在一些实施例中，第二存储区预先基于如下步骤设置：确定神经网络中的输入数据和权重数据的比特位数；根据输入数据和权重数据的比特位数对应的数据范围，生成乘积数据集合，并生成乘积数据集合中的乘积数据的编码；将乘积数据集合存入第二存储区。

在一些实施例中，乘积数据集合不包括零。

在一些实施例中，将目标数量个输入权重数据对集合存入预设的第一存储区，包括：确定原始输入数据和原始权重数据的比特位数；若原始输入数据和原始权重数据的比特位数大于第一存储区中的数据存储单元支持的比特位数，将原始输入数据拆分为至少两个输入子数据，以及将原始权重数据拆分为至少两个权重子数据；根据预设的、用于表示乘法运算的规则，确定输入子数据和权重子数据的对应关系；将相对应的输入子数据和权重子数据作为输入权重数据对存入第一存储区。

在一些实施例中，对该输入权重数据对集合包括的输入权重数据对分别对应的待累加数据进行累加操作，包括：从该输入权重数据对集合包括的输入权重数据对分别对应的待累加数据中，确定对应于同一对原始输入数据和原始权重数据的至少两个待累加数据；基于乘法运算的规则，对所确定的至少两个待累加数据进行移位累加，得到对应于同一对原始输入数据和原始权重数据的乘积；对所得到的乘积进行累加，得到该输入权重数据对集合对应的累加结果。