[发明专利]神经网络处理系统

说明书

本发明提供一种神经网络处理系统，包括至少一突触，突触接收一输入信号，突触具有一外部权重值及一内部权重值，内部权重值会经由外部刺激而产生变化，当内部权重值的变化累积至一临界值时，会同时改变外部权重值，使得输入信号乘上突触的外部权重值会产生一权重信号，一神经元电路连接突触，以接收突触所传输的权重信号，并可计算这些权重信号以输出。本发明可以同时加速深度学习中的预测及学习功能，并可实现高精确度且具即时学习能力的硬件神经网络。

技术领域

本发明是关于一种类神经网络的系统，特别是一种经改良后的神经网络处理系统。

背景技术

随着软件技术的开发，软件定义的神经网络的深度学习，通过通用的学习过程，大大提升了人工智慧的能力，如图像识别，语音识别，自然语言理解和决策。一种硬件神经网络(Hardware Neural Networks，HNN)的出现，更进一步地降低了深度学习系统的硬件尺寸、成本及功耗。

HNN由通过突触而相互连接的神经元网络组成，HNN可以有成千上万个突触，其中可以在训练期间，优化突触(synapse)的权重(weight)。请参照图1所示，例如一神经元10可以接收多个输入信号12，在突触14的训练过程中，权重142通常用随机值初始化，并通过微幅的增量以进行改变。通常，突触14的权重142会存储在多位(multi-bit；multi-level)的存储器装置(memory)中。其中，电阻式随机存取存储器(Resistive RAM，RRAM)的模拟多位准特性可用于储存突触的权重，使用高密度交错式RRAM的突触阵列更加特别，因为它们可以通过分布式权重的储存，完全并行矩阵向量的乘法及权重的更新，以显著提高学习效率。

然而，这种RRAM会有几个问题，首先，模拟多位准RRAM在技术上远不如二元的RRAM成熟。第二，模拟多位准RRAM可能需要复杂的写入步骤，也就是可能需要精确控制脉冲幅度及持续时间，而非理想的模拟行为，例如有限的精确度及权重的非线性更新都会损害最后HNN性能。第三，模拟RRAM元件通常具有较差的数据保存时间及可靠性。

利用简单的二元RRAM可以改善模拟RRAM的缺点，这一般是采取两种不同的方法达成，一个是使用多个随机二元RRAM单元，以表示单一模拟权重，但权重精确度只能通过提高网络密度而增加，因此会限制网络规模；另一种方法是仅使用单一RRAM单元表示二元权重，在这种情况下，虽然在耗时的离线(offline)训练后可以实现高精确度的推论能力，但是权重的精确度不足，导致无法加速在线(online)训练。

有鉴于此，本发明提出一种改善二元权重计算的神经网络处理系统，以改善传统突触的权重计算。

发明内容

本发明的主要目的是提供一种神经网络处理系统，利用突触外部可量测的权重及内部不可直接量测的权重，通过外部信号，如电信号等刺激并搭配适当的学习法则进行更新，在持续的外部刺激下，内部的权重具有累计特性，当累积至一临界值时，会同时改变外部的权重值，以产生出精确的权重信号。

本发明的另一目的是提供一种神经网络处理系统，利用任一突触具有内、外权重值的技术特征，改善了已知单一模拟权重精确度不佳的缺点，并藉此可以达到在线学习所需要的准确权重更新的要求，加速深度学习中的预测及学习功能，以实现即时在线学习能力的硬件神经网络。

为了达成上述的目的，本发明提供一种神经网络处理系统，包含至少一突触及一神经元电路，神经元电路连接至少一突触，突触可接收输入信号，且突触各自具有一外部权重值及一内部权重值，内部权重值会经由外部刺激以产生变化，当内部权重值的变化累积至一临界值时，会同时改变外部权重值，使得输入信号乘上突触的外部权重值以产生一权重信号，突触会传输权重信号至神经元电路，使其计算权重信号后输出。

在本发明中，外部权重值可经由电性量测以得知。其中，电性量测为对电阻、电容、电感或阻抗的量测。