[发明专利]一种支持抑制型脉冲神经网络的事件驱动加速器

说明书

本发明公开了脉冲神经网络加速方法及脉冲神经网络的事件驱动加速器，属于脉冲神经网络加速技术领域。现有的脉冲神经网络加速器没有在控制方法层面优化脉冲神经网络计算过程，使得计算延迟高。传统时间驱动加速器不支持抑制性脉冲神经网络，限制其应用范围。本发明的一种脉冲神经网络加速方法，根据脉冲神经元模型以及脉冲编码方式，构建近似计算模型。该近似计算模型利用脉冲频域编码忽略脉冲序列时间语义这一特征，压缩脉冲信号在时间步上的分布，大幅降低脉冲路由过程以及后续神经计算过程。本发明的时间驱动加速器，重新规划脉冲神经网络计算过程，设置去重队列以及位示图解决脉冲抖动问题，实现对抑制型脉冲神经网络的高效支持。

技术领域

本发明涉及一种支持抑制型脉冲神经网络的事件驱动加速器，属于脉冲神经网络加速技术领域。

背景技术

人工神经网络被广泛应用于图像识别，目标检测，自然语言处理等领域。然而近年来人工神经网络不断朝着更深的网络层次、更复杂网络拓扑方向发展。其所带来的计算延迟和能耗问题严重限制了其进一步发展。脉冲神经网络被誉为第三代神经网络，其在运行过程中是局部激活网络，天然具备低延迟低功耗的特性。因此脉冲神经网络是突破传统人工神经网络发展瓶颈的关键技术，在实时领域和嵌入式领域极具应用前景。

脉冲神经网络与人工神经网络具备相似的网络拓扑，其差异主要体现在神经元模型中。图1中对比了人工神经元与脉冲神经元模型，图中的公式分别为两种神经元计算过程。图中X表示输入数据，W表示连接权重，y表示输出数据,V表示神经元模电压，V_thrd表示神经元脉冲发放阈值。两种神经元模型均接受多个输入数据，且都需要对输入数据求解加权和。不同的是，人工神经元将加权和进行一次激活操作，得到最终的实数值输出。而脉冲神经元则利用加权和更新神经元膜电压，通过将膜电压与发射阈值进行对比，判断是否输出脉冲信号。由于脉冲神经元不一定能够被成功激活，因此脉冲神经网络天然具备稀疏网络的特性，这也是为何脉冲神经网络被认为是突破人工神经网络发展瓶颈的关键技术。

然而由于脉冲神经网络存在额外时间维度，且神经元状态的更新在不同的时间步中存在计算依赖关系。这导致神经元状态在整个时域中可能被多次更新，其计算量甚至多于具有相同拓扑结构的人工神经网络的计算量。为了保证脉冲神经网络计算结果的精确性，传统脉冲神经网络加速器并没有考虑从控制方法层面对脉冲神经网络计算过程进行优化，这显然会导致脉冲神经网络加速器低效率运行。

进一步，脉冲神经网络硬件加速器按照实现方式分为时间驱动加速器和事件驱动加速器。时间驱动脉冲神经网络加速器在每个时间步末尾扫描所有神经元状态，判断其是否发射脉冲信号。该种方式实现逻辑简单，但是存在大量冗余计算。

事件驱动脉冲神经网络加速器在神经元膜电压超出阈值时，发射脉冲信号，其能够充分利用脉冲神经网络中的脉冲稀疏性减少计算量，但由于抑制型脉冲神经网络中的连接权重存在负值，传统事件驱动加速器运行抑制型脉冲神经网络，可能会出现两种错误情况：

1)神经元膜电压在阈值附近浮动，造成脉冲神经元在同一个时间步多次发放脉冲信号；2)神经元膜电压在某个中间状态超出阈值，但最终状态低于阈值，造成神经元错误发射脉冲信号。以上两种情况统称为脉冲抖动现象。脉冲抖动现象是脉冲神经网络计算过程中的错误状态，其会造成最终结果的错误输出。因此现有的事件驱动网络加速器无法支持抑制型脉冲神经网络。

发明内容

针对现有技术的缺陷，本发明的目的一在于提供一种根据脉冲神经元模型以及脉冲编码方式，构建近似计算模型，计算脉冲发放频率，进而得到脉冲神经网络的计算结果；可以忽略脉冲信号在细粒度事件片上的精确发放时间，使得脉冲输入包中无需包含精确的时间信息，大量减少脉冲路由过程以及后续神经计算过程的脉冲神经网络加速方法。