[发明专利]基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器

说明书

本发明公开了一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，包括第一特征提取器、第二特征提取器、分类引擎和控制器；第一特征提取器设置在第一层，用于卷积计算、膜电位更新以及池化操作；第二特征提取器设置在第二层，用于卷积计算、膜电位更新以及池化操作，该第二特征提取器的输入端与第一特征提取器的输出端连接；所述分类引擎设置在第三层，用于对目标的分类，其由多个并行设置的全连接单元和一个脉冲计数器组成，分类引擎的输入端与第二特征提取器的输出端连接；所述控制器用于负责控制输入权重，该控制器分别与第一特征提取器、第二特征提取器和分类引擎连接。本发明能够提高网络的仿生性，提高了计算效率，节省了资源消耗。

技术领域

本发明属于神经网络硬件加速器技术领域，具体涉及一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器。

背景技术

深度神经网络在图像分类、目标跟踪和目标分割等专业领域都达到了突出的效果，但在计算以及实现效率上与生物大脑还存在根本的差异。在大脑中，信息是以脉冲序列为载体进行传递，具有高度仿生性的脉冲神经网络可以很好地模拟这种生物神经元的信息处理机制，并具有计算效率高、占用资源少、易于硬件实现等优势，因此脉冲神经网络成为人工智能领域的研究焦点。目前脉冲神经网络的研究已经有了一些成果，但它的应用仍然处于起步阶段。例如TrueNorth，SpiNNaker等神经形态平台主要设计目的是为了模拟神经科学领域的生物大脑行为，并不适用于低成本、高速的实际嵌入式应用场景。这些已报道的神经形态芯片并不是scnn的合适架构，因为它们在推理过程中不能利用卷积层的结构规律。另一方面，传统神经网络(例如AlexNet、VGG19)等深度学习模型在众多领域上表现出良好的效果，这得益于深度学习模型具有显著的特征提取能力，但此类深度学习模型由于计算量大、占用资源多、需要依赖顶级显卡加速，使得这些模型无法应用到成本有限的、实时的嵌入场景中。

因此，有必要开发一种新的基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器。

发明内容

本发明的目的是提供一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，能提高网络的仿生性，并能大大提高计算效率，且能节省资源消耗。

本发明所述的一种基于时间步的二值脉冲图的脉冲卷积神经网络硬件加速器，包括第一特征提取器、第二特征提取器、分类引擎和控制器；

所述第一特征提取器设置在第一层，用于卷积计算、膜电位更新以及池化操作；

所述第二特征提取器设置在第二层，用于卷积计算、膜电位更新以及池化操作，该第二特征提取器的输入端与第一特征提取器的输出端连接；

所述分类引擎设置在第三层，用于对目标的分类，其由多个并行设置的全连接单元和一个脉冲计数器组成，分类引擎的输入端与第二特征提取器的输出端连接；

所述控制器用于负责控制输入权重，该控制器分别与第一特征提取器、第二特征提取器和分类引擎连接。

可选地，所述第一特征提取器包括16个脉冲卷积计算单元，每个脉冲卷积计算单元包括两个用于对输入数据进行缓存的行缓存，以及由9个选择器和4个加法器构成的2-D卷积矩阵；

所述第二特征提取器包括32组脉冲卷积计算单元，每组由16个脉冲卷积计算单元组成。

可选地，所述第一特征提取器和第二特征提取器中，还包括膜电位计算单元，同一通道共享一个膜电位计算单元，用于对卷积过后的结果进行膜电位在每个时间步泄露积分计算；

所述膜电位计算单元由1个加法器、1个乘法器、1个选择器和1块膜电位内存组成，其中，加法器的一输入端与脉冲卷积计算单元的输出端连接，加法器的输出端与乘法器的一输入端连接，选择器的输出端与乘法器的另一输入端连接，乘法器的输出端与膜电压内存的输入端连接，膜电位内存的输出端与加法器的另一输入端连接。