[发明专利]一种基于数据压缩的脉冲神经网络加速方法和装置

说明书

本发明公开了一种基于数据压缩的脉冲神经网络加速方法和装置，所述方法包括：获取脉冲神经网络的神经元输出的第一数据，并将所述第一数据进行类型转换，得到第二数据；其中，所述第一数据由两个数字组成，分别为零和非零数字；将所述第二数据进行压缩处理，得到第三数据；基于量化和反量化的方式，将所述第三数据进行卷积运算，得到目标卷积结果。本发明实施例通过将神经元输出的数据进行类型转换和对第二数据的压缩处理来提高卷积运算的速率，从而提高脉冲神经网络训练的效率。

技术领域

本发明涉及深度学习技术领域，尤其涉及的是一种基于数据压缩的脉冲神经网络加速方法和装置。

背景技术

在2006年以后，人工智能在第二代人工神经网络ANN的推动下得到快速的发展，但ANN存在计算功耗高、在生物性上不精确的问题。因此诞生了第三代神经网络SNN，SNN是基于模拟神经突触，以电脉冲传递信息的编码方式，每个神经元最多使用一个脉冲，而大多数神经元基本不放电，使能量消耗更小。但SNN也面临着庞大网络模型带来的巨大训练时间开销问题。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于数据压缩的脉冲神经网络加速方法，旨在解决现有技术中Spiking-Resnet训练过程中显存占用多、部分环节计算效率低的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种基于数据压缩的脉冲神经网络加速方法，其中，所述方法包括：

获取脉冲神经网络的神经元输出的第一数据，并将所述第一数据进行类型转换，得到第二数据；其中，所述第一数据由两个数字组成，分别为零和非零数字；

将所述第二数据进行压缩处理，得到第三数据；

基于量化和反量化的方式，将所述第三数据进行卷积运算，得到目标卷积结果。

在一种实现方式中，所述将所述第一数据进行类型转换，得到第二数据包括：

获取所述第一数据的类型，其中，所述第一数据的类型为浮点型；

将所述浮点型的第一数据转换为定点型的数据，得到第二数据。

在一种实现方式中，所述将所述浮点型的第一数据转换为定点型的数据，得到第二数据包括：

将所述第一数据中的尾数定点取整，得到第二数据。

在一种实现方式中，所述将所述第二数据进行压缩处理，得到第三数据包括：

获取所述第一数据中的若干连续序列；其中，所述连续序列均由至少一个非零数字重复相连而成；

基于若干所述连续序列，对所述第二数据进行压缩处理，得到第三数据。

在一种实现方式中，所述基于若干所述连续序列，对所述第二数据进行压缩处理，得到第三数据包括：

记录每个连续序列的起始位置和终点位置；

将所述起始位置、所述终点位置和第二数据中一个非零数字存储，得到第三数据。

在一种实现方式中，所述基于量化和反量化的方式，将所述第三数据进行卷积运算，得到目标卷积结果包括：

获取所述脉冲神经网络的第一系数；其中，所述系数用于表征脉冲神经网络的权重；

将所述第一系数进行量化，得到第二系数；

将所述第三数据进行解压缩，得到第四数据；

将所述第二系数和所述第四数据进行卷积运算，得到中间卷积结果；