[发明专利]一种融合ReLU激活函数与最大值池化的向量化实现方法

说明书

技术领域

本发明主要涉及到卷积神经网络技术领域，特指一种融合ReLU激活函数与最大值池化的向量化实现方法。

背景技术

20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络(Convolutional Neural Network，CNN)。当前，卷积神经网络已经成为众多学科领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更加广泛的应用。

一般地，一个典型的卷积神经网络计算模型包括卷积层、池化层、全连接层以及后续的分类器，如支持向量机(Support Vector Machine，SVM)。其中卷积神经网络模型中涉及到的计算类型主要有：矩阵的卷积计算、激活函数的处理；如，线性激活函数f(x)＝x或者非线性激活函数等，以及矩阵的池化操作，包括最大值池化(max pooling)和平均值池化(average pooling)，最后通过矩阵运算和某些超越函数的处理最终对卷积神经网络的模型的输出进行预测，完成相关物体识别的过程。由于卷积神经网络模型是由不同的卷积层和池化层交替迭代，因此卷积神经网络模型的计算量非常巨大。为此，如何加速该模型的计算效率在当前学术界和工业界都是一个重要的研究内容。

当前卷积神经网络模型中采用的激活函数模型主要包括线性激活函数和非线性激活函数两大类，大约有十几种之多，而修正线性单元，即ReLU(Rectified Linear Units,ReLU)激活函数正是其中最常用的一种，其数学表达式为f(x)＝max(0，x)，可以看出当输入信号x小于0时，输出都是0，大于0时，输出等于输入。ReLU函数的突出优点是，单侧抑制；相对其他激活函数宽阔的兴奋边界，具有稀疏的激活性等特性。在神经科学方面，神经科学家还发现了神经元的稀疏激活性，2001年，Attwell等人基于大脑能量消耗的观察学习上，推测神经元编码工作方式具有稀疏性和分布性，2003年Lennie等人估测大脑同时被激活的神经元只有1～4％，进一步表明神经元工作的稀疏性。从信号方面来看，即神经元同时只对输入信号的少部分选择性响应，大量信号被刻意的屏蔽了，这样可以提高学习的精度，更好、更快地提取稀疏特征。因此，从稀疏性这个角度来看，ReLU函数成了近似符合人类神经元模型的最佳模型。

卷积神经网络模型中，图像数据在经过激活函数处理后，需要进行下一级的计算，即，池化操作，池化操作主要包括最大值池化和平均值池化，最大值池化是指取出池化窗口中的最大值作为该池化窗口的输出，而平均值池化是指取出池化窗口中所有元素的平均值作为该池化窗口的输出。不管是平均值池化还是最大值池化，其目的都是为了在不大幅度影响模型识别精度的前提下最大程度的降低图像矩阵的维度，降低计算量，同时也为了避免模型出现过拟合现象。

卷积神经网络是当前高性能计算中常用的计算模块之一，是典型的访存密集型和计算密集型应用，对处理器的计算部件和访存带宽要求非常高，计算复杂度很大，当前主流的加速平台有基于GPU的卷积神经网络计算平台、基于FPGA的卷积神经网络计算平台、基于专用神经网络加速器的计算平台、以及基于通用CPU或一些向量处理器来加速卷积神经网络模型的计算。向量处理器是一种多功能部件的处理器，一般包括向量处理部件(Vector Processing Unit，VPU)和标量处理部件(Scalar Processing Unit)，向量处理部件主要由若干个向量处理单元(Vector Pocessing Element，VPE)组成计算阵列，主要负责向量计算，每个VPE包括若干MAC0、MAC1等多个同构运算功能部件，以及ALU、位处理(BP)等其他功能部件；标量处理单元主要负责计算任务和流控，VPU和SPU可以进行数据通道传输和交换。向量数据访问单元支持向量数据的Load和Store，提供大容量的专用向量存储体。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、实现方便、能充分挖掘向量处理器的并行计算能力及算法的并行性的融合ReLU激活函数与最大值池化的向量化实现方法，即通过融合ReLU激活函数和最大值池化操作来降低数据的访存量，进而缩短卷积神经网络的计算时间，提高卷积神经网络模型的计算效率。

一种融合ReLU激活函数与最大值池化的向量化实现方法

为解决上述技术问题，本发明采用以下技术方案：