[发明专利]一种基于脉动阵列的深度可分离卷积实现方法

说明书

本发明公开了一种基于脉动阵列的深度可分离卷积实现方法，采用M行N列个处理单元(Processing Element，PE单元)构成脉动阵列结构：在水平方向上，相邻的PE单元之间相互连接，左侧的PE单元可以将数据传递给右侧的PE单元；在垂直方向上，每个PE单元有各自的数据输入端口和数据输出端口。数据预取模块为计算阵列提供特征图数据和权重参数。加法树对每一列PE单元并行输出的部分和数据进行累加。每个PE单元内部主要由寄存器、数据选择器、加法器和乘法器构成。本发明采用上述结构的脉动阵列并配合数据预取模块和加法树，可以实现不同的数据流和数据重用方式，从而实现对标准卷积、点卷积和深度卷积的加速计算。

技术领域

本发明公开了一种基于脉动阵列的深度可分离卷积实现方法，涉及卷积神经网络硬件加速器结构，属于计算、推算的技术领域。

背景技术

卷积神经网络由于具有很高的准确性，已经广泛应用于图像分类、目标检测、目标跟踪等计算机视觉领域。然而，卷积神经网络是计算密集型的模型，在训练和部署期间，需要庞大的计算量和参数量，这影响了其在资源受限的嵌入式移动端的应用。

为了满足实际应用的需求，网络架构向轻量级网络发展，轻量级网络架构广泛的采用深度可分离卷积代替标准卷积计算，将标准卷积分解为深度卷积与点卷积两部分，使神经网络具有更少的参数量和计算量，同时具有与大网络可比拟的准确率。

然而，由于深度可分离卷积具有较少的数据重用和计算并行度，导致加速器在计算深度可分离卷积的时候计算阵列的利用率大幅降低，进而导致性能的降低。因此，设计一种基于脉动阵列的深度可分离卷积实现方法具有重要意义。

发明内容

为了充分利用深度可分离卷积的数据重用和计算并行度，本发明提供了一种基于脉动阵列的深度可分离卷积实现方法，采用灵活的数据流，提高了加速器计算阵列的利用率，实现了加速器对标准卷积和深度可分离卷积的加速计算。

本发明为解决上述问题采用如下的技术方案：

一种基于脉动阵列的深度可分离卷积实现方法，包括数据预取模块和脉动阵列，所述脉动阵列包括若干个水平方向和垂直方向上排布的PE单元，所述PE单元对于其输入数据、部分和数据具有不同的处理方式；PE单元对于数据A，每个周期更新一次或者将数据A固定在PE单元内部的寄存器中重复使用；PE单元对于数据B，每个周期更新一次，并将上一周期的数据B传输给相邻的PE单元；对于部分和数据每个周期输出一次或将部分和在PE单元内部累加，并保存在PE单元内部，在特定的周期输出；脉动阵列水平方向上相邻的PE单元之间相互连接，垂直方向上每个PE单元有各自的数据输入端口和数据输出端口；脉动阵列在计算不同的卷积时，水平方向和垂直方向传输的数据是不同的，计算标准卷积和点卷积时，水平方向传输的是特征图数据，垂直方向传输的是权重参数；计算深度卷积时，水平方向传输的是权重参数，垂直方向传输的是特征图数据；所述数据预取模块根据脉动阵列执行不同的卷积计算时对特征图数据和权重参数的需求，为脉动阵列提供特征图数据和权重参数。

进一步的，脉动阵列在计算标准卷积和点卷积时，采用同时在输入通道维度和输出通道维度进行并行计算的方式，在水平方向，每一行PE单元并行计算不同的输入通道，在垂直方向上，每一列PE单元计算不同的输出通道；在计算深度卷积时，采用同时在输入通道维度和卷积窗口维度进行并行计算的方式，在水平方向，每一行PE单元并行计算不同的输入通道，在垂直方向上，每一列PE单元计算不同的卷积窗口。

进一步的，所述PE单元包括乘法器、加法器、寄存器和数据选择器，所述寄存器为3个，分别为寄存器I、寄存器II和寄存器Ⅲ，所述数据选择器为4个，分别为数据选择器I、数据选择器II、数据选择器Ⅲ和数据选择器Ⅳ，

输入数据A不需要被重用时，输入数据A直接经过数据选择器Ⅱ传入乘法器，然后和输入数据B相乘，