[发明专利]一种基于脉动阵列的深度可分离卷积实现方法

权利要求书

1.一种基于脉动阵列的深度可分离卷积实现方法，其特征在于，包括数据预取模块和脉动阵列，所述脉动阵列包括若干个水平方向和垂直方向上排布的PE单元，所述PE单元对于其输入数据、部分和数据具有不同的处理方式；PE单元对于数据A，每个周期更新一次或者将数据A固定在PE单元内部的寄存器中重复使用；PE单元对于数据B，每个周期更新一次，并将上一周期的数据B传输给相邻的PE单元；对于部分和数据每个周期输出一次或将部分和在PE单元内部累加，并保存在PE单元内部，在特定的周期输出；脉动阵列水平方向上相邻的PE单元之间相互连接，垂直方向上每个PE单元有各自的数据输入端口和数据输出端口；脉动阵列在计算不同的卷积时，水平方向和垂直方向传输的数据是不同的，计算标准卷积和点卷积时，水平方向传输的是特征图数据，垂直方向传输的是权重参数；计算深度卷积时，水平方向传输的是权重参数，垂直方向传输的是特征图数据；所述数据预取模块根据脉动阵列执行不同的卷积计算时对特征图数据和权重参数的需求，为脉动阵列提供特征图数据和权重参数。

2.根据权利要求1所述的一种基于脉动阵列的深度可分离卷积实现方法，其特征在于，所述PE单元包括乘法器、加法器、寄存器和数据选择器，所述寄存器为3个，分别为寄存器I、寄存器II和寄存器Ⅲ，所述数据选择器为4个，分别为数据选择器I、数据选择器II、数据选择器Ⅲ和数据选择器Ⅳ，

输入数据A不需要被重用时，输入数据A直接经过数据选择器Ⅱ传入乘法器，然后和输入数据B相乘，

输入数据A需要被重用时，在第一个时钟周期，输入数据A经过数据选择器Ⅱ传入乘法器，同时，输入数据A经过数据选择器Ⅰ寄存在寄存器Ⅰ中，之后每个周期数据选择器Ⅱ选择寄存器Ⅰ的输出数据作为乘法器的输入，寄存器Ⅰ通过数据选择器Ⅰ将寄存器Ⅰ的输出作为寄存器Ⅰ的输入，实现将输入数据A一直寄存在寄存器Ⅰ中，实现输入数据A的重用；

输入数据B直接作为乘法器的另一个输入与输入数据A相乘，同时，输入数据B寄存在寄存器Ⅱ中，在下一个时钟周期从寄存器Ⅱ中输出，作为相邻PE单元的输入数据；

输出不需要在PE内部累加时，数据选择器Ⅳ选择乘法器的输出作为寄存器Ⅲ的输入，然后在下一个时钟周期将寄存器Ⅲ中的数据输出，

输出需要在PE内部累加时，数据选择器Ⅲ选择数据0与乘法器的输出在加法器中进行第一次相加，数据选择器Ⅳ选择加法器的输出作为寄存器Ⅲ的输入，在之后的累加过程中，数据选择器Ⅲ选择寄存器Ⅲ的输出与乘法器的输出在加法器中相加，在特定的时钟周期，将寄存器Ⅲ中的数据输出。

3.根据权利要求1所述的一种基于脉动阵列的深度可分离卷积实现方法，其特征在于，所述脉动阵列在执行点卷积计算时，特征图数据在阵列的水平方向的PE单元之间脉动传输，权重参数在阵列的垂直方向并行进入每一列PE单元，阵列中的每一列PE单元并行输出计算的部分和，部分和通过加法树进行累加。

4.根据权利要求1所述的一种基于脉动阵列的深度可分离卷积实现方法，其特征在于，所述脉动阵列在执行标准卷积计算时，将标准卷积3*3的卷积核分成9组1*1的卷积核，对于每一组1*1卷积核，执行与点卷积相同的计算数据流；与点卷积不同的是，9组1*1卷积核中不同组的1*1卷积核对应的输入特征点的位置是不全相同的；最终9组1*1卷积核计算出的9组部分和再进行累加即可得到最终的输出。

5.根据权利要求1所述的一种基于脉动阵列的深度可分离卷积实现方法，其特征在于，所述脉动阵列在执行深度卷积计算时，权重参数在阵列的水平方向的PE单元之间脉动传输，不同卷积窗口的特征图数据在阵列的垂直方向并行进入每一列PE单元，阵列中的每一列PE单元需要9个周期计算完一个卷积窗口，在计算期间，部分和在PE单元内部累加；一个卷积窗口计算完成之后，并行输出计算的结果。

6.根据权利要求1所述的一种基于脉动阵列的深度可分离卷积实现方法，其特征在于，所述脉动阵列在执行不同类型的卷积时，其不同方向上具有不同的数据重用方式。