[发明专利]一种卷积神经网络加速方法及系统

说明书

本发明公开了一种卷积神经网络加速方法及系统，在确定需要进行拆分重组时，通过对每个输入数据的多个数据通道中对应行的数据、以及每个参数数据的多个参数通道中对应行的数据，进行拆分重组处理，可以得到与每个输入数据对应的至少一行第一数据、以及与每个参数数据对应的至少一行第二数据。如此，可以将得到的不同行第一特定数据输出至不同PE单元中并进行计算，从而可以充分利用PE单元，避免每个PE单元进行多次操作，以减少PE单元与存储器之间的交互次数，在充分利用数据的复用性的同时，还可以降低系统的处理复杂度，降低系统功耗，提高系统工作效率。

技术领域

本发明涉及软件技术领域，尤指一种卷积神经网络加速方法及系统。

背景技术

卷积神经网络作为深度学习领域中热门的网络结构，目前已广泛应用在计算机视觉领域与语言处理领域，随着卷积神经网络的层数与神经元个数的增加，模型的计算复杂度与参数数量随之增加。卷积是神经网络的基本运算，其中卷积核可以在输入数据上滑动进行卷积计算输出新的数据。

目前，传统的硬件平台因每一层的参数结构不同，对于存储器的访问较为单一，无法利用卷积神经网络的数据的复用性，数据的重复输入导致访问存储器的次数大大增加，进而导致卷积神经网络加速系统的功耗大大增加。

因此，如何充分利用卷积神经网络的数据的复用性，降低系统的功耗，是本领域技术人员亟待解决的技术问题。

发明内容

本发明实施例提供了一种卷积神经网络加速方法及系统，用以充分利用卷积神经网络的数据的复用性，降低系统的功耗。

第一方面，本发明实施例提供了一种卷积神经网络加速方法，包括：

在确定需要进行拆分重组处理时，分别对每个输入数据的多个数据通道中对应行的数据、以及每个参数数据的多个参数通道中对应行的数据进行拆分重组处理，分别得到与每个所述输入数据对应的至少一行第一数据、以及与每个所述参数数据对应的至少一行第二数据；其中，所述输入数据具有多个，每个所述输入数据具有多个数据通道，所述参数数据具有多个，每个所述参数数据具有多个参数通道，得到的每一行第一数据中包括多个所述数据通道对应行的数据，得到的每一行第二数据中包括多个所述参数通道对应行的数据；

将得到的不同行第一特定数据输出至不同PE单元中并进行计算；所述第一特定数据为所述第一数据和所述第二数据；

将各所述PE单元计算后的结果进行累加计算，生成输出数据。

可选地，分别对每个输入数据的多个数据通道中对应行的数据、以及每个参数数据的多个参数通道中对应行的数据进行拆分重组处理，具体包括：

提取任一个第二特定数据中的多个特定通道的对应的第i行数据；其中，所述第i行数据包括n个数据；

将各第i行数据中的第j个数据，按照对应的所述特定通道的编号依次顺序排列；

将各第i行数据中的第j+1个数据排布在各第i行数据中的第j个数据之后的位置；

其中，j大于0且小于或等于n；在所述第二特定数据为所述输入数据时，所述特定通道为数据通道；在所述第二特定数据为所述参数数据时，所述特定通道为参数通道。

可选地，确定是否需要进行拆分重组处理，具体包括：

判断所述数据通道和所述参数通道的数量、PE单元的数量、以及所述数据通道和所述参数通道的尺寸之间的关系是否满足预设条件；

若满足，则确定需要进行拆分重组处理；

若不满足，则确定不需要进行拆分重组处理。

可选地，所述预设条件为：所述卷积神经网络包括多层卷积，如果要完成每层卷积的计算，每个所述PE单元进行计算处理的次数不超过预设值。