[发明专利]加速库的设计方法、终端设备及存储介质

权利要求书

1.一种前向推理引擎加速库的设计方法，基于CEVA DSP芯片，其特征在于，所述方法包括：

将卷积神经网络CNN模型的数据进行定点化，以采用整型数据表示所述CNN模型的浮点型数据；

通过磁盘直接存储器存取DDMA优化方案，将所述CNN模型的隐层对应的隐层数据载入到内部内存IDM中；

通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算，以对所述CNN模型进行优化；所述隐层为卷积层时，所述通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算包括：将一行所述卷积层的输入数据的头部指针向前移动i个位置；将所述头部指针之后的输入数据写入到向量寄存器中；其中，每个所述向量寄存器可写入j个位置的数据，i小于j；将所述向量寄存器的前i个位置的数据置0，以及将所述向量寄存器中所述一行卷积层的输入数据的尾部之后的位置的数据置0，以对所述输入数据进行padding操作，使得基于VPU采用指令在向量寄存器中进行padding。

2.根据权利要求1所述的前向推理引擎加速库的设计方法，其特征在于，所述通过磁盘直接存储器存取DDMA优化方案，将所述CNN模型的隐层对应的隐层数据载入到内部内存IDM中，包括：

获取所述IDM能够载入的最大输入通道数；

判断所述最大输入通道数是否大于所述CNN模型的输入总通道数；

若是，则将所述输入总通道数对应的所有输入通道的隐层数据载入到所述IDM中。

3.根据权利要求1所述的前向推理引擎加速库的设计方法，其特征在于，所述通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算，包括：

通过所述VPU采用多个输出通道同时对所述隐层数据进行计算。

4.根据权利要求1所述的前向推理引擎加速库的设计方法，其特征在于，所述隐层为1＊1卷积层时，通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算，还包括：

对载入所述IDM中的所述1＊1卷积层的输入数据进行计算，得到输出数据，并将所述输出数据存储至外部内存中；其中，每次计算第一数据量的所述输入数据；

当载入到所述IDM中的所述输入数据中剩余的数据量小于所述第一数据量时，通过预设指令将剩余数据量的所述输入数据计算后得到的输出数据存储至所述外部内存中。

5.根据权利要求1所述的前向推理引擎加速库的设计方法，其特征在于，所述隐层为卷积层时，所述通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算，包括：

根据预设的卷积核模板数据，对所述卷积层的输入数据进行滑窗计算；

根据预设的卷积核存储顺序，将所述滑窗计算的结果累加到所述向量寄存器中。

6.根据权利要求1所述的前向推理引擎加速库的设计方法，其特征在于，所述隐层为卷积层时，所述通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算，包括：

判断所述卷积层的输入数据是否已经进行padding操作；

若否，则通过所述VPU采用第一预设指令，将在向量寄存器中的所述输入数据存储至外部内存；

若是，则通过所述VPU采用第二预设指令，将在所述向量寄存器中的所述输入数据存储至外部内存。

7.根据权利要求1所述的前向推理引擎加速库的设计方法，其特征在于，所述隐层为最大池化层时，所述通过所述CEVA DSP芯片的向量处理单元VPU 对所述隐层数据进行计算，包括：

选取所述最大池化层的输入数据中相邻两行的大值，并根据所述大值生成向量，其中所述大值为所述输入数据从大到小排序中靠前的预设数量的值；

分别依次选取所述向量中的奇数位置和偶数位置的值，并根据选取的所述奇数位置的值和所述偶数位置的值，生成两个新的向量；

选取所述两个新的向量中的大值作为最大池化层的输出。