[发明专利]加速库的设计方法、终端设备及存储介质

说明书

本发明适用于计算机技术领域，提供了加速库的设计方法、终端设备及存储介质，所述方法包括：将卷积神经网络CNN模型的数据进行定点化，以采用整型数据表示所述CNN模型的浮点型数据；通过磁盘直接存储器存取DDMA优化方案，将所述CNN模型的隐层对应的隐层数据载入到内部内存IDM中；根据载入到所述IDM中的隐层数据，通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算，以对所述CNN模型进行优化。本加速库通过DDMA技术和VPU指令对CNN模型进行优化，支持CNN模型的大部分操作，可将本加速库移植到现有前向推理引擎中，使现有前向推理引擎支持DSP优化，以及支持在本加速库的基础上开发新的前向推理框架。

技术领域

本发明属于计算机技术领域，尤其涉及加速库的设计方法、终端设备及存储介质。

背景技术

目前，随着大规模的卷积神经网络(Convolution Neutral Network，CNN)网络对硬件的要求不断提高，CNN前向推理引擎应运而生，如腾讯公司开发的NCNN、阿里巴巴公司开发的MNN以及英伟达公司开发的TensorRT。据统计，在全球范围内，每3部智能手机中就有一部使用了CEVA DSP技术，而现有的所有前向推理引擎都只支持ARM优化，无法支持DSP优化。因此，采用CEVA DSP技术的终端难以使用现有前向推理引擎进行智能图像和视觉处理，这样不利于前向推理引擎的广泛应用。

发明内容

有鉴于此，本发明实施例提供了加速库的设计方法、终端设备及存储介质，以解决现有技术中现有的所有前向推理引擎无法支持DSP优化的问题。

本发明实施例的第一方面提供了一种前向推理引擎加速库的设计方法，基于CEVADSP芯片，方法包括：

将卷积神经网络CNN模型的数据进行定点化，以采用整型数据表示所述CNN模型的浮点型数据；

通过磁盘直接存储器存取(Disk Direct Memory Access，DDMA)优化方案将所述CNN模型的隐层对应的隐层数据载入到内部内存IDM中；

通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算，以对所述CNN模型进行优化。

本发明实施例的第二方面提供了一种前向推理引擎加速库的设计装置，包括CEVADSP芯片和外部内存，所述CEVA DSP芯片，用于将卷积神经网络CNN模型的数据进行定点化，以采用整型数据表示所述CNN模型的浮点型数据；通过磁盘直接存储器存取DDMA优化方案将所述CNN模型的隐层对应的隐层数据载入到内部内存IDM中；通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算，以对所述CNN模型进行优化；所述外部内存，用于存储所述隐层数据。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述前向推理引擎加速库的设计方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述前向推理引擎加速库的设计方法的步骤。

本发明实施例通过将卷积神经网络CNN模型的数据进行定点化，采用DDMA优化技术将所述CNN模型的隐层对应的隐层数据载入到内部内存IDM中，并通过所述CEVA DSP芯片的向量处理单元VPU对所述隐层数据进行计算，从而得到基于CEVA DSP芯片的CNN前向推理引擎加速库，本加速库通过DDMA技术和VPU指令对CNN模型进行优化，支持CNN模型的大部分操作，可将本加速库移植到现有前向推理引擎中，使现有前向推理引擎支持DSP优化，以及支持在本加速库的基础上开发新的前向推理框架。

附图说明