[发明专利]神经网络配置方法、装置、计算机设备和存储介质

说明书

本申请涉及一种神经网络配置方法、装置、计算机设备和存储介质。所述方法包括：确定神经网络中的待配置卷积层；在多种所述张量数据存储格式中，选取待测试张量数据存储格式；获取所述待配置卷积层采用所述待测试存储格式执行基准测试任务时的运行延迟；根据所述运行延迟，确定所述待配置卷积层的目标存储格式；返回至所述确定神经网络中的待配置卷积层的步骤，直至确定所述神经网络的各个卷积层各自的目标存储格式。采用本方法能够提升了神经网络执行推理任务的效率。

技术领域

本申请涉及深度学习技术领域，特别是涉及一种神经网络配置方法、装置、计算机设备和存储介质。

背景技术

在最近几年，卷积神经网络在深度学习领域已经取得了巨大的成功。然而，如图形分类的推理任务仍然是一个计算负荷极高的工作，需要构建特别应用程序的硬件，以及在低功耗硬件上高效执行推理程序的库。GPGPU(General-Purpose computing on GraphicsProcessing Units，通用图形处理单元)是其中一个广为应用的硬件。此外，为新兴的神经网络体系结构开发高效的子程序库是一项非常重要的工作。这种方法在现有库的基础上提供了另一种层优化，使推理引擎能够充分利用底层硬件的功能和效率，而不是来自传统库的接口。

如cuDNN(Compute-Unified Device Architecture Deep Neural Networklibrary，基于CUDA的深度神经网络库)的深度学习的函数库，向用户提供了用于将数据层的输入、过滤、输出的张量存储至内存的配置选项。相应地，如TensorFlow、PyTorch等的深度学习架构，在发现这些配置选项对常用的神经网络有用时，则会采用这些配置选项，以进一步优化神经网络执行训练任务或推理任务的表现。

然而，由于推理引擎的开发人员在进行开发工作时通常是直接使用如cuDNN的库，而不是通过上述深度学习框架，因此也就无法对神经网络的张量存储相关的参数进行有效的配置，从而影响了神经网络的运行效率。

因此，现有的神经网络配置方法存在着影响神经网络运行效率的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种神经网络配置方法、装置、计算机设备和存储介质。

第一方面，提供了一种神经网络配置方法，包括：

确定神经网络中的待配置卷积层；所述待配置卷积层具有多种可用的张量数据存储格式；

在多种所述张量数据存储格式中，选取待测试张量数据存储格式；

获取所述待配置卷积层采用所述待测试存储格式执行基准测试任务时的运行延迟；

根据所述运行延迟，确定所述待配置卷积层的目标存储格式；

返回至所述确定神经网络中的待配置卷积层的步骤，直至确定所述神经网络的各个卷积层各自的目标存储格式。

在一个实施例中，所述根据所述运行延迟，确定所述待配置卷积层的目标存储格式，包括：

获取当前优化运行延迟；

当所述运行延迟小于所述当前优化运行延迟时，将所述当前优化运行延迟的数值更新为所述运行延迟的数值，以及，将预设的当前优选存储格式标识更新为所述待测试存储格式的标识；

返回至所述在多种所述张量数据存储格式中，选取待测试存储格式的步骤，直至遍历多种可用的所述张量数据存储格式后，将所述当前优选存储格式标识对应的张量数据存储格式，确定为所述待配置卷积层的目标存储格式。

在一个实施例中，所述获取所述待配置卷积层采用所述待测试存储格式执行基准测试任务时的运行延迟，包括：

将所述待测试存储格式的标识传入预设的基准测试函数；