[发明专利]一种网络模型推理加速方法、装置、存储介质和智能设备

说明书

本申请提出一种网络模型推理加速方法、装置、存储介质和智能设备。该方法包括：获取待加速的目标网络模型的模型信息；检测所述目标网络模型的各网络层的网络层类型，确定所述各网络层的网络层类型中设定接口不支持的目标网络层类型；根据所述目标网络模型的模型信息，添加自定义层接口函数至所述设定接口，以使得所述设定接口支持所述目标网络层类型；调用添加有所述自定义层接口函数的设定接口对所述目标网络模型进行网络模型推理加速。本方案可实现使用TensorRT对含有自定义层的深度神经网络模型的推理加速优化，方便用户对网络前向接口支持的网络层类型进行扩充，增强可扩展性。

技术领域

本申请属于信息处理技术领域，尤其涉及一种网络模型推理加速方法、装置、存储介质和智能设备。

背景技术

近年来，深度学习技术的突破极大地推动了计算机视觉领域的发展，传统问题的精度不断提高，新的应用领域也在不断拓展。图形处理器(Graphics Processing Unit，GPU)是当前云端与嵌入式端深度学习计算的主流计算设备。NvidiaTensorRT(英伟达张量运行时，简称TensorRT)是一种高性能神经网络推理引擎，用于在生产环境中部署深度学习应用程序，它能够快速优化、验证并部署经过训练的神经网络模型，实现在NVIDIA GPU上加速执行。

然而，现有的NvidiaTensorRT接口没有实现Upsamplingnearest2d这一网络层，Upsamplingnearest2d是深度学习框架Pytorch模型中的一层。对于含有自定义层的深度神经网络模型，使用NvidiaTensorRT无法实现推理加速优化，可扩展性差。

发明内容

有鉴于此，本申请实施例提供了一种网络模型推理加速方法、装置、存储介质和智能设备，以解决现有技术中，对于含有自定义层的深度神经网络模型，使用NvidiaTensorRT无法实现推理加速优化，可扩展性差的问题。

第一方面，本申请实施例提供了一种网络模型推理加速方法，包括：

获取待加速的目标网络模型的模型信息，所述模型信息包括构成所述目标网络模型的各网络层的类型；

检测所述目标网络模型的各网络层的网络层类型，确定所述各网络层的网络层类型中设定接口不支持的目标网络层类型，所述设定接口用于实现网络模型的推理加速；

根据所述目标网络模型的模型信息，添加自定义层接口函数至所述设定接口，以使得所述设定接口支持所述目标网络层类型；

调用添加有所述自定义层接口函数的设定接口对所述目标网络模型进行网络模型推理加速。

可选地，所述根据所述目标网络模型的模型信息，添加自定义层接口函数至所述设定接口，包括：

将所述设定接口不支持的所述目标网络层类型对应的网络层确定为关键网络层；

根据所述目标网络模型中各网络层的连接关系，确定并获取所述目标网络模型中所述关键网络层的上一层的输出维度，并将所述关键网络层的上一层的输出维度作为自定义层的输入维度；

获取所述关键网络层的尺度因子，所述尺度因子为模型参数的调整系数；

根据所述尺度因子确定所述自定义层的输出维度；

根据所述自定义层的输入维度和输出维度，添加自定义层接口函数至所述设定接口。

进一步地，所述自定义层的输入维度包括输入宽度和输入高度，所述自定义层的输出维度包括输出宽度和输出高度，所述根据所述尺度因子确定所述自定义层的输出维度，包括：

根据下式确定所述自定义层的输出宽度和输出高度：

所述输出宽度＝所述输入宽度*所述尺度因子；