[发明专利]一种网络模型部署方法、装置、存储介质及边缘设备

说明书

本申请提出一种网络模型部署方法、装置、存储介质及边缘设备，依据边缘设备中NPU支持的算子，筛选出网络模型中NPU的不支持算子；将不支持算子作为分界点，对网络模型进行拆分，以获得至少两个子模型；将子模型部署于NPU，将不支持算子部署于CPU。本申请实施例提供的方法，即便网络模型包括NPU不支持的算子，也能够完整的将网络模型部署到边缘设备，相比为适配边缘设备的NPU而限制特定算子的使用，本方法能够保障网络模型部署的完整度，使得部署后的网络模型具备较高的准确度。

技术领域

本申请涉及网络模型领域，具体而言，涉及一种网络模型部署方法、装置、存储介质及边缘设备。

背景技术

随着边缘计算的发展，越来越多的边缘计算设备可直接执行复杂的模型推理过程，从而节约数据上行到云端设备和下行到用户设备的时间。相比于云端设备，边缘端设备NPU的算力有限，并且支持的算子有限。

因此，如何在保障较高的准确度的前提下，完成模型到边缘设备的部署，成为了困扰本领域技术人员的难题。

发明内容

本申请的目的在于提供一种网络模型部署方法、装置、存储介质及边缘设备，以至少部分改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种网络模型部署方法，所述方法包括：

依据边缘设备中NPU支持的算子，筛选出网络模型中所述NPU的不支持算子；

将所述不支持算子作为分界点，对所述网络模型进行拆分，以获得至少两个子模型；

将所述子模型部署于所述NPU，将所述不支持算子部署于CPU。

第二方面，本申请实施例提供一种网络模型部署装置，所述装置包括：

处理单元，用于依据边缘设备中NPU支持的算子，筛选出网络模型中所述NPU的不支持算子；

所述处理单元还用于将所述不支持算子作为分界点，对所述网络模型进行拆分，以获得至少两个子模型；

部署单元，用于将所述子模型部署于所述NPU，将所述不支持算子部署于CPU。

第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法。

第四方面，本申请实施例提供一种边缘设备，所述边缘设备包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现上述的方法。

相对于现有技术，本申请实施例所提供的一种网络模型部署方法、装置、存储介质及边缘设备，依据边缘设备中NPU支持的算子，筛选出网络模型中NPU的不支持算子；将不支持算子作为分界点，对网络模型进行拆分，以获得至少两个子模型；将子模型部署于NPU，将不支持算子部署于CPU。本申请实施例提供的方法，即便网络模型包括NPU不支持的算子，也能够完整的将网络模型部署到边缘设备，相比为适配边缘设备的NPU而限制特定算子的使用，本方法能够保障网络模型部署的完整度，使得部署后的网络模型具备较高的准确度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的边缘设备的结构示意图；

图2为本申请实施例提供的网络模型部署方法的流程示意图；