[发明专利]一种网络模型部署方法、装置、存储介质及边缘设备

权利要求书

1.一种网络模型部署方法，其特征在于，所述方法包括：

依据边缘设备中NPU支持的算子，筛选出网络模型中所述NPU的不支持算子；

将所述不支持算子作为分界点，对所述网络模型进行拆分，以获得至少两个子模型；

将所述子模型部署于所述NPU，将所述不支持算子部署于CPU。

2.如权利要求1所述的网络模型部署方法，其特征在于，所述将所述子模型部署于所述NPU的步骤，包括：

在所述子模型的图复杂度超过所述NPU的复杂度上限的情况下，将所述子模型拆分为至少两个分支模型；

其中，所述分支模型的图复杂度未超过所述NPU的复杂度上限；

将所述分支模型分别部署于所述NPU。

3.如权利要求2所述的网络模型部署方法，其特征在于，所述图复杂度包括计算复杂度和/或图结构复杂度，所述计算复杂度用于表征所述子模型的总计算量，所述图结构复杂度用于表征所述子模型中最小不可分割算子的数量。

4.如权利要求1所述的网络模型部署方法，其特征在于，所述将所述子模型部署于所述NPU的步骤，包括：

依据所述网络模型的参数分布，对各个所述子模型进行量化；其中，所述网络模型的参数分布是所述网络模型在量化训练并收敛后的参数分布；

将量化后的子模型部署于所述NPU。

5.如权利要求1所述的网络模型部署方法，其特征在于，在将所述子模型部署于所述NPU，将所述不支持算子部署于CPU之后，还包括：

通过工程化将所有子模型和不支持算子的计算过程串接；

其中，串接顺序符合网络模型中的顺序关系。

6.如权利要求1所述的网络模型部署方法，其特征在于，在所述依据边缘设备中NPU支持的算子，筛选出网络模型中所述NPU的不支持算子的步骤，包括：

依据边缘设备中NPU支持的算子构建算子字典；

根据所述算子字典遍历网络模型，筛选出所述网络模型中所述NPU的不支持算子。

7.一种网络模型部署装置，其特征在于，所述装置包括：

处理单元，用于依据边缘设备中NPU支持的算子，筛选出网络模型中所述NPU的不支持算子；

所述处理单元还用于将所述不支持算子作为分界点，对所述网络模型进行拆分，以获得至少两个子模型；

部署单元，用于将所述子模型部署于所述NPU，将所述不支持算子部署于CPU。

8.如权利要求7所述的网络模型部署装置，其特征在于，所述部署单元还用于在所述子模型的图复杂度超过所述NPU的复杂度上限的情况下，将所述子模型拆分为至少两个分支模型；其中，所述分支模型的图复杂度未超过所述NPU的复杂度上限；将所述分支模型分别部署于所述NPU。

9.如权利要求7所述的网络模型部署装置，其特征在于，

所述部署单元还用于依据所述网络模型的参数分布，对各个所述子模型进行量化；其中，所述网络模型的参数分布是所述网络模型在量化训练并收敛后的参数分布；将量化后的子模型部署于所述NPU。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。

11.一种边缘设备，其特征在于，包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现如权利要求1-6中任一项所述的方法。