[发明专利]一种模型优化方法、装置、设备及存储介质、程序产品

权利要求书

1.一种模型优化方法，其特征在于，所述模型优化方法包括：

获取待优化模型和控制参数；所述待优化模型是经过训练的模型；

通过对所述待优化模型中的模型算子进行封装，确定所述待优化模型对应的超模型；其中，所述超模型的空间结构是动态变化的；

依据所述模型算子和所述控制参数，确定所述待优化模型对应的配置搜索空间；所述模型算子至少包括：所述待优化模型中的一个网络层；

基于所述配置搜索空间和所述待优化模型，对所述超模型进行训练，得到所述待优化模型对应的收敛超模型；

从所述收敛超模型中搜索得到所述待优化模型对应的优化模型。

2.根据权利要求1所述的方法，其特征在于，所述通过对所述待优化模型中的模型算子进行封装，确定所述待优化模型对应的超模型，包括：

依据所述待优化模型中的模型算子之间的连接关系，将所述待优化模型的所述模型算子划分为多个算子集合；

针对每个所述算子集合，确定对应的封装变量；

利用所述封装变量对每个所述算子集合中的模型算子进行封装，得到每个所述算子集合的所述模型算子所对应的封装算子；所述封装算子的空间结构是动态的；

将利用所述封装算子拼接得到的模型，确定为所述待优化模型对应的所述超模型。

3.根据权利要求2所述的方法，其特征在于，所述依据所述待优化模型中的模型算子之间的连接关系，将所述待优化模型的所述模型算子划分为多个算子集合，包括：

依据所述待优化模型中的模型算子之间的连接关系，确定所述模型算子对应的输出算子；所述输出算子的输入数据是所述模型算子的输出数据；

利用所述输出算子，将所述待优化模型的所述模型算子划分为多个所述算子集合；其中，同一个所述算子集合中的模型算子存在相同的输出算子。

4.根据权利要求2所述的方法，其特征在于，所述利用所述封装变量对每个所述算子集合中的模型算子进行封装，得到每个所述算子集合的所述模型算子所对应的封装算子，包括：

将所述封装变量与每个所述算子集合中的模型算子的输出通道数进行融合，得到每个所述算子集合的所述模型算子所对应的封装算子。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述获取待优化模型和控制参数之后，所述通过对所述待优化模型中的模型算子进行封装，确定所述待优化模型对应的超模型之前，所述方法还包括：

从所述待优化模型中，解析得到所述待优化模型的卷积层，以及所述卷积层对应的附属网络层；其中，所述附属网络层至少包括：池化层和激活层；

将所述卷积层和所述卷积层所对应的附属网络层，合并为所述待优化模型的所述模型算子。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述控制参数包括：多个子模型配置参数；所述依据所述模型算子和所述控制参数，确定所述待优化模型对应的配置搜索空间，包括：

利用多个所述子模型配置参数，对每个所述模型算子的空间结构参数分别进行调整，得到每个所述模型算子对应的多个更新结构参数；

将利用每个所述模型算子对应的多个所述更新结构参数所构成的搜索空间，确定为所述待优化模型对应的所述配置搜索空间。

7.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述配置搜索空间和所述待优化模型，对所述超模型进行训练，得到所述待优化模型对应的收敛超模型，包括：

将所述待优化模型的副本，确定为教师模型；

通过迭代i进行以下处理，1≤i≤N，N为迭代总次数：

对所述配置搜索空间进行第i次采样，得到第i个模型配置信息；

利用第i个所述模型配置信息，从所述超模型中创建出与第i个所述模型配置信息相对应的子模型；

基于所述教师模型，对所述子模型进行训练，得到第i个所述模型配置信息对应的收敛子模型；

当完成对i的迭代时，将N个所述模型配置信息对应的所述收敛子模型的集合，确定为所述收敛超模型。