[发明专利]网络模型训练方法、装置、电子设备及可读存储介质

权利要求书

1.一种网络模型训练方法，其特征在于，包括：

获取训练数据，并将所述训练数据输入初始模型，得到输出数据；

其中，所述初始模型包括嵌入层，所述嵌入层基于预设网络层延迟信息构建，所述预设网络层延迟信息包括相互对应的网络层类型和至少两类延迟数据，各类所述延迟数据对应于不同的设备类型；所述网络层类型是指网络模型中各个网络层的类型；

将当前设备类型、所述初始模型中目标网络层的目标网络层类型输入所述嵌入层，得到其他设备类型对应的目标延迟数据；

利用所述目标延迟数据、所述训练数据和所述输出数据计算目标损失值，并利用所述目标损失值对所述初始模型进行参数调节；

若满足训练完成条件，则基于所述初始模型得到目标模型。

2.根据权利要求1所述的网络模型训练方法，其特征在于，所述预设网络层延迟信息的生成过程，包括：

确定若干个网络层，以及具有各个所述网络层的若干个预设网络模型；

将各个所述预设网络模型在各个所述设备类型对应的设备上进行训练，得到各个所述设备类型对应第一延迟数据；

利用所述第一延迟数据得到与所述网络层对应的第二延迟数据；

利用所述第二延迟数据、所述网络层的网络层类型、所述设备类型之间的对应关系，生成所述预设网络层延迟信息。

3.根据权利要求1所述的网络模型训练方法，其特征在于，所述利用所述目标延迟数据、所述训练数据和所述输出数据计算目标损失值，包括：

利用所述训练数据和所述输出数据得到精度损失值；

利用所述精度损失值和所述目标延迟数据进行加权求和，得到所述目标损失值。

4.根据权利要求1至3任一项所述的网络模型训练方法，其特征在于，所述初始模型为基于神经网络模型训练规则，利用搜索空间构建得到的超参数网络，所述初始模型的网络架构与目标有向无环图对应，所述目标有向无环图具有若干个有向边，各个所述有向边具有若干个分支；

所述将所述训练数据输入初始模型，得到输出数据，包括：

确定目标参数；

根据目标参数，确定各个所述有向边对应的激活分支，并利用所述激活分支对所述训练数据进行处理，得到所述输出数据；

相应的，所述利用所述目标损失值对所述初始模型进行参数调节，包括：

利用所述目标损失值对所述激活分支对应的所述目标参数进行更新；其中，上一次更新的历史参数与所述目标参数的参数类型不同。

5.根据权利要求4所述的网络模型训练方法，其特征在于，所述根据目标参数，确定各个所述有向边对应的激活分支，包括：

若所述目标参数为权重参数，则随机确定所述激活分支；

若所述目标参数为架构参数，则根据多项式分布采样原则选择所述激活分支。

6.根据权利要求5所述的网络模型训练方法，其特征在于，所述利用所述目标损失值对所述激活分支对应的目标参数进行更新，包括：

若所述目标参数为权重参数，则利用所述目标损失值，利用随机梯度下降法更新所述激活分支的权重参数；

若所述目标参数为架构参数，则利用所述目标损失值，按照预设更新规则计算更新参数，并利用所述更新参数更新所述激活分支的架构参数。

7.根据权利要求4所述的网络模型训练方法，其特征在于，所述基于所述初始模型得到目标模型，包括：

利用架构参数和权重参数计算各个所述分支对应的分支权重；

确定各个所述有向边的最高分支权重，并裁剪所述初始模型中非最高分支权重对应的分支，得到所述目标模型。

8.根据权利要求1所述的网络模型训练方法，其特征在于，所述将当前设备类型、所述初始模型中目标网络层的目标网络层类型输入所述嵌入层，得到其他设备类型对应的目标延迟数据，包括：

将所述当前设备类型、各个所述目标网络层类型以及目标数据输入所述嵌入层，得到与所述目标数据对应的所述目标延迟数据；其中，所述目标数据包括输入数据尺度和/或目标设备类型。