[发明专利]一种网络模型的训练方法、装置及设备

权利要求书

1.一种网络模型的训练方法，其特征在于，初始网络模型包括多个网络层，每个网络层包括初始模型权重，针对每个网络层，所述方法包括：

获取所述网络层对应的浮点型激活梯度值，对所述浮点型激活梯度值进行量化，得到定点型激活梯度值和激活值量化超参；

基于所述定点型激活梯度值对所述网络层的初始模型权重进行调整，将调整后的模型权重更新为所述网络层的初始模型权重；

若所述网络层不是首个网络层，则对所述网络层的初始模型权重进行量化，得到反向定点型权重和反向权重值量化超参；基于所述定点型激活梯度值、所述反向定点型权重、所述激活值量化超参和所述反向权重值量化超参，确定所述网络层的前一个网络层对应的浮点型激活梯度值。

2.根据权利要求1所述的方法，其特征在于，所述对所述网络层的初始模型权重进行量化，得到反向定点型权重和反向权重值量化超参，包括：

若所述网络层的输入通道数为cin，输出通道数为cout，则将所述网络层的初始模型权重划分为cin个子模型权重；其中，每个子模型权重表示为cout*m*n，m*n为所述子模型权重的尺寸，cout为所述子模型权重的通道数；

对所述cin个子模型权重中的每个子模型权重进行量化，得到所述子模型权重对应的反向定点型权重和反向权重值量化超参。

3.根据权利要求1所述的方法，其特征在于，所述基于所述定点型激活梯度值对所述网络层的初始模型权重进行调整，包括：

基于所述定点型激活梯度值确定定点型权重梯度值；

基于所述定点型权重梯度值和所述激活值量化超参确定浮点型权重梯度值；

基于所述浮点型权重梯度值对所述网络层的初始模型权重进行调整。

4.根据权利要求1所述的方法，其特征在于，所述基于所述定点型激活梯度值、所述反向定点型权重、所述激活值量化超参和所述反向权重值量化超参，确定所述网络层的前一个网络层对应的浮点型激活梯度值，包括：

基于所述网络层对应的所述定点型激活梯度值和所述反向定点型权重，确定所述网络层的前一个网络层对应的定点型激活梯度值；

基于所述前一个网络层对应的定点型激活梯度值、所述激活值量化超参和所述反向权重值量化超参，确定所述前一个网络层对应的浮点型激活梯度值。

5.根据权利要求1所述的方法，其特征在于，

所述获取所述网络层对应的浮点型激活梯度值，包括：

若所述网络层是最后一个网络层，则获取所述网络层对应的浮点型激活值，基于所述浮点型激活值和已标定的浮点型真值确定目标损失值，并基于所述目标损失值确定所述网络层对应的浮点型激活梯度值；

若所述网络层不是最后一个网络层，则将所述网络层的后一个网络层输出的浮点型激活梯度值确定为所述网络层对应的浮点型激活梯度值。

6.根据权利要求1-5任一项所述的方法，其特征在于，

所述获取所述网络层对应的浮点型激活梯度值之前，所述方法还包括：

获取所述网络层对应的浮点型输入数据，对所述浮点型输入数据进行量化，得到定点型输入数据和输入数据量化超参；对所述网络层的初始模型权重进行量化，得到正向定点型权重和正向权重值量化超参；

基于所述正向定点型权重对所述定点型输入数据进行处理，得到定点型激活值，并基于所述定点型激活值、所述输入数据量化超参和所述正向权重值量化超参确定所述网络层对应的浮点型激活值；

其中，若所述网络层不是最后一个网络层，则所述网络层对应的浮点型激活值作为所述网络层的后一个网络层对应的浮点型输入数据。

7.根据权利要求6所述的方法，其特征在于，所述对所述网络层的初始模型权重进行量化，得到正向定点型权重和正向权重值量化超参，包括：

若所述网络层的输入通道数为cin，输出通道数为cout，则将所述网络层的初始模型权重划分为cout个子模型权重；其中，每个子模型权重表示为cin*m*n，m*n为所述子模型权重的尺寸，cin为所述子模型权重的通道数；

对所述cout个子模型权重中的每个子模型权重进行量化，得到所述子模型权重对应的正向定点型权重和正向权重值量化超参。