[发明专利]一种网络模型的训练方法、装置及设备

说明书

本申请提供一种网络模型的训练方法、装置及设备，该方法包括：获取网络层对应的浮点型激活梯度值，对浮点型激活梯度值进行量化，得到定点型激活梯度值和激活值量化超参；基于定点型激活梯度值对网络层的初始模型权重进行调整，将调整后的模型权重更新为所述网络层的初始模型权重；若所述网络层不是首个网络层，则对网络层的初始模型权重进行量化，得到反向定点型权重和反向权重值量化超参；基于所述定点型激活梯度值、所述反向定点型权重、所述激活值量化超参和所述反向权重值量化超参，确定所述网络层的前一个网络层对应的浮点型激活梯度值。通过本申请的技术方案，可以减轻运算复杂度，运算量较小，资源消耗较小，能够对训练过程进行加速。

技术领域

本申请涉及人工智能领域，尤其是一种网络模型的训练方法、装置及设备。

背景技术

机器学习是实现人工智能的一种途径，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。

机器学习已经有了十分广泛的应用，如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、语音和手写识别等。

为了采用机器学习实现人工智能处理，服务器需要获取大量样本数据，并基于这些样本数据训练出机器学习模型，并将该机器学习模型部署到终端设备(如摄像机等)，以使终端设备基于该机器学习模型实现人工智能处理。

但是，由于机器学习模型的训练过程涉及大量复杂运算，因此，导致机器学习模型的训练时间长，训练速度慢，运算量大，且资源消耗大。

发明内容

本申请提供一种网络模型的训练方法，初始网络模型包括多个网络层，每个网络层包括初始模型权重，针对每个网络层，所述方法包括：

获取所述网络层对应的浮点型激活梯度值，对所述浮点型激活梯度值进行量化，得到定点型激活梯度值和激活值量化超参；

基于所述定点型激活梯度值对所述网络层的初始模型权重进行调整，将调整后的模型权重更新为所述网络层的初始模型权重；

若所述网络层不是首个网络层，则对所述网络层的初始模型权重进行量化，得到反向定点型权重和反向权重值量化超参；基于所述定点型激活梯度值、所述反向定点型权重、所述激活值量化超参和所述反向权重值量化超参，确定所述网络层的前一个网络层对应的浮点型激活梯度值。

本申请提供一种网络模型的训练装置，初始网络模型包括多个网络层，每个网络层均包括初始模型权重，针对每个网络层，所述装置包括：

获取模块，用于获取所述网络层对应的浮点型激活梯度值，对所述浮点型激活梯度值进行量化，得到定点型激活梯度值和激活值量化超参；

训练模块，用于基于所述定点型激活梯度值对所述网络层的初始模型权重进行调整，将调整后的模型权重更新为所述网络层的初始模型权重；

处理模块，用于若所述网络层不是首个网络层，则对所述网络层的初始模型权重进行量化，得到反向定点型权重和反向权重值量化超参；基于所述定点型激活梯度值、所述反向定点型权重、所述激活值量化超参和所述反向权重值量化超参，确定所述网络层的前一个网络层对应的浮点型激活梯度值。

本申请提供一种网络模型的训练设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述的网络模型的训练方法。