[发明专利]模型优化方法、装置及设备

权利要求书

1.一种模型优化方法，其特征在于，所述方法包括：

在确定深度学习量化模型的目标网络层存在溢出风险时，确定所述目标网络层中卷积核的系数矩阵的分组临界点，所述卷积核包括C个系数矩阵；

按照所述分组临界点对所述目标网络层进行处理，得到处理后的所述目标网络层；其中，处理后的所述目标网络层的每一卷积核的系数矩阵执行卷积运算过程中产生的中间结果在寄存器中存储时不超出所述寄存器允许存储的范围。

2.根据权利要求1所述的方法，其特征在于，所述分组临界点的确定过程包括：

在按预设累加顺序利用卷积核的系数矩阵执行卷积运算获得中间结果的极端值的过程中，针对任一系数矩阵，若由该系数矩阵执行当前卷积运算产生的中间结果的极端值不在寄存器允许存储的数值范围内，则依据当前卷积运算所使用的系数矩阵确定所述卷积核的分组临界点；

所述预设累加顺序为卷积核中各系数矩阵进行卷积运算后运算结果的累加顺序。

3.根据权利要求1所述的方法，其特征在于，所述目标网络层包括至少两个卷积核，所述分组临界点的确定过程包括：

在按预设累加顺序利用卷积核的系数矩阵执行卷积运算获得中间结果的过程中，针对任一卷积核的任一系数矩阵，若由该卷积核的系数矩阵执行当前卷积运算产生的中间结果不在寄存器允许存储的数值范围内，则依据当前卷积运算所使用的系数矩阵确定所述卷积核的初始分组临界点；

在获得所述至少两个卷积核的初始分组临界点后，依据所述至少两个卷积核的第i个初始分组临界点中的最小初始分组临界点，确定每个卷积核的第i个分组临界点，以使不同卷积核具有相同分组临界点；

所述预设累加顺序为卷积核中各系数矩阵进行卷积运算后运算结果的累加顺序。

4.根据权利要求1所述的方法，其特征在于，所述分组临界点用于将所述目标网络层的卷积核中的C个系数矩阵进行分组，所述按照所述分组临界点对所述目标网络层进行处理，包括：

根据所述分组临界点，将所述目标网络层的卷积核中的C个系数矩阵进行分组，按照分组情况将所述目标网络层拆分成多个子网络层，使得所述目标网络层的卷积核中的C个系数矩阵以分组方式分布在所述多个子网络层中；其中，按照分组情况将所述目标网络层拆分成多个子网络层，包括：

为所述目标网络层配置数据拆分层和数据合并层；

其中，所述数据拆分层用于按所述分组情况将所述目标网络层拆分成多个子网络层；所述数据合并层用于将所述多个子网络层的输出结果进行合并。

5.根据权利要求1所述的方法，其特征在于，所述分组临界点用于将卷积核的系数矩阵执行卷积运算的中间结果进行分组存储，所述按照所述分组临界点对所述目标网络层进行处理，包括：

在所述目标网络层的卷积核中为每个分组临界点配置预设的数据转移参数，以生成具有预设的数据转移参数的目标网络层；

其中，所述寄存器包括第一寄存器器和第二寄存器，所述第二寄存器的位宽大于所述第一寄存器的位宽；所述预设的数据转移参数用于在执行具有预设的数据转移参数的目标网络层的卷积运算过程中，执行到利用预设的数据转移参数表示的分组临界点时，将第一寄存器当前缓存的运算结果累加到第二寄存器中，并将所述第一寄存器清零，清零后的所述第一寄存器用于存储下一组系数矩阵卷积运算过程产生的中间结果。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述确定深度学习量化模型的目标网络层存在溢出风险，包括：

从所述深度学习量化模型的待检测网络层中获得卷积核；

确定中间结果的极端值，所述中间结果的极端值是在利用所述待检测网络层输入数据的极端值与所述卷积核进行卷积运算过程中产生的中间结果的极端值，极端值包括最大值和最小值，中间结果存储到寄存器；

在中间结果的极端值超出寄存器允许存储的数值范围的情况下，判定所述待检测网络层为存在溢出风险的所述目标网络层。