[发明专利]全整型神经网络模型推理方法、装置、设备及存储介质

说明书

本申请公开了全整型神经网络模型推理方法、装置、设备及存储介质，应用于支持整型计算的嵌入式设备，涉及神经网络领域，包括：利用预设方法对所述嵌入式设备中部署的训练好的神经网络模型进行量化，以得到所述神经网络模型的权重系数；基于预设规则将算子进行分类，以得到若干种类型的算子；对所述若干种类型的算子进行相应的计算，得到与各种类型的算子对应的各中间数据；各所述中间数据的数据类型均为目标整型数据；基于所述中间数据以及所述神经网络模型的权重系数进行全整型神经网络模型的计算推理。这样一来，本申请便可以在只支持硬件计算的嵌入式设备上部署神经网络模型。

技术领域

本发明涉及神经网络领域，特别涉及全整型神经网络模型推理方法、装置、设备及存储介质。

背景技术

随着深度学习相关技术不断发展，神经网络模型在很多行业和场景得到广泛应用。由于神经网络模型的参数量和计算量大，在资源有限的嵌入式设备部署较为困难，往往需要采用模型量化等轻量化方法。另外，有些嵌入式设备只支持整型数据计算，而在现有的模型推理方法中，矩阵相乘等计算量大的算子采用量化后的整型数据计算，而对于更多的算子，往往还需要采用浮点数计算。例如常见的残差网络中的Add算子，由于将两个int8数据相加可能会导致数据溢出，因此往往采用浮点数计算。另外，对于标量数据相加，由于量化后的int8数据经过了缩放，无法直接与标量数据相加，往往需要采用浮点数计算。因此，如何在只支持硬件计算的嵌入式设备上部署神经网络模型，成为了亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种全整型神经网络模型推理方法、装置、设备及存储介质，通过此方法，可以在只支持硬件计算的嵌入式设备上部署神经网络模型。其具体方案如下：

第一方面，本申请公开了一种全整型神经网络模型推理方法，应用于支持整型计算的嵌入式设备，包括：

利用预设方法对所述嵌入式设备中部署的训练好的神经网络模型进行量化，以得到所述神经网络模型的权重系数；

基于预设规则将算子进行分类，以得到若干种类型的算子；

对所述若干种类型的算子进行相应的计算，得到与各种类型的算子对应的各中间数据；各所述中间数据的数据类型均为目标整型数据；

基于所述中间数据以及所述神经网络模型的权重系数进行全整型神经网络模型的计算推理。

可选的，所述利用预设方法对所述嵌入式设备中部署的训练好的神经网络模型进行量化，包括：

利用int数据类型对所述嵌入式设备中部署的训练好的神经网络模型进行量化。

可选的，所述基于预设规则将算子进行分类，包括：

基于每种类型算子的计算方式将所述算子进行分类。

可选的，所述基于预设规则将算子进行分类，以得到若干种类型的算子，包括：

基于每种类型算子的计算方式将所述算子分为进行量化和逆量化计算的第一类型算子、通过移位方式计算的第二类型算子以及通过查表方式计算的第三类型算子。

可选的，所述对所述若干种类型的算子进行相应的计算，得到与各种类型的算子对应的各中间数据，包括：

对任一第一类型算子进行计算时，若当前输入为另一个所述第一类型算子的输出，则由所述任一第一类型算子直接进行相应的卷积计算或矩阵相乘的计算，以得到所述任一第一类型算子对应的所述中间数据；若当前输入为所述第二类型算子或所述第三类型算子的输出，则对所述任一第一类型算子进行量化操作，然后进行相应的卷积计算或矩阵相乘的计算，以得到所述任一第一类型算子对应的所述中间数据；若当前输出为另一个所述第一类型算子的输入，则对所述任一第一类型算子进行逆量化操作以及乘以预设的中间表示常数中的data分量，以得到所述任一第一类型算子对应的所述中间数据；