[发明专利]数据处理方法、装置、电子设备以及存储介质

权利要求书

1.一种数据处理方法，其特征在于，应用于电子设备，所述方法包括：

获取待压缩模型，所述待压缩模型包括多个网络层；

获取所述待压缩模型的每个网络层对应的量化比特位，所述量化比特位为基于网络层在前向推理时的模拟功率确定；

在每一轮训练过程中，基于所述对应的量化比特位对所述多个网络层分别进行量化处理，得到待调整模型；

并获取目标损失函数，所述目标损失函数为基于所述待压缩模型的损失函数以及新增的损失函数确定；

以及基于所述目标损失函数更新所述待调整模型的参数，直至满足预设条件。

2.根据权利要求1所述的方法，其特征在于，所述待压缩模型包括转换器层，所述转换器层包括非线性参数，所述获取所述待压缩模型的每个网络层对应的量化比特位之前，还包括：

根据目标估算方式将所述转换器层的非线性参数转换为线性参数。

3.根据权利要求2所述的方法，其特征在于，所述根据目标估算方式将所述转换器层的非线性参数转换为线性参数，包括：

若所述电子设备的剩余内存大于内存阈值，根据第一估算方式将所述转换器层的非线性参数转换为线性参数；

若所述电子设备的剩余内存小于内存阈值，根据第二估算方式将所述转换器层的非线性参数转换为线性参数。

4.根据权利要求2所述的方法，其特征在于，所述转换器层包括多头自注意模块，所述获取目标损失函数，包括：

向所述多头自注意模块加入次序损失函数；

将所述次序损失函数与所述待压缩模型的损失函数进行加权平均，得到所述目标损失函数。

5.根据权利要求1所述的方法，其特征在于，所述基于所述对应的量化比特位对所述多个网络层分别进行量化处理，包括：

将所述多个网络层各自的参数分别量化为所述对应的量化比特位的整数；

对于所述多个网络层中的每一个网络层，将所述整数反量化为浮点数，并用所述浮点数替换所述参数。

6.根据权利要求1所述的方法，其特征在于，所述基于所述目标损失函数更新所述待调整模型的参数，包括：

基于所述目标损失函数估算所述待调整模型的梯度；

对所述梯度进行反向传播，以更新所述待调整模型的参数。

7.根据权利要求1所述的方法，其特征在于，所述基于所述目标损失函数更新所述待调整模型的参数，直至满足预设条件，包括：

基于所述目标损失函数更新所述待调整模型的参数，直至所述待调整模型的推理精度达到预设精度或者所述待调整模型的训练轮次达到预设轮次。

8.一种数据处理装置，其特征在于，运行于电子设备，所述装置包括：

模型获取模块，用于获取待压缩模型，所述待压缩模型包括多个网络层；

量化比特位获取模块，用于获取所述待压缩模型的每个网络层对应的量化比特位，所述量化比特位为基于网络层在前向推理时的模拟功率确定；

量化处理模块，用于在每一轮训练过程中，基于所述对应的量化比特位对所述多个网络层分别进行量化处理，得到待调整模型；

损失函数获取模块，用于并获取目标损失函数，所述目标损失函数为基于所述待压缩模型的损失函数以及新增的损失函数确定；

参数更新模块，用于以及基于所述目标损失函数更新所述待调整模型的参数，直至满足预设条件。

9.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；

一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。