[发明专利]数据处理方法、装置、电子设备以及存储介质

说明书

本申请实施例公开了一种数据处理方法、装置、电子设备以及存储介质。所述方法包括：获取待压缩模型，所述待压缩模型包括多个网络层；获取所述待压缩模型的每个网络层对应的量化比特位，所述量化比特位为基于网络层在前向推理时的模拟功率确定；在每一轮训练过程中，基于所述对应的量化比特位对所述多个网络层分别进行量化处理，得到待调整模型；并获取目标损失函数，所述目标损失函数为基于所述待压缩模型的损失函数以及新增的损失函数确定；以及基于所述目标损失函数更新所述待调整模型的参数，直至满足预设条件。本方法实现了使得量化感知训练后的量化误差更小，模型的推理精度也仍然在较好的范围内，同时也减小了模型的规模。

技术领域

本申请涉及人工智能技术领域，更具体地，涉及一种数据处理方法、装置、电子设备以及存储介质。

背景技术

Transformer(转换器)在计算机视觉领域已经有了越来越广泛的应用，除了基本的应用图像分类以外，在目标检测、语义分割等较为挑战的任务中也表现出了和传统卷积神经网络不同的性能优势。相比于卷积神经网络来说，视觉转换器(v i s i onTransformer)具有更加复杂的结构和更庞大的参数量，在内存资源受限的边缘设备上的部署难度较大。

发明内容

鉴于上述问题，本申请提出了一种数据处理方法、装置、电子设备以及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种数据处理方法，应用于电子设备，所述方法包括：获取待压缩模型，所述待压缩模型包括多个网络层；获取所述待压缩模型的每个网络层对应的量化比特位，所述量化比特位为基于网络层在前向推理时的模拟功率确定；在每一轮训练过程中，基于所述对应的量化比特位对所述多个网络层分别进行量化处理，得到待调整模型；并获取目标损失函数，所述目标损失函数为基于所述待压缩模型的损失函数以及新增的损失函数确定；以及基于所述目标损失函数更新所述待调整模型的参数，直至满足预设条件。

第二方面，本申请实施例提供了一种数据处理装置，运行于电子设备，所述装置包括：模型获取模块，用于获取待压缩模型，所述待压缩模型包括多个网络层；量化比特位获取模块，用于获取所述待压缩模型的每个网络层对应的量化比特位，所述量化比特位为基于网络层在前向推理时的模拟功率确定；量化处理模块，用于在每一轮训练过程中，基于所述对应的量化比特位对所述多个网络层分别进行量化处理，得到待调整模型；损失函数获取模块，用于并获取目标损失函数，所述目标损失函数为基于所述待压缩模型的损失函数以及新增的损失函数确定；参数更新模块，用于以及基于所述目标损失函数更新所述待调整模型的参数，直至满足预设条件。

第三方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面所述的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述第一方面所述的方法。

本申请提供的一种数据处理方法、装置、电子设备以及存储介质，通过获取待压缩模型，所述待压缩模型包括多个网络层；获取所述待压缩模型的每个网络层对应的量化比特位，所述量化比特位为基于网络层在前向推理时的模拟功率确定；在每一轮训练过程中，基于所述对应的量化比特位对所述多个网络层分别进行量化处理，得到待调整模型；并获取目标损失函数，所述目标损失函数为基于所述待压缩模型的损失函数以及新增的损失函数确定；以及基于所述目标损失函数更新所述待调整模型的参数，直至满足预设条件。从而通过上述方式实现了相比于传统的量化感知训练方法，根据待压缩模型的网络层对应的量化比特位对网络层进行量化处理，以及通过基于待压缩模型的损失函数以及新增的损失函数确定的目标损失函数对待调整模型的参数进行更新，使得量化感知训练后的量化误差更小，模型的推理精度也仍然在较好的范围内，同时也减小了模型的规模，进而减少了内存占用，提升了在内存资源受限的边缘设备上的部署的可能性。

附图说明