[发明专利]一种模型处理方法、联邦学习方法及相关设备

说明书

本申请实施例公开了一种模型处理方法，可以应用于模型训练与剪枝场景，该方法可以由客户端执行，还可以由客户端的部件(例如处理器、芯片或芯片系统等)执行，该方法包括：根据第一损失函数与训练数据训练神经网络模型，得到第一模型；基于第二损失函数以及约束条件对第一模型进行剪枝，以得到第二模型，约束条件用于约束第二模型的精度不低于第一模型的精度。在对第一模型进行剪枝的过程中，考虑基于数据损失函数的约束条件，相当于为第一模型的剪枝提供一个方向，使得剪枝得到的第二模型的精度不低于第一模型的精度，减少后续通过微调调整模型精度的步骤，从而在保证剪枝后模型的精度的同时提升模型剪枝过程的效率。

技术领域

本申请实施例涉及终端人工智能领域，尤其涉及一种模型处理方法、联邦学习方法及相关设备。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

目前，深度学习作为机器学习的主流分支之一应用广泛，但深度神经网络模型大、参数多以及其带来的计算、存储、功耗、时延等方面的问题阻碍了深度学习模型的产品化。为解决该问题，需要对深度神经网络进行简化。其中，剪枝技术应用最广，剪枝技术通过移除部分参数和模块实现对深度神经网络的压缩。经典的剪枝过程包括三个步骤，首先基于本地数据集完成对模型的训练，然后根据预设的规则对训练好的模型剪枝，最后还需要利用本地数据集对剪枝后的模型进行微调以避免模型精度损失太多。整个剪枝流程较为繁琐，效率较低。

发明内容

本申请实施例提供了一种模型处理方法及相关设备，该方法可以和联邦学习方法结合起来使用。在对第一模型进行剪枝的过程中，考虑基于数据损失函数的约束条件，相当于约束了第一模型的剪枝方向，使得剪枝得到的第二模型的精度不低于第一模型的精度，减少后续通过微调调整模型精度的步骤，从而在保证剪枝后模型的精度的同时提升模型剪枝过程的效率。

本申请第一方面提供了一种模型处理方法，可以应用于模型训练与剪枝场景，该方法可以由模型处理设备(例如客户端)执行，还可以由客户端的部件(例如处理器、芯片或芯片系统等)执行，该方法包括：获取包括标签值的训练数据；以训练数据为输入，根据第一损失函数训练神经网络模型，得到第一模型，第一模型包括多个子结构，多个子结构中的每个子结构包括至少两个神经元；基于第二损失函数以及约束条件对第一模型进行剪枝，以得到第二模型，第二损失函数用于指示将多个子结构中的至少一个子结构进行剪枝，约束条件用于约束第二模型的精度不低于第一模型的精度，精度指示模型的输出值与标签值之间的差异程度。

其中，第一损失函数也可以理解为是数据损失函数，主要用于在使用数据训练模型的过程中评估模型的精度。第二损失函数可以理解为是稀疏损失函数，主要用于对模型进行稀疏(或称为剪枝)。子结构可以是神经网络模型的通道、特征图、网络层、子网络、或者预定义的由多个神经元组成的其他网络结构；当神经网络模型是卷积神经网络时，子结构还可以是卷积核。总之，一个子结构可以看作一个功能整体，在剪枝时对子结构进行剪枝，是指将该子结构包括的所有神经元都进行剪枝。

本申请实施例中，在对第一模型进行剪枝的过程中，考虑基于数据损失函数的约束条件，相当于约束了第一模型的剪枝方向，使得剪枝得到的第二模型的精度不低于第一模型的精度，减少后续通过微调调整模型精度的步骤，而且是对子结构进行剪枝，比对神经元逐个剪枝效率更高，从而在保证剪枝后模型的精度的同时提升模型剪枝过程的效率，得到的模型结构也更简洁。