[发明专利]一种基于知识蒸馏的面向设备异构的联邦学习方法

说明书

本发明属于数据信息隐私保护技术领域，具体为一种基于知识蒸馏的面向设备异构的联邦学习方法。本发明涉及的系统包括K个客户端、1个服务器；每个客户端上有一个分类模型；为高效地进行客户端模型表示层之间知识蒸馏，把每轮通信分为服务器训练阶段和本地训练阶段；在服务器训练阶段，首先以推断样本低维表示的后验分布为目标在服务器上建立生成模型，然后把训练好的生成模型传递给客户端；在本地训练阶段，客户端一方面用私有样本计算任务损失，一方面用生成模型输出的均值样本计算调优表示层的损失。这样在多轮迭代之后，各个客户端可以得到比传统训练方法精度更高的模型。

技术领域

本发明属于数据信息隐私保护技术领域，具体涉及一种面向设备异构的联邦学习方法。

背景技术

随着数据量的快速增加，以及出于隐私保护的需求，联邦学习已经发展成为一个非常有前景的方向。联邦学习一般由许多仅能访问私有数据的客户端以及一个可以协调学习过程而不能访问任何原始数据的中央服务器构成。它的目标是在不显式地分享私有数据的前提下，利用分布存储的数据在中央服务器上训练一个全局模型。这种方法面临的一个挑战是数据异构，当各个客户端拥有的数据分布不同时模型的性能会下降。现有的解决数据异构问题的方法大多基于梯度的整合，必须在本地模型同构的条件下进行。

本发明申请专注于设备异构的联邦学习问题。在这个问题背景下，各个客户端的存储、计算和通信能力的不同，造成本地模型的结构也会不同，现有方法会遇到严峻的挑战。在一些实际的联邦学习场景中，需要在硬件差异很大的设备上训练。当模型结构设计的较复杂时，资源较少的设备无法参与训练；当模型结构较简单时，另一些资源充足的设备又未充分利用。

为此，本发明提出一种基于知识蒸馏的联邦学习算法，它允许每个客户端建立个性化模型，可以同时解决模型异构和数据异构两种挑战。算法把每轮通信分为两个阶段，在服务器训练阶段，首先以推断样本低维表示的后验分布为目标在服务器上建立生成模型，然后把训练好的生成模型传递给客户端；在本地训练阶段，客户端一方面用私有样本计算任务损失，一方面用生成模型输出的均值样本计算调优表示层的损失。这样在多轮迭代之后，各个客户端可以得到比传统训练方法精度更高的模型。

发明内容

本发明的目的在于提出一种面向设备异构的联邦学习方法，以便在客户端资源差异很大的场景下进行联邦学习，从而为挖掘数据信息提供有力保障。

本发明提出的面向设备异构的联邦学习方法，是基于知识蒸馏技术的；其涉及的系统包括有K个客户端、1个服务器；其中；

每个客户端上有1个根据软硬件资源设置的分类模型，客户端的分类模型划分为表示层和决策层，表示层用于把样本映射为低维表示，决策层用于把低维表示映射为概率向量；客户端之间知识蒸馏的目标函数定义式：

其中，K是客户端数量；X_k是第k个客户端的私有数据集，x、y是样本和标签；L_k是分类任务的损失函数；φ(·)是客户端模型的决策层函数，f_k(·)是客户端模型的表示层函数，θ_k是表示层参数；γ是超参数；各个客户端上的分类模型的表示层结构和参数不同，而决策层的结构和初始化参数均相同。

所述服务器上设置1个生成模型，由共享输入的均值函数和方差函数构成。系统的目标是高效地求解(1)式，为此，本发明方法把每轮通信分为两个阶段：服务器训练阶段和本地训练阶段；在服务器训练阶段，首先以推断样本低维表示的后验分布为目标在服务器上建立生成模型，然后把训练好的生成模型传递给客户端；在本地训练阶段，客户端一方面用私有样本计算任务损失，一方面用生成模型输出的均值样本计算调优表示层的损失。这样在多轮迭代之后，各个客户端可以得到比传统训练方法精度更高的模型。

具体地：

在服务器训练阶段，服务器首先收集所有客户端模型的表示层；收集客户端采集的低维表示，组成集合Z。然后，用变分推断法求解后验分布具体地：