[发明专利]一种空气分离装置自动变负荷系统中联邦增量学习方法

权利要求书

1.一种空气分离装置自动变负荷系统中联邦增量学习方法，其特征在于：包括如下步骤：

步骤1：搭建联邦增量学习模块，包括如下步骤：

步骤1.1：自建数据集，将自建数据集每类都随机分为2份，按照类别增量发到各本地客户端；各本地客户端对自建数据集按照2类进行增量学习；

步骤1.2：客户端先用固定数量的类1的样本进行训练得到局部模型参数，用联邦平均算法聚合局部模型参数到全局模型，并将聚合后的模型更新发回给客户端，重复进行这一过程，直至模型收敛、达到最大迭代次数或者达到最大训练时间，保存此时的全局模型参数，将这一步骤作为预训练；

步骤1.3：将预训练的全局模型参数分发给客户端，客户端用类1的剩余样本进行训练；训练结束后，将第t次通信时的客户端模型参数发送给服务器，服务器将融合后的客户端模型参数发送给客户端；

步骤1.4：客户端再用类2样本和部分旧数据组成训练集进行训练，使用特征提取器对新旧数据提取特征向量，并计算各自的平均特征向量，通过最近均值分类算法计算出新旧数据的预测值，将预测值带入蒸馏和分类损失结合的损失函数进行优化，得到t+1次通信时的客户端模型参数，将其发送给服务器，以此迭代到全部类增量学习完毕；

步骤2：搭建联邦学习双重注意力机制模型，包括如下步骤：

步骤2.1：搭建卷积层，采用卷积神经网络，对输入图像用卷积神经网络进行特征提取得到矩阵U；在本地加入通道注意力机制；

步骤2.2：进行激励操作，捕捉通道间的相关性；

步骤2.3：将通道注意力权重通过Scale乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征图的重标定；

步骤2.4：在全局模型聚合时引入特征注意力机制进行客户端的模型聚合，通过捕捉多个局部模型中的神经网络分层的重要性，提高模型性能。

步骤2.5：用分层软注意力的方法捕获多个局部模型中的神经网络分层重要性，将其作为特征注意力聚合到全局模型；

步骤2.6：客户端模型的重要性权重通过分层软注意力的方法进行计算，将服务器端的模型作为一个query值,客户端模型作为key值，计算神经网络中每一层的注意分数；

步骤2.7：由于增量学习时，模型最后一层全连接输出的神经元数为数据集类别数，是动态变化的，导致加载此时的局部模型参数到服务器端，与上一次通信时的全局模型共同计算每一层注意力分数时会出现权重不匹配的问题，因此在计算每一层注意力分数之前，所有客户端模型中最后一层全连接层的权重需要做平均处理，之后将其赋值给上一次通信的全局模型的最后一层参数。

2.根据权利要求1所述的空气分离装置自动变负荷系统中联邦增量学习方法，其特征在于：步骤1.1中，所述的数据集中包括有学习率、权重衰减系数、训练批量、本地客户端个数。

3.根据权利要求2所述的空气分离装置自动变负荷系统中联邦增量学习方法，其特征在于：步骤1.1中，采用随机梯度下降作为学习率，初始学习率为0.2，权重衰减系数设置为0.00001，训练批量大小为128。

4.根据权利要求1所述的空气分离装置自动变负荷系统中联邦增量学习方法，其特征在于：步骤2.1中，通道注意力机制包含有压缩，压缩是将每个二维特征通道变成一个实数F_压缩(u_c)，具体如下式所示：

其中，u_c是矩阵U中第c个二维矩阵，下标c表示通道数，利用全局池化，将大小为H×W×C的输入特征压缩为1×1×C向量，当前通道数为16。

5.根据权利要求1所述的空气分离装置自动变负荷系统中联邦增量学习方法，其特征在于：步骤2.2中，通道间的相关性F_激励(z,W)，具体如下式所示：

F_激励(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))，

其中，δ是ReLU函数，σ是Sigmoid函数，激励操作中使用两个全连接层，将r＝2作为缩放参数，可以减少通道个数从而降低计算量。