[发明专利]一种联邦学习场景中的数据选择方法

权利要求书

1.一种联邦学习场景中的数据选择方法，其特征在于所述该方法包括过滤出和任务相关的用户和数据、训练前用户选择、训练过程中用户和数据选择、模型训练。

2.根据权利要求1所述的联邦学习场景中的数据选择方法，其特征在于所述任务相关用户和数据过滤为当一FL任务到达时，server首先通过计算每个用户C_k,k∈[K]的标签集Y_k＝{y_k|(x_k,y_k)∈D_k}和目标标签集Y的交集{(x_k,y_k)|y_k∈Y_k∩Y}，以过滤出拥有目标类别数据的用户。如果相交集中的样本数量超过目标模型的最小数量|{(x_k,y_k)|y_k∈Y_k∩Yv，则该用户是相关的，为了满足隐私保护的需求，我们使用隐私保护求交技术(PSI)。

3.根据权利要求1所述的联邦学习场景中的数据选择方法，其特征在于所述训练前用户选择：server使用基于点阵行列式(DPP)算法从相关用户集中进一步选择高质量用户集(用户下标集合Q)，以在预算约束B下最大化同质性和内容多样性：maxV(Q),s.t.,∑_{k∈Q,Q∈N′}b_k≤B.V(Q)是被选中的用户的质量价值。然后，server协调选定的用户以开始训练模型。在该模块中，主要分为以下步骤：

a)基于同质性用户选择：server优先选择那些数据分布均匀且类别不缺失的用户。以同质性为选择用户的指标时，V_μ(Q)＝∑_k∈Qμ_k，μ_k定义为用户k的数据分布和均匀分布之间的差异性，即：

为了保护隐私的计算μ_k，我们利用基于BGN的同态加密的高效安全的两方计算协议，让server和每个用户使用server的公钥共同计算。然后server通过贪婪地选择具有最大的用户，直到预算B用完，找到最佳用户集合。

b)基于多样性用户选择：server选择那些数据内容多样的用户参与模型训练。以内容多样性为选择用户的指标时，V(Q)＝ρ(D),D∪_k∈QD_k,其中S(v_i,v_j)是计算用户C_i,C_j间的相似性函数，比如欧式距离。Server贪婪地选择与当前用户集相似性最低的下一个用户。

为了计算数据集的内容多样性，首先需要提取数据的特征向量表达，我们使用深度学习模型提取特征，比如使用VGG-16网络提取图片的内容特征向量，然后去计算该用户所有数据的内容多样性。当该用户的数据量M较大，且特征向量维度l较高时，计算内容多样性开销很大O(M²l)，同时现有的计算方法需要直接接触到原始数据，因此我们提出了一种高效的隐私保护的内容多样性计算方法，该方法通过基于JL变换的低维向量来构建每个用户数据集的特征，并使用随机响应机制保护每个样本的隐私，主要分为以下步骤：

i.构建数据集内容草图：用户C_k本地生成内容特征向量φ_k＝{φ_k,i|i∈[U_k]}，然后server选择一个映射矩阵w将φ_k映射为一低维向量h(φ_k,i)＝sign(w·φ_k,i)。这种映射造成的失真降低了多样性的准确性，但一定程度上保护了用户映射向量的隐私，数据集D_K的内容向量草图是

ii.随机响应机制：为了进一步保护每个数据存在性的隐私，我们使用了随机响应机制来产生向量草图h(φ_k,i)的扰动向量表示以的概率为1，以的概率为0，并以1-f的概率为f是用户自定义的控制隐私程度的参数。然后用户使用扰动向量生成扰动草图并把发送给server，server使用扰动草图向量计算相似性并计算内容多样性至此，server计算内容多样性的开销降低了若干数量级，并且保护了用户的数据隐私。

C)基于点阵行列式用户选择：当同时考虑同质性和多样性时，用户选择问题被转化成DPP问题。用户C_i的同质性分数是μ_i，和用户C_j的相似性是S_ij，我们定义一半正定矩阵A_[N′]＝[A_ij]_i,j∈[N′]，A_ij＝u_iu_jS_ij，那么用户被选中的概率当同质性增加而相似性降低时，行列式增加，因此，基于DPP的选择倾向于选择具有均匀分布类别的用户，同时避免内容高度相似的用户。价值函数S_Q＝[S_ij]_i,j∈Q.我们将用户选择问题转化成log-子模问题，迭代地选中最大化P_A(Q∪{k})的用户C_k。