[发明专利]联邦学习中的隐私去重方法、装置、设备及存储介质

说明书

本申请公开了一种联邦学习中的隐私去重方法、装置、设备及存储介质，涉及机器学习领域。该方法包括：获取第一数据集；将第一数据的第一数据标识发送至协助方设备，协助方设备存储的第二数据对应有索引关系；接收协助方设备发送的索引结果，索引结果是协助方设备在索引关系中基于第二数据标识对第一数据标识进行查询得到的结果，用于表示第一数据标识在索引关系中的排列次序；对索引结果进行聚合分析，得到第二数据集的数据去重统计结果。通过以上方式，能够在避免信息泄露的前提下，使得发起方设备无需获取协助方设备的对象数据，根据索引结果确定第二数据的部分数据信息。本申请可应用于云技术、人工智能、智慧交通等各种场景。

技术领域

本申请实施例涉及机器学习领域，特别涉及一种联邦学习中的隐私去重方法、装置、设备及存储介质。

背景技术

随着计算机技术的发展，联邦学习逐渐成为一个热门课题，联邦学习通过多方协作对数据进行加密分析。在保护用户隐私和数据安全的同时，解决了数据孤岛的问题。

相关技术中，通常采用聚合函数，由不同的数据拥有方对自身拥有的数据进行数据分析。例如，在对数据进行去重操作时，将数据进行分组。对于一个组内的数据，采用映射方法，对不同数据赋予相同的数据值，并根据键信息对数据进行去重操作，其中，去重操作的过程由不同的数据拥有方各自进行。

在上述方法中各个数据拥有方之间是相互独立的。出于隐私保护的原因，不同数据拥有方无法直接将原始数据发送至其他数据拥有方，当某个数据拥有方需要对其他数据拥有方的数据信息进行去重分析时，无法实现保密分析过程。

发明内容

本申请实施例提供了一种联邦学习中的隐私去重方法、装置、设备及存储介质，能够使得发起方设备无需获取协助方设备的对象数据，即可根据协助方设备发送的索引结果，确定第二数据集中第二数据的部分数据信息，在避免数据泄露的前提下，实现了数据去重统计过程。针对本申请训练得到的联邦学习中的隐私去重方法。所述技术方案如下。

一方面，提供了一种联邦学习中的隐私去重方法，所述方法包括：

获取第一数据集，所述第一数据集中的第一数据对应有第一数据标识，所述第一数据标识用于唯一指示所述第一数据；

将所述第一数据的第一数据标识发送至协助方设备，所述协助方设备存储有第二数据集，所述第二数据集中包括至少一个第二数据的第二数据标识与所述第一数据标识匹配，所述第二数据对应有索引关系，所述索引关系是对所述第二数据排列得的顺序关系；

接收所述协助方设备发送的索引结果，所述索引结果是所述协助方设备在所述索引关系中基于所述第二数据标识对所述第一数据标识进行查询得到的结果，所述索引结果用于表示所述第一数据标识在所述索引关系中的排列次序；

对所述索引结果进行聚合分析，得到所述第二数据集的数据去重统计结果，所述数据去重统计结果是针对所述索引结果进行去重后统计得到的结果。

另一方面，提供了一种联邦学习中的隐私去重方法，所述方法包括：

接收第一数据标识，所述第一数据标识用于唯一指示第一数据，所述第一数据是发起方设备中第一数据集中的数据；

基于协助方设备存储的第二数据集中的第二数据，确定所述第二数据对应的索引关系，所述第二数据集中包括至少一个第二数据的第二数据标识与所述第一数据标识匹配，所述索引关系是对所述第二数据排列得到的顺序关系；

在所述索引关系中基于所述第二数据标识对所述第一数据标识进行查询，得到索引结果；

将所述索引结果发送至所述发起方设备，所述发起方设备用于基于所述索引结果确定所述第二数据集的数据去重统计结果。

另一方面，提供了一种联邦学习中的隐私去重装置，所述装置包括：