[发明专利]一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质

说明书

本发明提供了一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质。该方法包括：参与方通过获取服务器模型；根据服务器模型训练目标模型；在进行梯度更新时，对目标模型进行双目标优化训练；根据双目标优化训练的结果对目标模型进行目标模型收敛。服务器端通过接收来自加入联合学习的参与方上传的多个参与联合学习的模型；初始化多个模型；将模型采用基于数据量的加权平均聚合，以得到服务器模型。以解决现有技术中数据异构带来的模型参数不停振荡所导致的模型不收敛的问题。

技术领域

本公开涉及计算机应用技术领域，尤其涉及一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质。

背景技术

联合学习是可以用于支持多用户进行多方合作，并通过AI技术联合多方合作挖掘数据价值，建立智能联合建模。是可以建立基于联合学习的AI技术生态，充分发挥行业数据价值，推动垂直领域的场景落地。

在联合学习场景中，经常会遇到不同数据源(参与方之间的)数据分布不一致的情况及数据异构的情况，目前，由于联合学习通常采用基于各数据源的数据量的加权平均算法来构建下一轮各参与方模型更新的起点，无法有效处理联合学习中的数据异构问题，因此，如何高效地处理这种数据异构带来的模型参数不停振荡所导致的模型不收敛的问题成为急需解决的问题。

发明内容

有鉴于此，本公开实施例提供了一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质，以解决现有技术中数据异构带来的模型参数不停振荡所导致的模型不收敛的问题。

本公开实施例的第一方面，提供了一种基于相似度度量的数据异构处理方法，包括：

参与方获取服务器模型；

根据服务器模型训练目标模型；

在进行梯度更新时，对目标模型进行双目标优化训练；

根据双目标优化训练的结果对目标模型进行目标模型收敛。

本公开实施例的第二方面，提供了一种基于相似度度量的数据异构处理方法，包括：

服务器端接收来自加入联合学习的参与方上传的多个参与联合学习的模型；

初始化多个模型；

将模型采用基于数据量的加权平均聚合，以得到服务器模型。

本公开实施例的第三方面，提供了一种基于相似度度量的数据异构处理装置，包括：

获取模块，参与方用于获取服务器模型；

第一训练模块，用于根据服务器模型训练目标模型；

第二训练模块，用于在进行梯度更新时，对目标模型进行双目标优化训练；

调节模块，用于根据双目标优化训练的结果对目标模型进行目标模型收敛。

本公开实施例的第四方面，提供了一种基于相似度度量的数据异构处理装置，包括：

接收模块，服务器端用于接收来加入联合学习的自参与方上传的多个参与联合学习的模型；

初始化模块，用于初始化多个模型；

聚合模块，用于将模型采用基于数据量的加权平均聚合，以得到服务器模型。

本公开实施例的第五方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

本公开实施例的第六方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。