[发明专利]基于注意力机制的联合学习方法、装置、计算机设备及计算机可读存储介质

说明书

本发明提供了一种基于注意力机制的联合学习方法、装置、计算机设备及计算机可读存储介质。该方法包括：接收参与方上传的多个参与方模型；根据参与方模型，分别确定查询参数矩阵和关键值矩阵；确定每一个查询参数矩阵与多个关键值矩阵之间的差异度；利用差异度，对参与方模型进行本地更新，以得到新的参与方模型。以解决在联合学习中，各方数据相互割裂，难以直接度量数据之间的具体差异，而导致数据分配不均的问题。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种基于注意力机制的联合学习方法、装置、计算机设备及计算机可读存储介质。

背景技术

在联合学习场景中，经常会遇到不同数据源(参与方之间的)数据分布不一致的情况，现有技术基于各方数据量的差异来进行加权求和，忽视了数据分布之间的差异。在联合学习中，各方数据相互割裂，难以直接度量数据之间的具体差异。

发明内容

有鉴于此，本公开实施例提供了一种基于注意力机制的联合学习方法、装置、计算机设备及计算机可读存储介质，以解决现有技术中数据分布不一致的情况的问题。

本公开实施例的第一方面，提供了一种基于注意力机制的联合学习方法，包括：

接收参与方上传的多个参与方模型；

根据参与方模型，分别确定查询参数矩阵和关键值矩阵；

确定每一个查询参数矩阵与多个关键值矩阵之间的差异度；

利用差异度，对参与方模型进行本地更新，以得到新的参与方模型。

本公开实施例的第二方面，提供了一种基于注意力机制的联合学习装置，包括：

接收模块，用于接收参与方上传的多个参与方模型；

确定模块，用于根据参与方模型，分别确定查询参数矩阵和关键值矩阵；

计算模块，用于确定每一个查询参数矩阵与多个关键值矩阵之间的差异度；

更新模块，用于利用差异度，对参与方模型进行本地更新，以得到新的参与方模型。

本公开实施例的第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本公开实施例与现有技术相比存在的有益效果是：通过接收参与方上传的多个参与方模型；根据参与方模型，分别确定查询参数矩阵和关键值矩阵；确定每一个查询参数矩阵与多个关键值矩阵之间的差异度；利用差异度，对参与方模型进行本地更新，以得到新的参与方模型。以解决在联合学习中，各方数据相互割裂，难以直接度量数据之间的具体差异，而导致数据分配不均的问题。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本公开实施例的应用场景的场景示意图；

图2是本公开实施例提供的一种基于注意力机制的联合学习方法的流程图；

图3是本公开实施例提供的一种基于注意力机制的联合学习装置的框图；

图4是本公开实施例提供的一种计算机设备的示意图。

具体实施方式