[发明专利]优化业务模型的方法及装置

说明书

本说明书实施例提供一种优化业务模型的方法及装置，适用于多个数据方基于隐私保护联合训练业务模型情况下，辅助确定业务模型的参数集的服务方。其中，业务模型的参数集用于描述其模型结构及至少一个超参数。该方法的一个实施方式包括：向各个数据方下发业务模型的当前参数集，以供各个数据方共同训练当前参数集对应的业务模型，并分别确定各自对应的模型局部性能，然后对各个数据方分别确定的各模型局部性能进行融合，得到针对当前参数集的当前全局性能，再利用当前全局性能和当前参数集、历史参数集与历史全局性能之间的关联关系，从而以最大化全局性能为目标，更新当前参数集。该实施方式有利于挖掘更有效的业务模型。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及基于隐私保护的联合训练业务模型过程中，优化业务模型的网络结构以及训练过程中的超参数的方法和装置。

背景技术

计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习是一种在保护隐私数据情况下进行联合建模的方法。例如，企业与企业之间需要进行合作安全建模，可以进行联邦学习，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。在联邦学习场景中，各方例如可以商定模型结构(或约定模型)后，各自使用隐私数据在本地进行训练，并将模型参数使用安全可信的方法进行聚合，最后各方根据聚合后模型参数改进本地模型。联邦学习实现在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。

相比于其它机器学习模型，联邦学习中存在一些需要对各方进行约束的超参数，例如：训练成员本地更新次数、进行模型聚合的训练成员个数等。由于模型的超参数和模型结构对模型性能具有决定性的影响，因此针对不同的联邦学习任务，需要采用不同的模型及其对应的超参数和模型网络结构。特别地，针对非独立同分布数据集，对于大量训练成员参与的联邦学习系统，超参数的搜索空间会呈指数级扩大，可能进一步增加整体的训练时间。因此，如何优化各种超参数或网格结构，是联邦学习过程中至关重要的技术问题。

发明内容

本说明书一个或多个实施例描述了一种优化业务模型的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供了一种优化业务模型的方法，适用于多个数据方基于隐私保护联合训练业务模型情况下，辅助确定业务模型的参数集的服务方，所述业务模型用于处理业务数据，得到相应业务处理结果，所述业务模型的参数集用于描述其模型结构和/或至少一个超参数；所述方法包括：向各个数据方下发所述业务模型的当前参数集，以供各个数据方联合训练所述当前参数集对应的当前业务模型，并各自确定所述当前业务模型在本地的局部性能；对各个数据方分别确定的各局部性能进行融合，得到针对所述当前参数集的当前全局性能；基于所述当前全局性能、所述当前参数集，以及历史全局性能和历史参数集，以最大化全局性能为目标，更新所述当前参数集。

在一个实施例中，初始的历史全局性能包括通过N次相互独立的全局性能采样操作得到的N个采样性能，所述N个采样性能与N个采样参数集一一对应，单次全局性能采样操作包括：初始化所述业务模型的第一采样参数集；将所述第一采样参数集提供给各个数据方，以供各个数据方联合训练所述第一采样参数集对应的第一采样业务模型，并各自确定所述第一采样业务模型在本地的第一局部性能；对各个数据方分别确定的各第一局部性能进行融合，得到针对所述第一采样参数集的第一采样性能。

在一个实施例中，最大化全局性能通过贝叶斯优化方式实现，所述关联关系通过历史全局性能关于历史参数集的历史概率分布描述；所述基于所述当前全局性能、所述当前参数集之间的关联关系，以及历史全局性能和历史参数集，以最大化全局性能为目标，更新所述当前参数集包括：利用所述当前全局性能和所述当前参数集更新历史参数集与历史全局性能之间的历史概率分布；基于所述历史概率分布，以最大化全局性能为目标，更新所述当前参数集。

在一个实施例中，所述历史概率分布为历史采样性能针对历史参数集满足的正态分布，正态分布的均值由各个历史参数集的平均值确定，正态分布的方差由各个历史参数集的协方差确定。