[发明专利]联邦学习建模的多环节自定义优化方法、装置、设备和存储介质

说明书

本发明提供了一种联邦学习建模的多环节自定义优化方法、装置、设备和存储介质。联邦学习建模的多环节自定义优化装置包括特征输入模块，特征工程模块，模型选择模块，超参数优化模块和模型训练模块。本申请提供的是一整套的优化方案，涵盖了特征工程优化、模型选择、超参数优化等环节，在模型训练的时候可以给使用方多种选择，能够用更高效的方式优化联邦模型，并得到更好的模型效果，节省算力资源和运行时间，可以解决隐私计算发起方调试模型时效率不高的问题。

技术领域

本发明涉及隐私计算领域，尤其涉及隐私计算发起方在联邦建模过程中的模型优化。

背景技术

在如今的大数据和人工智能时代，个人信息隐私保护成为人们广泛关注的焦点，关乎个人、企业乃至国家的利益，隐私计算技术随之应运而生。受限于法律法规、政策监管、商业机密、个人隐私等数据隐私安全上的约束，多个数据来源方无法直接交换数据，形成“数据孤岛”现象，制约着人工智能模型能力的进一步提高。在人工智能大数据应用的大背景下，近年来比较火热的联邦学习也是隐私计算领域主要推广和应用的方法。联邦学习(Federated Learning)是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练。

传统优化模型超参数搜索的方法有网格搜索(GridSearchCV)、随机搜索(RandomizedSearchCV)、遗传算法(GA)。对于联邦模型优化过程中的超参数选择问题，几种方法普遍存在的问题是：

1.对于网格搜索，我们要对每个超参数提前列出可能选择的超参值，多个超参数形成各种组合。如果超参值过多，组合情况就非常大，计算时间会指数级上升，如果超参值过少，又很难找到效果好的超参值。

2.遗传算法的主要缺点是收敛速度慢，并且无确定的终止准则。在联邦学习中，计算时间会更久。

3.随机搜索在搜索最优超参数效率上比网格搜索相对提升了超参数搜索效率，但效果提升有限。它的过程和网格搜索类似，但不是尝试所有的可能组合，而是选择每一个超参数的一个随机值，这样通过设定搜索次数，选择相对较少的参数组合，同时又能多探索每个超参数的可能性。

隐私计算发起方在应用联邦建模过程中，由于联邦学习消耗的计算资源和时间比较多，可能出现训练模型时间过长，或者达不到很好的模型效果。

发明内容

为了克服上述技术缺陷，本发明的第一个方面提供一种联邦学习建模的多环节自定义优化方法，其包括：

步骤S1：从多个拥有本地数据的数据源获取原始特征数据；

步骤S2：对原始特征数据进行特征工程，特征工程包括特征清洗、特征预处理、特征选择以及特征降维，所述特征清洗选自删除异常值、补充缺失值或者控制采样比例中的一种或多种，所述特征预处理选自归一化、标准化、onehot中的一种或多种，所述特征选择基于IV或VIF，所述特征降维基于PCA或LDA；

步骤S3：选择LightGBM、纵向神经网络或Logistic Regression作为模型；

步骤S4：采用贝叶斯优化库中的HpyerOpt或Optuna对步骤S3中选择的模型进行超参数优化，从而确定最优超参数组合；

步骤S5：将步骤S2筛选出的特征数据和步骤S4获得的最优超参数组合代入步骤S3中选择的模型并训练模型，从而得到优化后的联邦学习模型。

进一步地，联邦学习建模的多环节自定义优化方法进一步包括：步骤S6：对比上一次优化后的联邦学习模型与步骤S5获得的优化后联邦学习模型，覆盖并保存效果最优的联邦学习模型，输出当前效果最优的联邦学习模型。