[发明专利]一种用于联邦学习的图形化模型全生命周期建模方法

说明书

本发明提出了一种用于联邦学习的图形化模型全生命周期建模方法，包括：建模前对数据样本进行分析，确定联邦学习方案；根据联合分析运算结果，拟定建模策略；采用拖拉拽方式，利用联邦特征工程手段对数据进行处理；联邦模型训练过程：双方分别构建模型后，交换计算得到的中间态模型和损失函数；对联邦模型进行预测使用；对联邦模型的运行过程进行监控，得到模型监控统计指标，实现对联邦模型的维护迭代。本发明通过图形化增加联邦学习建模各步骤中的人员可参与优化点、降低人员参与优化难度，并提供后期模型应用维护的途径，提升联邦学习技术的应用场景和易用性。

技术领域

本发明涉及数据处理技术领域，特别涉及一种用于联邦学习的图形化模型全生命周期建模方法。

背景技术

联邦学习是一种很好的连接数据孤岛得出优质模型的方式。目前联邦学习的成熟技术不多，已有技术主要致力于解决建模过程中的同态、半同态加解密问题。然而由于参与联邦的多方数据需要互相保密，由此所涉及到的联邦样本基础统计信息交换、联邦建模策略拟定、联邦特征工程、联邦模型训练、联邦模型的预测使用、联邦模型的维护迭代等都是联邦成员能使用优质模型的关键。其中每一步又涉及到加密、信息交换、加工运算、策略拟定、得出结论的过程。

目前已有技术对与这些步骤或拆分不足，使得很多步骤只能使用框架默认设定而不能人工参与优化模型；或模型构建过程中某些步骤如分箱调整无法实现人工干预；或对模型训练过程约束过多，导致无法人工调整优化使得模型效果不佳；或模型训练框架较成熟的sk-learn等传统建模框架训练效果差异过大；或可实现的模型类型限制于LR、BOOST模型；或采用“调试后台”类的交互方式，需要使用者不仅有专业的风控建模能力，还需要对其中用到的各类软件框架非常熟悉，能够读懂晦涩的调试日志；或模型后期应用、维护困难。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种用于联邦学习的图形化模型全生命周期建模方法。

为了实现上述目的，本发明的实施例提供一种用于联邦学习的图形化模型全生命周期建模方法，包括如下步骤：

步骤S1，建模前对数据样本进行分析，确定联邦学习方案，参与方上传原始数据到建模平台的本地客户端后进行同态加密，加密完成后，其他参与方通过平台请求与该参与方数据进行联合分析运算，其中，其他参与方仅能得到联合分析运算结果，而不会直接获取参与方上传的原始数据；所述联合分析运算结果以图表形式通过可视化界面呈现；

步骤S2，根据联合分析运算结果，拟定建模策略，包括对数据进行的处理、加工、衍生、算法选择的过程；

步骤S3，采用拖拉拽方式，利用联邦特征工程手段对数据进行处理，包括：在运算时，目标变量Y标签的所属方先获取对方同态加密后的X维度，进行第一次信息交换；然后进行数据运算，将运算结果返回对方进行分析调试，进行第二次信息交换如此往复；

步骤S4，联邦模型训练过程：双方分别构建模型后，交换计算得到的中间态模型和损失函数，如此往复迭代；

步骤S5，构建完成联邦模型后，对所述联邦模型进行预测使用，其中，在预测使用过程中，参与方获知自己提供的数据变量的含义和权重，但无法获知其他参与方提供数据的含义，仅可获知其他参与方提供数据的权重；

步骤S6，对所述联邦模型的运行过程进行监控，得到模型监控统计指标，实现对联邦模型的维护迭代。

进一步，在所述步骤S1中，所述联邦学习方案包括：横向联邦、纵向联邦还是迁移联邦学习。

进一步，同态加密为对参与方上传的原始数据进行加密，无需解密即可实现对加密后的数据进行分析运算，获取分析运算结果，最后对分析运算结果进行解密；参与方和建模平台均允许在无法获知其他参与方的原始数据的基础上，对加密后的数据进行运算，以对应对方数据进行模型优化。