[发明专利]联邦学习模型训练方法、装置、终端设备及存储介质在审
申请号: | 201910733943.8 | 申请日: | 2019-08-08 |
公开(公告)号: | CN110428058A | 公开(公告)日: | 2019-11-08 |
发明(设计)人: | 程勇;李苏毅;刘洋;陈天健 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 方昊佳 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型训练 客户端 学习 存储介质 数据特征 训练数据 终端设备 特征维度 通信开销 应用场景 整体计算 复杂度 受限 | ||
本发明公开了一种联邦学习模型训练方法、装置、终端设备及存储介质,该联邦学习模型训练方法包括:获取各所述客户端所拥有的训练数据的数据特征;根据所述数据特征在各所述客户端生成相同特征维度的代用数据;基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。本发明解决了纵向联邦学习对联邦学习模型进行模型训练时,整体计算复杂度高,并且各参与者之间通信开销大,从而造成联邦学习的应用场景受限的技术问题。
技术领域
本发明涉及Fintech(金融科技)技术领域,尤其涉及一种联邦学习模型训练方法、装置、终端设备及存储介质。
背景技术
伴随着金融科技,尤其是互联网金融科技的快速发展,已经有越来越多的技术应用于金融领域,其中,联邦学习技术基于对用户隐私和数据的安全保障,正逐渐受到越来越多的重视。
联邦学习(federated learning)是指,通过联合不同的参与者(participant,或者party,也称为数据拥有者(data owner)、或者客户(client))进行机器学习建模的方法。在联邦学习中,参与者不需要向其它参与者和协调者(coordinator,也称为服务器(server),参数服务器(parameter server),或者聚合服务器(aggregation server))暴露自己所拥有的数据,因而联邦学习可以很好的保护用户隐私和保障数据安全,并可以解决数据孤岛问题。
然而,在现有的纵向的联邦学习(纵向联邦学习是在参与者的数据特征重叠较小,而用户重叠较多的情况下,取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合机器学习训练)中,因为不同参与者之间拥有的是不相同数据特征的数据,因此在各参与者每进行一次本地的模型训练之后,都需要各参与者交换各自的中间计算结果,特别是需要交换关于梯度信息的中间计算结果,由于在纵向联邦学习中,交换梯度信息等中间计算结果的步骤是必须的,而且会显著增加纵向联邦学习模型训练的计算复杂度和通信开销,如此便限制了纵向联邦学习的应用场景。
发明内容
本发明的主要目的在于提供一种联邦学习模型训练方法、装置、终端设备及存储介质,旨在解决,纵向联邦学习对联邦学习模型进行模型训练时,计算复杂度高,并且通信开销大,从而造成联邦学习的应用场景受限的技术问题。
为实现上述目的,本发明提供一种联邦学习模型训练方法,所述联邦学习模型训练方法应用于联邦学习系统,所述联邦学习系统包括多个客户端,所述联邦学习模型训练方法包括以下步骤:
获取各所述客户端所拥有的训练数据的数据特征;
根据所述数据特征在各所述客户端生成相同特征维度的代用数据;
基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。
可选地,所述根据所述数据特征在各所述客户端生成相同特征维度的代用数据的步骤,包括:
检测全部所述训练数据的所述数据特征中,不同于当前所述客户端所拥有训练数据的第一数据特征的第二数据特征;
根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据。
可选地,所述根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据的步骤,包括:
在当前所述客户端,调用数据生成模型生成与所述第二数据特征对应的待确认数据;
在拥有所述第二数据特征对应训练数据的所述客户端,调用数据判别模型将所述待确认数据确定为与所述第二特征维度对应的代用数据。
可选地,所述调用数据判别模型,将所述待确认数据确定为与所述第二特征维度对应的代用数据的步骤,包括:
调用所述数据判别模型检测所述待确认数据是否符合预设要求;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910733943.8/2.html,转载请声明来源钻瓜专利网。