[发明专利]纵向联邦模型的训练方法、信息推荐方法、装置及设备在审
申请号: | 202111286816.1 | 申请日: | 2021-11-02 |
公开(公告)号: | CN114004366A | 公开(公告)日: | 2022-02-01 |
发明(设计)人: | 张德;陈行;彭南博 | 申请(专利权)人: | 京东科技控股股份有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06K9/62 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张娜;黄健 |
地址: | 100176 北京市北京经济*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 纵向 联邦 模型 训练 方法 信息 推荐 装置 设备 | ||
本申请提供一种纵向联邦模型的训练方法、信息推荐方法、装置及设备,该纵向联邦模型的训练方法包括:响应于用户的操作,获取操作产生的流式数据,对流式数据进行处理,生成纵向联邦模型的第一流式数据样本,根据预设时间段和第二电子设备中多个第二流式数据样本的用户标识,对多个第一流式数据样本进行样本对齐处理,并对多个对齐处理后的第一流式数据样本进行过滤处理,获取多个目标流式数据样本,使用多个目标流式数据样本对纵向联邦模型进行多轮训练,得到训练好的纵向联邦模型。该技术方案提高了纵向联邦模型的精确度和通过该纵向联邦模型得到的预测结果或分类结果的准确度,减少了训练时间,提高了流式数据样本存储的可靠性。
技术领域
本申请涉及机器学习技术领域,尤其涉及一种纵向联邦模型的训练方法、信息推荐方法、装置及设备。
背景技术
联邦学习框架是一种分布式的人工智能模型训练框架,联邦学习在无需共享用户数据的条件下,使得各个公司共同参与模型训练,有效的解决了数据孤岛问题,保证了数据的安全性。利用训练好的模型能够对用户的操作行为进行预测,从而为用户提供更好的服务,因此,如何对模型进行训练是关键。
以两个公司参与模型训练为例进行举例说明,两个公司分别为调用方和参与方,调用方的样本中拥有样本特征和样本标签,参与方的样本中拥有和调用方不同的样本特征。调用方和参与方首先需要基于加密的用户样本对齐技术确定双方的共同用户,分別获取共同用户对应的本地样本。调用方和参与方分别根据本地样本对本地的模型进行训练,更新模型的参数,直到损失函数收敛,从而得到训练好的模型。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:由于现有技术是使用预先收集并存储在本地的本地样本对模型进行训练,当本地样本数量较大时,其训练时间较长,且无法根据实时产生的流式数据对模型进行训练,模型的精确度较低,通过该模型得到的预测结果不准确。
发明内容
本申请提供一种纵向联邦模型的训练方法、信息推荐方法、装置及设备,以解决由于现有技术是使用预先收集并存储在本地的本地样本对模型进行训练,当本地样本数量较大时,其训练时间较长,且无法根据实时产生的流式数据对模型进行训练,模型的精确度较低,通过该模型得到的预测结果不准确的问题。
第一方面,本申请实施例提供一种纵向联邦模型的训练方法,所述纵向联邦模型的训练方法应用于第一电子设备,所述方法包括:
响应于用户的操作,获取所述操作产生的流式数据;
对所述流式数据进行处理,生成纵向联邦模型的第一流式数据样本,所述第一流式数据样本中包括样本标签,样本时间,至少一个样本特征和用户标识;
根据预设时间段和第二电子设备中多个第二流式数据样本的用户标识,对多个第一流式数据样本进行样本对齐处理,并对多个对齐处理后的第一流式数据样本进行过滤处理,获取多个目标流式数据样本;
使用所述多个目标流式数据样本对所述纵向联邦模型进行多轮训练,得到训练好的纵向联邦模型,所述纵向联邦模型用于根据用户的特征信息,获取所述用户的预测结果或分类结果。
在第一方面的一种可能设计中,所述生成联邦模型的第一流式数据样本之后,所述方法还包括:
利用哈希算法将所述第一流式数据样本的用户标识分别存储在预先建立的多个分区中;
相应的,所述根据预设时间段和第二电子设备中多个第二流式数据样本的用户标识,对多个第一流式数据样本进行样本对齐处理,包括:
获取每个分区中样本时间处于所述预设时间段中的多个第一用户标识;
接收所述第二电子设备发送的每个分区中的多个第二用户标识;
针对每个分区,将所述分区中的多个第一用户标识与获取的所述第二电子设备对应分区的多个第二用户标识进行样本对齐处理,获取多个目标用户标识;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东科技控股股份有限公司,未经京东科技控股股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111286816.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种新型甘蔗刮皮器
- 下一篇:一种外筒体结构及其安装内撑装置和制造工艺方法