[发明专利]数据处理方法、装置、系统和服务器有效
申请号: | 202010974506.8 | 申请日: | 2020-09-16 |
公开(公告)号: | CN112132198B | 公开(公告)日: | 2021-06-04 |
发明(设计)人: | 王雪;霍昱光;李武璐;权纯;赵亮;孙昊;刘春伟;冯昊皓 | 申请(专利权)人: | 建信金融科技有限责任公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F16/27;G06F21/62;G06F21/64 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 贾磊;李辉 |
地址: | 200120 上海市自由*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 系统 服务器 | ||
1.一种数据处理系统,其特征在于,包括:中间服务器、监管服务器和多个终端设备,其中:
所述多个终端设备中的第一终端设备发起模型训练请求;其中,所述模型训练请求用于请求联合训练目标模型;所述第一终端设备拥有第一数据源,所述第一数据源包含有与第一数据标识对应的第一特征数据;
所述第一终端设备获取与多个待定的终端设备联合训练的价值评估结果;其中,所述待定的终端设备为所述中间服务器根据所述模型训练请求匹配得到的;所述价值评估结果包括待定的终端设备所拥有的数据源对于目标模型训练的边际预测效果提升参数的检验结果;
所述第一终端设备根据所述多个待定的终端设备联合训练的价值评估结果,从所述多个待定的终端设备中确定出满足要求的第二终端设备;其中,所述第二终端设备拥有第二数据源,所述第二数据源包含有与第二数据标识对应的第二特征数据;
所述第一终端设备根据所述第一数据源,获取对应的第一数据证明,并将所述第一数据证明上传至区块链上;所述第二终端设备根据所述第二数据源,获取对应的第二数据证明,并将所述第二数据证明上传至区块链上;
所述第一终端设备根据相匹配的联合训练规则在本地基于所述第一数据源,与所述第二终端设备根据相匹配的联合训练规则在本地基于所述第二数据源进行联合训练,得到目标模型;所述第一终端设备和所述第二终端设备还将联合训练过程中的关联数据上传至区块链上;
所述监管服务器在被触发的情况下,从区块链上获取所述关联数据,并根据所述关联数据重建联合训练过程;根据重建的联合训练过程检测联合训练过程中是否存在风险行为。
2.根据权利要求1所述的数据处理系统,其特征在于,所述数据处理系统应用于构建数据交互平台,所述数据交互平台支持终端设备在保护数据隐私的情况下进行多种数据交互操作;其中,所述数据交互操作包括以下至少之一:联合建模、联合查询、联合运算、发布数据源的介绍信息。
3.一种数据处理方法,其特征在于,所述方法应用于第一终端设备,所述方法包括:
发起模型训练请求;其中,所述模型训练请求用于请求联合训练目标模型;所述第一终端设备拥有第一数据源,所述第一数据源包含有与第一数据标识对应的第一特征数据;
获取与多个待定的终端设备联合训练的价值评估结果;其中,所述待定的终端设备为根据所述模型训练请求匹配得到的;所述价值评估结果包括待定的终端设备所拥有的数据源对于目标模型训练的边际预测效果提升参数的检验结果;
根据所述多个待定的终端设备联合训练的价值评估结果,从所述多个待定的终端设备中确定出满足要求的第二终端设备;其中,所述第二终端设备拥有第二数据源,所述第二数据源包含有与第二数据标识对应的第二特征数据;
根据所述第一数据源,获取对应的第一数据证明,并将所述第一数据证明上传至区块链上;
根据相匹配的联合训练规则在本地基于所述第一数据源,与所述第二终端设备在本地基于所述第二数据源进行联合训练,以得到目标模型;并将联合训练过程中的关联数据上传至区块链上。
4.根据权利要求3所述的方法,其特征在于,所述联合训练过程中的关联数据包括以下至少之一:调度日志、加密后的交互数据、加密后的训练结果。
5.根据权利要求4所述的方法,其特征在于,所述相匹配的联合训练规则包括:基于横向联邦学习的联合训练规则、基于纵向联邦学习的联合训练规则,或基于联邦迁移学习的联合训练规则。
6.根据权利要求5所述的方法,其特征在于,在确定所述相匹配的联合训练规则为基于纵向联邦学习的联合训练规则的情况下,所述调度日志包括:第一终端设备的第一类调度日志和第二类调度日志;所述加密后的交互数据包括:第二密文数据、加密后的第一模型参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于建信金融科技有限责任公司,未经建信金融科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010974506.8/1.html,转载请声明来源钻瓜专利网。