[发明专利]保护数据隐私的双方联合训练业务预测模型的方法和装置在审
| 申请号： | 202010276696.6 | 申请日： | 2020-04-10 |
| 公开（公告）号： | CN111178549A | 公开（公告）日： | 2020-05-19 |
| 发明（设计）人： | 陈超超;王力;王磊;周俊 | 申请（专利权）人： | 支付宝（杭州）信息技术有限公司 |
| 主分类号： | G06N20/20 | 分类号： | G06N20/20;G06Q40/02 |
| 代理公司： | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人： | 陈婧玥;周良玉 |
| 地址： | 310000 浙江省杭州市*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本说明书实施例提供一种保护数据隐私的双方联合训练业务预测模型的方法和装置，其中双方各自拥有一部分特征数据。在模型迭代过程中，双方通过安全矩阵乘法，得到总的特征矩阵X与总的参数矩阵W的乘积结果的两个乘积分片。拥有标签的第二方对标签向量Y进行秘密分享，使双方得到两个标签分片。于是，双方各自根据持有的乘积分片和标签分片计算出对应的误差分片。然后双方基于各自的误差分片和特征矩阵，通过秘密分享和安全矩阵乘法，得到对应的梯度分片。然后，第一方利用其梯度分片更新其维护的参数分片，第二方利用其梯度分片更新其维护的参数分片。如此实现保护数据隐私的安全联合训练。 | ||
| 搜索关键词： | 保护 数据 隐私 双方 联合 训练 业务 预测 模型 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于支付宝（杭州）信息技术有限公司，未经支付宝（杭州）信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010276696.6/，转载请声明来源钻瓜专利网。
- 同类专利
- 联合模型的训练方法、装置、设备及存储介质-202310152852.1
- 张凡;蒋杰;刘煜宏;陈鹏;陈瑞钦;程勇 - 腾讯科技（深圳）有限公司
- 2023-02-08 - 2023-10-27 - G06N20/20
- 本申请公开了一种联合模型的训练方法、装置、设备及存储介质，属于人工智能领域。该方法包括：获取电路隐私集合求交之后的样本布尔分片、特征数据算术分片和标签算术分片；生成第t回归树时，根据标签算术分片和前t‑1个回归树的输出和值的算术分片，计算得到第一算术分片和第二算术分片；根据多个第一算术分片和多个第二算术分片，以及多个候选分裂点，得到多个第三算术分片和多个第四算术分片；进一步计算得到多个增益算术分片；明文恢复多个增益算术分片并确定出最大增益对应的目标分裂点；对左样本子集和右样本子集递归执行分裂操作，直至生成第t回归树；不断迭代生成回归树，直至得到K个回归树。该方法克服了相关技术中信息泄露的风险。
- 联邦学习模型的数据处理方法、装置、介质及程序产品-202210376011.4
- 杨猛 - 中国移动通信集团辽宁有限公司;中国移动通信集团有限公司
- 2022-04-11 - 2023-10-27 - G06N20/20
- 本申请公开了一种联邦学习模型的数据处理方法、装置、介质及程序产品。该方法包括：获取联邦学习模型的参与方发送的特征集合；针对每个特征子集，根据特征向量计算与各特征子集对应的样本标准差；根据特征子集和与其自身对应的样本标准差，计算离散偏离度集合，离散偏离度集合包括与各特征子集的特征向量一一对应的离散偏离度；对离散偏离度集合进行聚类处理，并根据聚类处理结果确定离散偏离度集合中的异常偏离度。根据本申请实施例，能识别除异常特征向量，从而可以对针对异常特征向量进行处理，以提高特征向量汇总计算的准确性。
- 一种数据交互方法、设备和计算机可读存储介质-202210349034.6
- 信伦;于路 - 中国移动通信有限公司研究院;中国移动通信集团有限公司
- 2022-04-01 - 2023-10-24 - G06N20/20
- 本申请实施例公开了一种数据交互方法，该方法包括：在基于训练数据对初始模型进行模型训练得到第一模型和第一模型参数之后，采用目标隐变量转换算法对第一模型参数进行处理得到第一转换数据并发送至协作节点；接收协作节点发送的目标转换数据，并采用目标隐变量转换算法对目标转换数据进行处理得到模型总参数；其中，目标转换数据是采用目标隐变量转换算法对基于第一模型参数和第二参与节点的第二模型参数得到的模型总参数处理后得到的；基于模型总参数对第一模型进行更新，并基于训练数据对更新后的第一模型进行模型训练直至得到目标模型。本申请实施例还公开了一种数据交互设备和计算机可读存储介质。
- 基于多同态属性的数据安全聚合方法及系统-202310842760.6
- 孙奕;陈性元;高琦;曹利峰;杨帆;张东巍 - 中国人民解放军战略支援部队信息工程大学
- 2023-07-10 - 2023-10-24 - G06N20/20
- 本发明涉及一种基于多同态属性的数据安全聚合方法及系统，用户利用种子作为隐私参数来生成随机掩码，通过随机掩码掩盖各用户隐私输入，利用临时密钥和全局公钥对隐私参数进行加密并将密文和被掩盖的隐私输入发送至聚合服务器；聚合服务器对接收到的各用户密文进行聚合并将聚合结果反馈用户；用户利用临时密钥、自身客户端私钥和服务器公钥对聚合结果进行转换计算并将转换计算结果发送给聚合服务器，聚合服务器利用服务器私钥解密转换结果，获取种子和，利用种子和得到随机掩码和，通过聚合被掩盖隐私输入来获取隐私输入和，利用隐私输入和减去随机掩码和得到联邦学习中全局参数。本发明可提高聚合效率，适用于大规模移动终端和物联网设备联邦学习。
- 一种基于模型拆分的混合联邦学习方法-202310298785.4
- 郭斌;古航;於志文;孙文;刘佳琪;梁韵基;王柱 - 西北工业大学
- 2023-03-24 - 2023-10-20 - G06N20/20
- 本发明公开了一种基于模型拆分的混合联邦学习方法，首先提出自适应模型拆分算法，对设备模型进行拆分，以减少模型传输带来的开销。其次基于拆分学习对设备参数进行优化，并提出多粒度模型聚合算法对不同层次的模型进行簇聚合。最后通过实验证明了本方法通过共享少量数据，在不降低全局模型精度的情况下，显著减少了系统中的数据传输量。
- 一种联邦学习系统、方法、装置、设备及存储介质-202210251368.X
- 彭欢;龚存阳 - 星环信息科技（上海）股份有限公司
- 2022-03-15 - 2023-10-20 - G06N20/20
- 本发明公开了一种联邦学习系统、方法、装置、设备及存储介质，包括：多个终端设备，各终端设备均具备可信执行环境，拥有初始模型的一个终端设备作为主动方，未拥有初始模型的各终端设备分别作为参与方；主动方向各参与方分别发送初始模型，并基于第一训练样本对初始模型进行模型训练得到第一训练模型；各参与方分别基于第二训练样本集对初始模型进行模型训练得到第二训练模型，将第二训练模型发送到主动方；主动方进行模型参数融合并更新初始模型的参数，将更新后的初始模型发送至各参与方，直到得到的目标模型，解决了现有联邦学习的流程复杂且效率低问题，降低了联邦学习的复杂度，提高了联邦学习的效率。
- 一种基于标签量信息的联邦学习节点选择方法及系统-202110471182.0
- 孙兴华;马嘉华;黄晓霞;詹文;王玺钧;陈翔 - 中山大学
- 2021-04-29 - 2023-10-17 - G06N20/20
- 本发明公开了一种基于标签量信息的联邦学习节点选择方法及系统，该方法包括：根据本地数据生成标签向量并通过加密矩阵对标签向量进行加密，得到加密后标签向量；根据计算资源估计单轮训练耗时，得到训练耗时估计；上传加密后标签向量与训练耗时估计并进行数据整合，得到整合后数据；基于整合后数据，在预设的最大通信耗时限制下，搜索标签组合分布最优的节点序列作为最终的被选客户节点序列。该系统包括：计算节点、加密中心和计算服务器。通过使用本发明，保证联邦学习的通信效率的同时，提高新节点选择方法的泛用性。本发明作为一种基于标签量信息的联邦学习节点选择方法及系统，可广泛应用于人工智能机器学习领域。
- 一种纵向联邦学习模型的训练方法及相关装置-202310880128.0
- 李鑫超 - 中国电信股份有限公司技术创新中心;中国电信股份有限公司
- 2023-07-18 - 2023-10-13 - G06N20/20
- 本申请公开了一种纵向联邦学习模型的训练方法及相关装置，涉及数据安全技术领域，用以提高纵向联邦学习模型对特征数据的利用能力，保证纵向联邦学习模型的整体性能，该方法包括：首先，获取任务发起方的第一数据样本以及数据提供方的第二数据样本，并基于第一数据样本以及第二数据样本，获得任务发起方与数据提供方的共有数据样本；然后，分别基于共有数据样本得到任务发起方对应的第一数据特征，以及数据提供方对应的第二数据特征；进一步，对第一数据特征和第二数据特征进行特征融合，得到融合数据特征；最后，基于第一数据特征、第二数据特征以及融合数据特征，对待训练的纵向联邦学习模型进行多次训练，得到目标纵向联邦学习模型。
- 一种满足参与方的个性化隐私保护需求的联邦学习方法和系统-202310707082.2
- 韩启龙;祝永杰;宋洪涛;卢丹;刘鹏 - 哈尔滨工程大学
- 2023-06-14 - 2023-10-13 - G06N20/20
- 一种满足参与方的个性化隐私保护需求的联邦学习方法和系统，涉及网络与信息安全技术领域。解决联邦学习场景中因服务器不可信而导致参与方隐私泄露的问题。所述方法包括：参与方选择隐私预算，隐私预算加密并发送给服务器；服务器接收隐私预算进行求和，服务器与参与方协作解密得隐私预算总和，并把总和发送给参与方；参与方将隐私预算与隐私预算总和相除得聚合权重；服务器把全局模型参数发送给参与方，根据参数进行训练获得本地模型；参与方将本地梯度与聚合权重相乘，之后进行梯度裁剪；对裁剪后参数进行扰动，并发送给服务器；服务器接收梯度参数并进行聚合生成全局模型。应用于隐私数据保护领域。
- 多任务并行的联合学习引擎架构系统-202310652973.2
- 张敏;高庆 - 新奥新智科技有限公司
- 2023-06-02 - 2023-10-13 - G06N20/20
- 本申请涉及一种多任务并行的联合学习引擎架构系统，包括：客户端组件和云服务组件，其中，客户端组件包括训练单元和多个客户端，分别用于基于预设的本地模型训练目标数据得到本地训练结果以及上传本地训练结果至云服务组件；云服务组件包括：同步服务单元，用于接收并同步本地训练结果至任务控制单元；任务处理库，用于存储多个联合学习任务，得到任务列表；任务消费单元，用于从任务列表中确定至少一个待执行联合学习任务；任务控制单元，用于执行至少一个待执行联合学习任务，并根据执行结果和本地训练结果匹配最佳引擎功能模块以对本地训练结果进行聚合处理，从而更新任务列表。由此，解决了因用户创建任务过多而需要排队等待等问题。
- 基于耦合机器学习和相关性分析的大气污染物溯源方法-202110926497.X
- 庞继伟;张栩;郭炜;李丽芬;高敏 - 中节能天融科技有限公司
- 2021-08-12 - 2023-10-13 - G06N20/20
- 本发明公开了一种基于耦合机器学习和相关性分析的大气污染物溯源方法，具体包括以下步骤：利用区域网格源时空污染物浓度数据，建立污染物浓度分布瞬态模型；利用高斯回归对网格源污染物浓度相关系数矩阵进行特征提取，耦合机器学习算法对污染物传输通道和污染源区域进行智能识别。本发明基于区域网格源时空污染物浓度数据的瞬态建模方式，并结合高斯回归和相关性分析的手段对污染物浓度时空相关性矩阵进行特征提取，解决污染物浓度的延时响应和时间窗口不确定的问题，并利用机器学的算法实现了模型训练数据的不间断更新，从而保证了溯源算法准确度的持续有效提升。
- 一种基于集成策略的地质灾害易发性评价方法及系统-202011042770.4
- 周永章;吉俊杰 - 中山大学
- 2020-09-28 - 2023-10-13 - G06N20/20
- 本发明公开了一种基于集成策略的地质灾害易发性评价方法及系统，该方法包括：获取地质灾害隐患点位置并绘制地质灾害位置图；根据地质灾害位置图构建Tin模型并转化为数字高程模型，得到栅格和对应的栅格数据；提取栅格数据中的相关特征并对栅格赋予ID号；根据预训练的集成模型对提取出的相关特征进行计算预测，得到预测数据；将预测数据与对应的栅格ID号连接，得到对应区域的灾害易发概率。该系统包括：图模块、模型模块、栅格模块、预测模块和匹配结果模块，通过使用本发明，可以提高区域灾害预测的准确率。本发明作为一种基于集成策略的地质灾害易发性评价方法及系统，可广泛应用于灾害预测领域。
- 模型训练方法、系统、客户端和服务器节点、电子设备和存储介质-202310928680.2
- 江军;王炜;陈世武 - 北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司
- 2023-07-26 - 2023-10-10 - G06N20/20
- 本申请提供模型训练方法、系统、客户端和服务器节点、电子设备和存储介质。该方法应用于客户端节点，该方法包括：获取服务器节点所发送的本轮训练周期的时间常量和全局模型聚合参数；利用全局模型聚合参数对客户端节点的局部模型的参数进行更新；根据时间常量与客户端节点在最近一轮训练周期中的训练时长的大小比较，确定客户端节点的节点类型，节点类型具体为快速节点或慢速节点；在客户端节点为快速节点的情况下，利用客户端节点的样本集对更新后的局部模型进行训练；在客户端节点为慢速节点的情况下，将样本集划分为n个非空子样本集，并从n个非空子样本集中选取出p个非空子样本集对更新后的局部模型进行训练，因此降低了计算资源的闲置。
- 一种基于谱聚类的鲁棒联邦学习异常客户端检测方法-202310899140.6
- 覃振权;孟维程;卢炳先;王雷;朱明 - 大连理工大学
- 2023-07-21 - 2023-10-10 - G06N20/20
- 本发明属于联邦学习异常检测领域，公开了一种基于谱聚类的鲁棒联邦学习异常客户端检测方法。服务器通过建立预测模型、计算局部模型与预测模型的余弦相似度构建无向图；计算无向图的拉普拉斯矩阵得到样本集；服务器采用基于K‑means的谱聚类方法切割样本集，将客户端划分为三类，并根据不同客户端类别分别计算信任分数；同时服务器采用基于行为的信任赎回机制对不同客户端进行不同的处理。本发明使用谱聚类对客户端进行准确划分并进行信任评估，采用基于行为的信任赎回机制动态调整客户端的信任值，避免了客户端被误判为恶意而被彻底隔离出联邦学习过程，充分利用了客户端的数据资源，保证了联邦学习过程的完整性，从而确保全局模型的精度。
- 一种通信高效的隐私保护个性化联邦学习方法-202310774409.8
- 陈思光;王倩;曾文骏;吴蒙 - 南京邮电大学
- 2023-06-28 - 2023-10-10 - G06N20/20
- 本发明公开了一种通信高效的隐私保护个性化联邦学习方法。本发明研究了一种基于特征融合相互学习的个性化联邦学习，可以通过在客户端对其共享模型、私有模型和融合模型进行交互训练来实现通信高效的个性化学习。具体地，只有共享模型与全局模型共享以减少通信成本，而私有模型可进行个性化设计，融合模型可以在不同阶段自适应地融合本地知识和全局知识。其次，为了进一步降低通信成本并增强梯度的隐私性，本发明设计了一种基于梯度压缩的隐私保护方法。该方法通过构建一种混沌加密循环测量矩阵，可以很好地实现隐私保护和轻量级压缩。此外，本发明还提出了一种基于稀疏性的自适应迭代硬阈值算法，以提高灵活性和重构性能。
- 基于聚类和知识蒸馏的可信个性化联邦学习方法和装置-202310899550.0
- 覃振权;刘瑞欣;卢炳先;王雷;朱明 - 大连理工大学
- 2023-07-21 - 2023-10-10 - G06N20/20
- 本发明属于联邦学习技术领域，公开一种基于聚类和知识蒸馏的可信个性化联邦学习方法和装置。首先，在云端协同下聚类将用户终端划分为多个聚簇，然后将各个聚簇进行局部聚合得到局部模型。其次，设计基于循环知识蒸馏的方法，以循环的方式对局部模型进行顺序训练，通过知识蒸馏提取公共知识。然后在用户终端对全局模型执行重学习的操作，有效恢复本地知识。进一步地，对于参数上传过程中可能存在的隐私泄露问题，发明设计一个基于洗牌算法的分布式差分隐私机制，通过在客户端与服务器端额外增加一次混合编码的步骤，允许用户只添加少量噪声就实现较高级别的隐私保护。本发明引入知识蒸馏和洗牌算法，在实现个性化训练的同时也提高了框架的安全性。
- 一种联邦学习方法、装置及联邦学习系统-202110722830.5
- 姜新;应志伟 - 海光信息技术股份有限公司
- 2021-06-28 - 2023-10-10 - G06N20/20
- 本申请的实施例公开了一种联邦学习方法、装置及联邦学习系统，涉及安全技术领域，为便于提高联邦学习过程中数据的安全性而发明。所述方法，包括：向数据参与方发送模型运行环境可执行镜像文件；向数据参与方发送参与方人工智能训练模型；通过虚拟机加载全局人工智能训练模型到第一安全隔离内存；第一安全隔离内存与所述中心服务器的CPU运行时所需的内存的运行环境相隔离；通过虚拟机接收数据参与方发送的中间迭代参数；中间迭代参数，由数据参与方利用本地数据集训练参与方人工智能训练模型得到；虚拟机根据所述中间迭代参数，计算全局模型参数，并基于全局模型参数判断全局人工智能训练模型的收敛是否符合预期值。本申请适用于训练人工智能模型。
- 高速车联网场景下的分层联邦学习聚合频率优化方法-202310838847.6
- 梁伟;郑旭哲;周晓康;黄素珍;崔雪松 - 湖南工商大学
- 2023-07-10 - 2023-10-03 - G06N20/20
- 本公开实施例中提供了一种高速车联网场景下的分层联邦学习聚合频率优化方法，属于数据处理技术领域，具体包括：初始化全局机器学习模型权重，并初始化云端服务器训练时间；下载全局机器学习模型权重,并获取云端服务器训练时间；每个边缘端通过数字孪生技术获取区域内车辆客户端的状态信息，并通过边缘端聚合频率优化算法选择最优聚合频率；每个车辆客户端从边缘端服务器下载机器学习模型的权重,并获取最优聚合频率；在训练时间内，客户端的机器学习模型根据最优聚合频率向边缘端服务器聚合；聚合成全局机器学习模型权重；通过DDPG模型计算其对应的函数并输出最优动作。通过本公开的方案，优化了通信次数和节约通信资源。
- 基于目标模型进行联合预测的方法和装置-202310788991.3
- 张兴盟;王磊 - 支付宝（杭州）信息技术有限公司
- 2023-06-29 - 2023-10-03 - G06N20/20
- 本说明书实施例提供一种基于目标模型进行联合预测的方法和装置，其中目标模型包括基于因子分解机FM的第一子模型，联合预测涉及第一方和第二方，第一方持有目标对象的若干项第一特征，第二方持有目标对象的其他特征。在该方法中，第一方可以获取FM模型的二阶组合参数中针对各项第一特征各自的k维参数；然后本地计算第一中间项和第二中间项，其中第一中间项包括k个中间值，任意第j中间值是各项第一特征对应的第j维参数的乘积之和，第二中间项包括，各项第一特征与各个维度参数值的乘积的平方之和。于是，第一方可以将基于第一中间项和第二中间项得到的第一中间结果发送给目标方，使其融合得到FM模型的输出。
- 纵向联邦学习方法、装置、电子设备及可读存储介质-202310282556.3
- 林宇;刘洋;吴烨 - 北京火山引擎科技有限公司
- 2023-03-21 - 2023-09-29 - G06N20/20
- 本公开涉及一种纵向联邦学习方法、装置、电子设备及可读存储介质，该方法中，多个参与方基于参与纵向联邦学习的共同样本训练随机森林模型时，针对随机森林模型包含的决策树上的待训练节点，多个参与方通过半同态加密技术对用于指示训练样本是否存在于待训练节点的标识进行加密，之后发送给对方，另一参与方在密文空间中进行计算所需的密文计算结果；此外，使用差分隐私技术对密文计算结果进行处理之后再反馈给对方，保证发布的密文计算结果的安全性，避免通过密文计算结果反推获得样本的相关信息，有利于提升样本的安全性。
- 基于双服务器架构的隐私保护可验证联邦学习方法-202311100506.5
- 杨明;郭金龙;吴晓明;王鑫;梁艳;陈振娅;穆超;徐硕;王雪丽;吴法宗 - 山东省计算中心（国家超级计算济南中心）;齐鲁工业大学（山东省科学院）
- 2023-08-30 - 2023-09-29 - G06N20/20
- 一种基于双服务器架构的隐私保护可验证联邦学习方法，属于人工智能的技术领域。包括：密钥生成中心、客户端、聚合服务器和辅助服务器；本发明采用中国剩余定理CRT对梯度进行压缩，并使用Paillier同态加密算法对本地梯度进行加密；同时，为避免单个服务器被攻陷成为恶意服务器，进而会威胁数据安全，本发明将聚合梯度和聚合哈希标签的计算过程分别分配给了聚合服务器AS和辅助服务器SS两个不同的服务器。本发明通过辅助服务器SS所聚合的哈希标签来辅助客户端验证聚合服务器AS聚合结果的正确性，为联邦学习训练模型的准确性提供了有效保障。
- 基于深度学习框架持续集成系统的任务处理方法及装置-202210845471.7
- 田硕;骆涛;吕志旺;蓝翔 - 北京百度网讯科技有限公司
- 2022-07-19 - 2023-09-29 - G06N20/20
- 本公开提供了基于深度学习框架持续集成系统的任务处理方法及装置，涉及深度学习技术领域，尤其涉及数据处理领域。具体实现方案为：获取待测试的编译结果，其中，编译结果由多个第一设备对待执行的目标任务进行编译处理后得到，多个第一设备中的每个第一设备上配置有第一处理芯片，第一处理芯片不具备加速功能；基于编译结果生成多个测试任务；在多个第二设备上对多个测试任务进行分布式并行测试，得到多个测试任务中每个测试任务对应的测试结果，其中，多个第二设备中的每个第二设备上配置有第二处理芯片，第二处理芯片具备加速功能。
- 部署联邦学习应用的方法、装置、系统和电子设备-202011306666.1
- 赵鹏;陈逸翔;李龙一佳;范德良;吴迪;刘小兵 - 脸萌有限公司
- 2020-11-18 - 2023-09-29 - G06N20/20
- 本公开实施例公开了部署联邦学习应用的方法、装置、系统和电子设备。该方法的一具体实施方式包括：检测容器集群中的预设设置信息接收容器是否接收到用于实现联邦学习应用的第一设置信息，第一设置信息包括功能模块信息、功能模块对应的环境变量；响应于检测结果为是，在容器集群创建并运行与功能模块信息所指示的各功能模块分别对应的容器，以使容器与对端容器集群中根据第一设置信息创建并运行的各容器共同实现联邦学习任务，其中容器集群为联邦学习任务的一方对应的容器集群，对端容器集群为联邦学习任务其他方对应的容器集群。实现了容器集群中自动根据联邦学习应用的设置信息在容器集群中部署联邦学习应用。
- 一种联邦学习模型的训练方法、装置及电子设备-202011621994.0
- 王佩琪;张文夕;顾松庠;薄列峰;孙孟哲 - 京东科技控股股份有限公司
- 2020-12-31 - 2023-09-26 - G06N20/20
- 本申请公开了一种联邦学习模型的训练方法、装置及电子设备，应用于服务端，该方法包括：如果训练节点满足预设分裂条件，则获取训练节点对应的目标分裂方式；其中，训练节点为多个提升树中一个提升树上的节点；通知客户端基于目标分裂方式进行节点分裂，并获取更新的训练节点；确定更新的训练节点满足停止训练条件，停止训练并生成目标联邦学习模型；获取验证集合，协同验证客户端对目标联邦学习模型进行验证，验证客户端为参与联邦学习模型训练的客户端中一个。由此，本申请通过将横向和纵向分裂方式进行混合，自动地选择匹配的学习方式的倾向性，无须关心数据分布方式，提升了联邦学习模型的性能，降低了模型的验证损失。
- 一种基于数据相似度聚合的电力数据分布式联邦学习系统及方法-202310320264.4
- 胡聪;雷霆;孙佳丽;卢锐轩;张翠翠;王双 - 国网安徽省电力有限公司信息通信分公司
- 2023-03-29 - 2023-09-22 - G06N20/20
- 本发明提出一种基于数据相似度聚合的电力数据分布式联邦学习系统，包括基于本地模型聚合的分布式联邦学习模型和基于模型数据相似度的联邦学习聚合过程，其中分布式联邦学习模型包括区块链网络和本地服务器(区块链节点服务器节点和模型计算服务器节点)，旨在将模型参数聚合工作转到本地服务器中进行，解决了传统联邦学习对中心服务器的依赖和模型单一的问题，实现本地模型个性化；基于模型数据相似度的联邦学习聚合方法利用余弦相似度计算参与者模型参数之间的相关度，确定模型聚合过程中所占权重，实现相似应用场景模型之间更多的学习。该方案满足数据隐私保护需求，有效提高了电力企业在负荷预测和故障诊断等不同应用场景下的安全性和准确性。
- 一种联邦学习的泛化调整方法及联邦学习系统-202310432186.7
- 王延峰;张瑞鹏;徐勤伟;姚江超;张娅 - 上海人工智能创新中心;上海交通大学
- 2023-04-20 - 2023-09-22 - G06N20/20
- 本发明公开一种联邦学习的泛化调整方法，其首先在本地终端计算泛化差异，然后在本地终端进行第r轮训练，得到第r轮次的本地模型，并将第r轮次的本地模型及泛化差异上传至服务器端，最后在服务器端进行全局模型参数聚合，得到第r+1轮次的全局模型。其可以最小化联邦学习训练过程中各个本地终端的泛化差异方差，进而有效地降低全局模型在跨域时的泛化误差，改善联邦领域的泛化问题。
- 使用同义资料的联邦学习方法-202210225728.9
- 许之凡;陈维超;张明清 - 英业达科技有限公司;英业达股份有限公司
- 2022-03-09 - 2023-09-22 - G06N20/20
- 本发明提供一种使用同义资料的联邦学习方法，包括：协调装置发送通用模型至每一客户装置，每一客户装置执行训练程序，包括：编码器将私有资料编码为摘要，依据私有资料、摘要及通用模型训练客户模型，及发送摘要及客户模型的客户参数至协调装置，协调装置判断客户装置中的缺席客户装置，以同义资料产生器依据缺席客户装置对应的摘要产生同义资料，协调装置依据同义资料及缺席客户装置对应的摘要训练替代模型，以及协调装置依据替代模型的替代模型参数及缺席客户装置以外的每一客户装置的客户参数执行聚合运算产生更新参数以更新通用模型；本发明通过在协调者合成代表性客户资料解决客户离开的问题。
- 使用同义资料的联邦学习系统-202210232854.7
- 许之凡;陈维超;张明清 - 英业达科技有限公司;英业达股份有限公司
- 2022-03-09 - 2023-09-22 - G06N20/20
- 本发明提供一种使用同义资料的联邦学习系统，包括协调装置及多个客户装置。每一客户装置包括编码器将私有资料编码为摘要，客户装置依据私有资料、摘要及通用模型训练客户模型，发送摘要及客户模型的参数至协调装置。协调装置通讯连接每一客户装置，且包括同义资料产生器。协调装置发送通用模型至每一客户装置，并判断缺席客户装置。同义资料产生器依据缺席客户装置的摘要产生同义资料。协调装置依据同义资料及缺席客户装置的摘要训练替代模型，依据替代模型及未缺席客户装置的客户模型执行聚合运算以更新通用模型；本发明通过在协调者合成代表性客户资料解决客户离开的问题。
- 基于不平衡数据深度学习的连退生产过程故障诊断方法-202011417539.9
- 唐立新;王显鹏;胡腾辉 - 东北大学
- 2020-12-07 - 2023-09-22 - G06N20/20
- 本发明公开了基于不平衡数据深度学习的连退生产过程故障诊断方法，属于钢铁企业连续退火生产过程的自动控制技术领域。通过深度自编码网络建立连退带钢生产过程数据的特征提取模型，将原始高维输入属性空间映射到低维子空间；采用SMOTE过采样方法对跑偏故障数据进行处理，以现有样本为基础合成新的少数类样本；将以特征提取模型为基础构建的深度神经网络作为子学习机，并利用过采样后得到的平衡数据集，使用AdaBoost.M2算法训练得到用于连退生产过程的带钢跑偏预测的集成学习故障诊断模型。可提高带钢跑偏预测的准确性，尤其提高少数类样本故障检测的准确性，能够帮助现场操作人员及时对连退生产过程进行调节，避免出现生产事故。
- 一种去中心化联邦学习系统、方法、存储介质及计算设备-202310534928.7
- 郭永安;李嘉靖;王宇翱;钱琪杰 - 南京邮电大学;边缘智能研究院南京有限公司
- 2023-05-12 - 2023-09-22 - G06N20/20
- 本发明公开了一种去中心化联邦学习系统、方法、存储介质及计算设备，该系统包括：模型共享平面、与模型共享平面连接的边缘服务器，以及与边缘服务器连接的参与训练的终端设备；本发明基于终端设备资源信息进行全局模型分割，平衡各终端设备进行本地模型训练的时间差异，且分割策略会随着终端设备本地资源进行调整，保证每一次都选择最早训练完成时间最小的方案，可提高训练吞吐量、降低通信成本，从而加快训练进程。
- 专利分类
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
