[发明专利]共享编码器生成方法、装置及电子设备在审
| 申请号： | 202211282480.6 | 申请日： | 2019-11-22 |
| 公开（公告）号： | CN115630695A | 公开（公告）日： | 2023-01-20 |
| 发明（设计）人： | 董大祥;张文慧;吴志华;于佃海;马艳军;王海峰 | 申请（专利权）人： | 北京百度网讯科技有限公司 |
| 主分类号： | G06N3/098 | 分类号： | G06N3/098;G06N3/0455 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 张润 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提出一种共享编码器生成方法、装置及电子设备，属于计算机技术领域。其中，该方法包括：主节点向各子节点发送共享编码器训练指令，以使每个子节点根据训练指令中包括的目标共享编码器的类型获取训练样本；在获取到各子节点返回的确认消息后，向各子节点发送待训练的目标共享编码器的初始参数集，以使各子节点利用各自的训练样本对所述目标共享编码器的初始参数集进行训练；获取各子节点返回的目标共享编码器的更新参数集；根据第一预设规则及各子节点返回的目标共享编码器的更新参数集，确定目标共享编码器对应的目标参数集。由此，通过这种共享编码器生成方法，降低了多领域训练语料的获取难度和成本，提高了共享编码器的性能。 | ||
| 搜索关键词： | 共享 编码器 生成 方法 装置 电子设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司，未经北京百度网讯科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211282480.6/，转载请声明来源钻瓜专利网。
- 同类专利
- 一种样本预测方法、装置、设备及计算机可读存储介质-202310293638.8
- 吴秉哲 - 腾讯科技（深圳）有限公司
- 2023-03-15 - 2023-10-27 - G06N3/098
- 本申请提供了一种样本预测方法、装置、设备及计算机可读存储介质；本申请实施例可以应用于人工智能、云技术、智能医疗等的样本预测场景中；该方法包括：接收中心设备下发的原始模型；利用原始模型，针对本地标注样本中的样本数据进行特征提取，并将特征数据和本地标注样本中的标签信息上报至中心设备；接收中心设备下发的共享记忆数据，其中，共享记忆数据由中心设备利用针对本地标注样本所上报的特征数据和标签信息构成；通过共享记忆数据和原始模型，针对本地的待预测样本进行预测，得到待预测样本对应的样本预测结果。通过本申请，能够减少在对样本预测进行性能提升时所需要消耗的算力与传输资源。
- 目标检测模型训练方法、目标检测方法、电子设备及介质-202310722400.2
- 侯召祥;杨程屹 - 新奥新智科技有限公司
- 2023-06-16 - 2023-10-27 - G06N3/098
- 本说明书涉及一种目标检测模型训练方法、目标检测方法、电子设备及介质。其中，目标检测模型训练方法包括：获取样本图像对应的掩码图像和变换图像；将掩码图像输入至第一图像检测模型的在线网络中进行重建和特征预测得到重建图像和预测特征；将变换图像输入至第一图像检测模型的目标网络中进行特征提取得到第一关键特征；基于预测特征、第一关键特征、对比特征进行对比损失的计算确定对比损失数据；根据对比损失数据、掩码损失数据对第一图像检测模型更新，以使在满足模型训练停止条件的情况下，基于目标网络或在线网络确定第一目标检测模型。本说明书实施例结合掩码学习和对比学习进行目标检测模型的训练，减少了对标注数据的依赖。
- 基于知识蒸馏的联邦学习隐私保护模型训练方法及系统-202310519121.6
- 刘尚东;王木森;胥熙;张嘉铭;张欣同;吴飞;季一木 - 南京邮电大学
- 2023-05-09 - 2023-10-27 - G06N3/098
- 本发明提供一种基于知识蒸馏的联邦学习隐私保护模型训练方法及系统，该方法通过在横向联邦学习全局模型的每一轮迭代训练过程中，中心服务器将全局模型参数发送给客户端，更新本地模型参数；使用预处理后长尾分布的数据集对各客户端进行本地模型的神经网络训练，同时融入教师‑学生模式的知识蒸馏技术，得到处理后的模型参数；使用混合加密技术进行加密处理后，得到组合的加密信息；中心服务器解密得到处理后的模型参数；中心服务器将更新后的全局参数返回到各客户端，客户端得到更新训练后的本地模型；本发明能够降低计算量并减少训练时间，提高训练效率，同时，能够提高模型的性能，能够提高模型的训练效果，能够提高联邦学习参数传递的安全性。
- 基于自适应混合梯度压缩的加速AI大模型分布式训练的方法及装置-202310740870.1
- 刘外喜;范立生;罗剑涛;陈孔阳;李进;陈庆春;陈昊森 - 广州大学
- 2023-06-21 - 2023-10-27 - G06N3/098
- 本发明公开一种基于自适应混合梯度压缩的加速AI大模型分布式训练的方法及装置，方法包括：在主从节点结构下，PS参数服务器和计算节点各自经过本地训练迭代生成梯度；利用自适应混合梯度压缩方法对该梯度压缩；将压缩后的梯度发送至PS参数服务器，而后进行解压缩、聚合、更新；更新后的新模型参数发送给各个计算节点；多次迭代训练得到分布式机器学习模型；所述自适应混合梯度压缩方法包括，对于某一类梯度，如果它是一维向量，不进行梯度压缩，如果它的梯度数量大于等于设定阈值，采用逐类梯度聚类机制进行压缩，否则，采用Tensor Train分解机制对其进行压缩。本发明通过减少分布式训练所需通信量减少训练时间，同时不损失模型精度、不引入大计算量。
- 基于算力网络的联邦学习方法和装置-202211514683.3
- 唐云洁;蒋家驹;吕严;陆田;王钊;吴晓;顾珺菲;陈卓然;朱张琦 - 中国移动紫金（江苏）创新研究院有限公司;中国移动通信集团江苏有限公司;中国移动通信集团有限公司
- 2022-11-29 - 2023-10-27 - G06N3/098
- 本申请涉及计算机技术领域，提供一种基于算力网络的联邦学习方法和装置。所述方法包括：接收安防节点发送的参数请求，安防节点部署于安防联邦学习系统；基于参数请求向安防节点发送神经网络模型和第一模型参数；接收安防节点发送的第二模型参数，第二模型参数由安防节点基于神经网络模型和第一模型参数进行模型训练得到的；根据多个安防节点的第二模型参数确定第三模型参数，并将第三模型参数发送至具有相同的神经网络模型的安防节点。本申请实施例在算力网络架构下，融合了联邦学习算法，在保证各用户数据不被直接传输至边端服务器的情况下，通过加密传输参数，更新参数，下发参数，实现各模型识别精度的提升。
- 公共安全事件预测模型的强化联邦学习方法及装置-202310777807.5
- 杜军平;赵天宇;邵蓥侠;管泽礼 - 北京邮电大学
- 2023-06-28 - 2023-10-27 - G06N3/098
- 本申请提供一种公共安全事件预测模型的强化联邦学习方法及装置，方法包括：针对各个节点各自本地的公共安全事件预测子模型的特征向量进行马尔科夫决策以得到当前的目标聚类参数，并基于OPTICS聚类算法对各个特征向量进行聚类以将节点划分至不同的聚簇并生成全局模型参数；若当前的迭代轮次为最后轮次，则将全局模型参数作为目标公共安全事件预测模型来对公共网络平台实时发布的文本数据进行公共安全事件预测。本申请能够在模型训练阶段实现高效的数据记录、学习和更新，同时可以在保护用户隐私的前提下实现数据的共享和聚合，能够实现针对文本数据进行公共安全事件发生及类型的自动化预测，能够有效提高公共安全事件预测的准确性及可靠性。
- 数据异质和系统异质条件下的联邦学习方法及设备-202310934638.1
- 丁宁;李南;王颂;张贵峰;张晓光;李韵;杨宇轩;张爱东 - 香港中文大学（深圳）
- 2023-07-27 - 2023-10-27 - G06N3/098
- 本申请实施例公开了数据异质和系统异质条件下的联邦学习方法及设备，用于缓解客户端数据异质性和系统异质性对联邦学习效果的影响。本申请实施例方法包括：计算进行N轮联邦学习后每个客户端的数据异质性指标；基于前N轮联邦学习中每个客户端的被采样情况，确定每个客户端对应的最小未被采样轮数间隔；基于每个客户端对应的最小未被采样轮数间隔，确定进行N轮联邦学习后每个客户端的系统异质性指标；基于进行N轮联邦学习后每个客户端的数据异质性指标以及每个客户端的系统异质性指标，确定进行N轮联邦学习后每个客户端的综合异质性指标；根据进行N轮联邦学习后每个客户端的综合异质性指标，从多个客户端中确定参与第N+1轮联邦学习的客户端。
- 基于激活Attention的联邦学习方法、装置、设备及存储介质-202310790673.0
- 王梦欣;方黎明;赵仁学 - 南京航空航天大学
- 2023-06-30 - 2023-10-27 - G06N3/098
- 本发明涉及一种基于激活Attention的联邦学习方法、装置、设备及存储介质，属于计算机领域中人工智能安全领域。本发明对传统的联邦学习框架进行了优化，使用Attention代替本地模型通信的概念，提出了一种基于激活Attention的拜占庭鲁棒的联邦学习方法，增强了联邦学习框架的鲁棒性，还通过数据压缩等手段，大幅度减少了联邦学习在通信过程中的带宽，并且在服务器上设计了更安全的聚合算法，从而达到同时防御定向攻击和非定向攻击的目标。
- 一种通用高精度分布式算法训练方法及系统-202310947480.1
- 张磊;李观喜;王刚;覃镇波;林伟 - 广州紫为云科技有限公司
- 2023-07-28 - 2023-10-24 - G06N3/098
- 本发明涉及人工智能深度学习技术领域，具体为一种通用高精度分布式算法训练方法及系统。在原有的训练方法基础上进行改进，加入了模型拆分、算法预训练、元学习、多模态学习等训练技巧，提出了一套较为通用的、可进行分布式的算法训练方案，减少了对数据的依赖，加强了计算资源的适配性，而且缩短了算法训练的时间，在多种任务场景都能有较高的精度。
- 针对数据异质性的个性化联邦学习方法、系统及存储介质-202311035140.8
- 赵亚威;何昆仑;姜明明;柳青河;庄严 - 中国人民解放军总医院
- 2023-08-16 - 2023-10-24 - G06N3/098
- 本发明提供一种针对数据异质性的个性化联邦学习方法、系统及存储介质，该方法包括如下步骤：服务端将初始学习模型发送至客户端；服务端根据所有客户端的数据分布相似性对客户端进行聚类，生成客户端的相似性网络图；客户端进行本地迭代训练，得到训练梯度和第一权重参数进行训练更新后的第一更新参数；服务端计算所有客户端上传的第一更新参数的平均值，得到第一平均更新参数；服务端自动更新迭代初始学习模型，并得到第二权重参数更新后的第二更新参数；服务端更新初始学习模型；重复上述步骤直至模型损失函数收敛，得到联邦学习模型。本发明具有在实现个性化联邦学习的基础上不违反客户端隐私保护的效果。
- 一种分布式模型训练方法和系统-202310913276.8
- 邱鹏宇;刘永超 - 支付宝（杭州）信息技术有限公司
- 2023-07-24 - 2023-10-24 - G06N3/098
- 本说明书实施例提供一种分布式模型训练方法和系统，涉及人工智能技术领域。技术要点包括：基于本地的训练样本特征数据以及本地的前端模型，得到中间层数据；对所述中间层数据进行整数化处理，得到整数化数据；将所述整数化数据传输给服务器；接收服务器返回的损失函数值相对所述整数化数据的梯度信息；所述损失函数值反映预测结果以及相应训练样本的标签的差异；基于损失函数值相对所述整数化数据的梯度信息确定损失函数值相对本地的前端模型各模型参数的梯度信息；基于损失函数值相对本地的前端模型各模型参数的梯度信息更新本地的前端模型的模型参数。
- 自然语言训练模型训练方法、装置、计算机设备及介质-202310948480.3
- 张书铭;杨子康 - 济南浪潮数据技术有限公司
- 2023-07-28 - 2023-10-24 - G06N3/098
- 本发明涉及计算机技术领域，公开了自然语言训练模型训练方法、装置、计算机设备及介质，包括：在本迭代周期内，分别利用两个自然语言训练模型对用例库中每一个功能模块对应的测试用例进行训练测试；当确定任一自然语言训练模型对第一功能模块对应的测试用例的训练测试符合预设停止条件时，将第一功能模块加入至阻塞池；控制两个自然语言训练模型均停止对第一功能模块的测试用例的训练，并分别利用两个自然语言训练模型进行除第一功能模块之外的其他功能模块的训练，直至当本迭代周期为预设数量的迭代周期中的最后一个迭代周期，或者当阻塞池中测试用例的数量达到预设数值时结束操作。通过该方式，避免训练过程占用太多时间，大大提升工作效率。
- 基于预测精度的跨域异质联邦学习架构运行效率评测方法-202211238940.5
- 杨洁;李洁;郭亮;赵海涛;施颖;刘淼 - 南京邮电大学
- 2022-10-11 - 2023-10-24 - G06N3/098
- 本发明提供了基于预测精度的跨域异质联邦学习架构运行效率评测方法，涉及联邦学习、迁移学习、深度领域，旨在解决研究跨域异质联邦学习架构过程中无法评测架构运行效率的问题，采用的技术方案是，其以评测跨域异质联邦学习架构的运行效率为目标，首先从数据跨域和客户端异质这两个主要概念解释跨域异质的定义；接着准备跨域异质联邦数据集，划分数据集来生成联邦学习中的Non‑IID数据，并选择基本测试模型；然后设定联邦学习方法，详细描述联邦学习的主要步骤；最后重复运行步骤三固定轮次后，统计多个基本测试模型的全局权重在测试数据集上的性能评测指标，加权后作为不同跨域异质联邦学习架构运行效率的评价指标。
- 自然语言处理模型的训练方法及装置-201910471393.7
- 李健铨;刘小康;马力群 - 鼎富智能科技有限公司
- 2019-05-31 - 2023-10-24 - G06N3/098
- 本申请公开了自然语言处理模型的训练方法及装置，应用于多个具有不同任务目标的自然语言处理模型，多个自然语言处理模型共享部分隐层，所述方法首先将所有任务相应训练样本的标签信息融合并表示为多标签矩阵，根据模型输出的任务目标向量和多标签矩阵计算命中概率，并根据命中概率计算单任务损失值；再根据各个单任务损失值计算多任务损失值；最后根据多任务损失值，调整每一模型的参数。本申请方法中，多个自然语言处理模型联合学习，通过共享部分隐层来共享多个任务的浅层特征表示，梯度同时反向传播帮助隐层逃离局部极小值，多个标签的融合及其向量表示帮助增加标签的表达泛化能力和表示能力，进而可以提高每个模型的准确性和泛化性。
- 基于自步学习与邻接矩阵的标签噪声鲁棒联邦学习方法-202310741144.1
- 吴飞;张家宾;季一木;金昊;黄庆花 - 南京邮电大学
- 2023-06-21 - 2023-10-20 - G06N3/098
- 本发明涉及一种基于自步学习与邻接矩阵的标签噪声鲁棒联邦学习方法，基于客户端‑服务器模式的横向联邦学习框架，进行分布式训练，包括以下步骤：步骤S1，选取可信客户端；步骤S2，根据可信客户端计算所有客户端样本的近邻关系：根据步骤S1中获得的可信客户端进行联邦学习，得到全局联邦模型，使用所述全局联邦模型为所有客户端样本计算近邻关系；步骤S3，自步更新样本近邻关系以及标签评估与矫正；步骤S4，离群样本处理。本发明提供一种安全可靠的基于自步学习与邻接矩阵的标签噪声鲁棒联邦学习方法，能够有效地减少噪声数据对模型的干扰，并提高模型收敛速度。
- 一种对用电负荷进行预测的方法及系统-202310852984.5
- 刘岩;祝恩国;赵兵;张海龙;郑国权;郜波;成情;李然;卢继哲;任毅;侯帅;翟梦迪;王朝亮;陆春光 - 中国电力科学研究院有限公司;国网浙江省电力有限公司营销服务中心
- 2023-07-12 - 2023-10-20 - G06N3/098
- 本发明公开了一种对用电负荷进行预测的方法及系统，其中方法包括：选择边缘终端的历史负荷数据，基于所述历史负荷数据建立边缘终端的分项训练集合；对所述分项训练集合进行数据格式处理；基于经过数据格式处理后的分项训练集合，通过机器学习随机梯度下降SGD算法计算边缘终端的分析预测模型权重系数；基于多个边缘终端计算出的分析预测模型权重系数，通过联邦学习算法计算累加分析预测模型权重系数；基于所述累加分析预测模型权重系数，通过累加分析预测模型对预设步长期间内的用电负荷进行预测，获取用电负荷预测结果。
- 资源有限联邦边缘学习中的异步聚合与隐私保护方法-202310864743.2
- 何春蓉;龚小祥;余红宴;向顺灵 - 重庆三峡学院
- 2023-07-14 - 2023-10-20 - G06N3/098
- 本发明公开了资源有限联邦边缘学习中的异步聚合与隐私保护方法，涉及分布式机器学习领域，包括如下模块：系统初始化、客户端选择、异步联邦训练、个性化差分隐私保护和资源监测。改进延迟补偿机制，对模型陈旧度阈值范围内的模型参数进行延迟补偿，衰减系数采用一种钟形曲线函数，陈旧度越大衰减越快；对超过陈旧度阈值的客户端，则强制与当前全局参数进行同步，进入下一轮次本地训练。
- 关于分布式分割属性的高能效深度神经网络训练-202280014004.8
- 塞利姆·伊金;康斯坦丁诺斯·万迪卡斯 - 瑞典爱立信有限公司
- 2022-02-11 - 2023-10-20 - G06N3/098
- 一种在用于训练分割神经网络的包括多个工作器的垂直联合学习vFL系统中操作主节点的方法，包括：在采样周期内从一个或多个工作器接收切割层的层输出，在切割层处，神经网络在工作器与主节点之间被分割；以及确定是否没有从工作器中的一个接收到切割层的层输出。响应于确定没有从工作器中的一个接收到切割层的层输出，该方法包括生成未接收到的层输出的估算值，基于接收到的层输出和估算的层输出计算切割层中神经元的梯度，将梯度分割成与相应工作器相关联的组，以及将梯度组传输到相应工作器。
- 一种联邦学习提升方法及装置-202310810968.X
- 李彬;贾荫鹏;李圣伟;孙善宝;罗清彩;李锐 - 山东浪潮科学研究院有限公司
- 2023-07-04 - 2023-10-20 - G06N3/098
- 本发明涉及联邦学习领域，具体提供了一种联邦学习提升方法及装置，具有如下步骤：S1、数据收集；S2、联邦学习模型和集中式学习模型的训练；S3、去噪模型C的训练；S4、去噪模型的应用；S5、模型评估和验证。与现有技术相比，本发明解决了联邦学习中不同数据分布对模型性能的干扰问题，提高了模型准确率。
- 联邦推荐模型训练方法、终端设备、服务器及介质-202310934218.3
- 贝琛圆;陈娴;陈向君;邹林韵;宋华华 - 中移（杭州）信息技术有限公司;中国移动通信集团有限公司
- 2023-07-27 - 2023-10-20 - G06N3/098
- 本申请涉及人工智能技术领域，提供一种联邦推荐模型训练方法、终端设备、服务器及介质。该方法应用于服务端，包括：接收至少两个客户端的训练请求；训练请求中包括客户端的客户端类型，该客户端类型根据各客户端的计算能力进行划分；向客户端下发客户端类型对应的全局推荐模型和训练参数；训练参数包括全局模型参数和迭代次数；客户端根据训练参数，采用本地的用户行为数据对全局推荐模型进行联邦训练；用户行为数据包括用户对待推荐对象的历史点击、浏览和收藏信息。通过针对不同客户端的计算能力下发不同大小的模型，提高计算资源受限的客户端模型训练的收敛速度，使其能充分参与联邦训练的迭代与聚合，确保模型性能。
- 一种基于区块链的图像生成模型的协同训练方法和系统-202310743153.4
- 于中阳;陈平;王亚菁;张萌飞 - 上海芯赛云计算科技有限公司
- 2023-06-21 - 2023-10-17 - G06N3/098
- 本申请提供了一种基于区块链的图像生成模型的协同训练方法和系统，其中，基于区块链的图像生成模型的协同训练方法包括：模型任务设计发布者节点，向整个区块链发布模型训练任务、模型训练数据和模型训练目标；模型训练参与者节点，使用模型训练数据执行模型训练任务，得到模型训练结果；当模型训练结果达到模型训练目标时，存储模型训练结果并对模型训练结果进行全网广播，以使区块链中超过预定数量比例的节点认可模型训练结果；模型任务设计发布者节点，在模型训练结果超过预定数量比例的节点认可时，获取模型训练结果。本申请的技术方案能解决现有技术中联邦学习算法的网络结构增加企业间信任成本，同时面临中心节点崩溃和宕机风险的问题。
- 一种联邦建模方法及系统-202310781003.2
- 孙善宝;王启正;罗清彩;贾荫鹏;沈国栋 - 山东浪潮科学研究院有限公司
- 2023-06-29 - 2023-10-17 - G06N3/098
- 本发明涉及联邦学习和隐私计算技术领域，具体提供了一种联邦建模方法及系统，基于样本共享和参数隔离，首先进行联邦建模任务准备，再进行联邦建模任务训练，最后进行联邦建模模型优化。与现有技术相比，本发明加速了训练过程，提高了模型的性能和泛化能力。
- 一种用于人工智能学习算法的用户选择方法-202310940026.3
- 周致彤;曾俊华;崔太平;余征涛;田俊彦;曹宗昊;聂佳 - 重庆邮电大学
- 2023-07-28 - 2023-10-17 - G06N3/098
- 本发明涉及一种用于人工智能学习算法的用户选择方法，属于人工智能领域。将神经网络算法通过强化学习进行动态优化，用于优化联邦学习中的用户选择。初始化一个卷积神经网络模型作为策略函数逼近器，接受输入端的联邦学习环境状态，输出选择用户的概率分布，构建一个神经网络模型；初始化一个Q‑learning强化学习算法，根据神经网络模型输出的概率分布选择一个用户子集作为本轮联邦学习的用户。根据梯度下降算法更新策略函数逼近器的参数，以最大化长期回报。重复以上两步，直到达到模型得分超过给定的门限值，即达到理论最高准确性，最快收敛速度、最小误差、最大轮数。该方法提高了联邦学习系统的性能和效率，智能地选择用户。
- 经由混洗及偏移的安全多方深度学习-202310368457.7
- A·X·明·张 - 美光科技公司
- 2023-04-07 - 2023-10-17 - G06N3/098
- 本公开涉及经由混洗及偏移的安全多方深度学习。在外包深度学习计算中经由混洗部分来保护对数据样本的存取。举例来说，每一数据样本可经配置为多个随机化部分的总和。至少一些所述随机化部分可应用于偏移运算以产生经修改部分用于外包。来自不同数据样本的此类部分经混洗且外包给一或多个外部实体以应用深度学习计算。所述深度学习计算经配置以允许改变应用所述求和与应用所述深度学习计算之间的顺序。因此，可针对数据样本使所述外部实体将所述深度学习计算应用于其接收到的部分的结果反向混洗以应用反向偏移及求和。所述求和提供将所述深度学习计算应用于所述数据样本的结果。
- 外包深度学习运算中的安全人工神经网络模型-202310365260.8
- A·X·明·张 - 美光科技公司
- 2023-04-07 - 2023-10-17 - G06N3/098
- 本申请涉及外包深度学习运算中的安全人工神经网络模型。经由混洗组成部分保护外包深度学习运算中对人工神经网络ANN模型的访问。例如，ANN模型可被配置为多个随机化模型组成部分的总和。可以对所述随机化组成部分中的一些应用偏移操作和/或加密以生成经修改组成部分用于外包。来自不同ANN模型的此类模型组成部分可经混洗并外包给一或多个外部实体以获得所述模型组成部分的对输入的响应。还可以将作为对所述ANN模型的输入的数据样本拆分成样本组成部分，作为对模型组成部分的输入，以保护所述数据样本。可以从模型组成部分的响应与作为输入应用的所述样本组成部分的总和获得作为输入应用于ANN模型的数据样本的结果。
- 混洗式安全多方深度学习-202310368987.1
- A·X·明·张 - 美光科技公司
- 2023-04-07 - 2023-10-17 - G06N3/098
- 本公开涉及混洗式安全多方深度学习。经由混洗部分来保护外包深度学习计算中对数据样本的存取。举例来说，每一数据样本可经配置为多个随机化部分的总和。混洗来自不同数据样本的部分以混合来自不同样本的部分。可向一或多个外部实体提供经混洗及随机化部分以产生将深度学习计算应用于所述部分的结果。所述深度学习计算经配置以允许改变应用所述总和与应用所述深度学习计算之间的顺序。因此，可针对所述相应数据样本使所述外部实体将所述深度学习计算应用于其接收到的部分的结果反向混洗以进行求和。所述总和提供将所述深度学习计算应用于相应数据样本的结果。
- 一种基于隐私保护的增量宽度学习系统及方法-202310850681.X
- 张伟文;刘子煜;江奕锋 - 广东工业大学
- 2023-07-11 - 2023-10-17 - G06N3/098
- 本发明涉及人工智能技术领域，公开了一种基于隐私保护的增量宽度学习系统及方法，包括以下具体步骤：S1、服务端个客户端通过广播发送询问请求S2、服务端将所有客户端分为若干个客户端组，并将分组记录发送给中介；第一轮训练的第一个客户端组生成并发送初始矩阵给中介；中介根据分组记录分别发送初始矩阵给其余客户端组；S3、服务端与客户端组对每个客户端组进行数据加密；S4、服务端计算生成隐藏层输出矩阵；增量更新全局隐藏层输出矩阵和全局输出层权重矩阵；S5、判断客户端是否新增数据；若是则回到步骤S1进行下一轮训练；若否则完成增量宽度学习。本发明解决现有技术无法满足多个隐私数据参与方的数据合作的问题，其具有输出精度高的特点。
- 跨孤岛联邦学习中优化个体模型性能的联盟组建方法-202310241142.6
- 李娟;张亚楠;陈兵;朱琨 - 南京航空航天大学
- 2023-03-14 - 2023-10-17 - G06N3/098
- 本发明公开了一种跨孤岛联邦学习中面向个体模型性能优化的联盟组建博弈方法，该方法基于多组织之间合作训练模型场景下的联邦学习，包括建立一个利用神经网络进行效用拟合的评估方法来预测每个组织加入联盟后个体模型性能的改进情况，并以这个估计效用为输入设计了一种分布式联盟组建算法，以寻找稳定的联盟结构，并使得在每个组织模型性能改进都不为负的前提下尽可能最大化所有组织的整体性能改进量。本发明基于估计效用建立的联盟结构能够在实现纳什稳定或个体稳定的同时，实现社会福利的最优化和较好的个人满意度。
- 联邦训练方法、数据分析方法及装置、介质以及电子设备-202310871444.1
- 于梦晗;熊雄;李振;张伟 - 中国电信股份有限公司技术创新中心;中国电信股份有限公司
- 2023-07-14 - 2023-10-13 - G06N3/098
- 本公开涉及计算机技术领域，具体涉及一种联邦训练方法、数据分析方法、联邦训练装置、数据分析装置、介质及设备，上述方法包括：将多个联邦训练终端划分为多个联邦训练组；根据终端特征信息以及多个联邦训练组得到待训练模型；将骨干网络和各联邦训练终端对应的头部网络下发至各联邦训练终端；接收多个联邦训练终端返回的模型训练参数，对多个模型训练参数进行聚合得到更新后的待训练模型；向各联邦训练终端下发更新后的待训练模型；重复上述步骤，直至待训练模型的训练过程满足收敛条件。通过本公开实施例的技术方案，可以解决现有技术中联邦训练得到的模型的整体性较差的问题。
- 一种针对联邦长尾学习的全局模型训练方法-202311059182.5
- 吴保元;刘李;曾耀沛;刘磊 - 香港中文大学（深圳）;深圳市大数据研究院
- 2023-08-21 - 2023-10-13 - G06N3/098
- 本发明公开了一种针对联邦长尾学习的全局模型训练方法，属于机器学习技术领域，能够解决现有模型在长尾分布数据中性能较差的问题。所述方法包括：S1、获取多个客户端中每个客户端训练本地模型时的本地代理信息，并根据每个客户端的本地代理信息，获取全局代理信息；S2、根据全局代理信息和每个客户端的本地代理信息，对多个客户端进行分组，得到多个客户端群组；S3、从每个客户端群组中挑选客户端进行对应网络模块训练，得到多个训练后模块；S4、将多个训练后模块进行聚合，得到全局模型。本发明用于联邦学习中全局模型的训练。
- 专利分类
