“梯度更新”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果274377个，建议您升级VIP下载更多相关专利

[发明专利]一种加大深度学习训练数据量的方法-CN201910510397.1在审
发明人：刘若鹏;栾琳;季春霖;陈峰 -专利权人：杭州光启人工智能研究院
申请日： 2019-06-13 - 公布日： 2020-12-15 - 主分类号： G06N3/08 文献下载
摘要：本发明提供了一种加大深度学习训练数据量的方法，包括S1、根据数据量总量确定更新梯度的批量，根据内存或者显存数据确定计算梯度的子批量；S2、计算更新梯度的批量大小包含的子批量数量，所述更新梯度的批量包含的子批量数量为更新梯度的批量与计算梯度的子批量的商；S3、在更新梯度的批量大小包含的子批量数量的数据上运行网络的前向传播，然后进行反向传播以计算相对于网络参数的梯度；S4、执行步骤S3更新梯度的批量大小包含的子批量数量次，对更新梯度的批量大小包含的子批量数量个梯度累加后取平均梯度；S5、用平均梯度更新模型参数。
一种加大深度学习训练数据量方法

[发明专利]一种分布式训练中的梯度更新方法及相关设备-CN201810833991.X在审
发明人：胡文晖;王鹏;王奇刚 -专利权人：联想（北京）有限公司
申请日： 2018-07-26 - 公布日： 2018-12-28 - 主分类号： G06N3/08 文献下载
摘要：本申请公开了一种分布式训练中的梯度更新方法及相关设备，方法应用于计算节点服务器，所述方法包括：监测对目标数据进行分布式训练的全局轮换更新步数；基于所述全局轮换更新步数满足所述计算节点服务器的全局梯度更新条件的判断，将所述计算节点服务器当前的本地梯度累计值传输给参数服务器中，由所述参数服务器对全局训练模型基于所述本地梯度累计值进行梯度更新；基于所述全局轮换更新步数不满足所述计算节点服务器的全局梯度更新条件的判断，计算当前本地梯度并将所述当前本地梯度累加到所述本地梯度累计值中。
梯度更新计算节点服务器全局步数参数服务器轮换更新目标数据训练模型累加传输监测申请

[发明专利]神经网络系统、神经网络的学习方法以及神经网络的学习程序-CN202080092251.0在审
发明人：檀上匠 -专利权人：富士通株式会社
申请日： 2020-01-10 - 公布日： 2022-08-19 - 主分类号： G06N3/08 文献下载
摘要：神经网络系统具有存储器和访问存储器的多个处理器，多个处理器中的每一个处理器在多次学习中的每一次学习中，基于训练数据的输入和神经网络内的参数执行神经网络的运算来计算神经网络的输出，计算计算出的输出与训练数据的教师数据的差分相对于参数的梯度或者基于梯度的更新量，(1)在梯度或者更新量的累积不小于阈值的第一情况下，执行多个处理器将分别计算出的多个梯度或者更新量的累积发送到多个处理器内的其它的处理器来汇集多个梯度或者更新量的累积，接收汇集后的梯度或者更新量的累积，用汇集后的梯度或者更新量的累积更新参数的第一更新处理，(2)在梯度或者更新量的累积小于阈值的第二情况下，执行多个处理器不进行基于发送的多个梯度或者更新量的累积的汇集，用多个处理器分别计算出的梯度或者更新量更新各自的参数的第二更新处理
神经网络系统学习方法以及学习程序

[发明专利]一种缓解多任务学习中任务冲突方法、装置及存储介质-CN202110599827.9在审
发明人：廖清;柴合言;王晔;漆舒汉;王轩 -专利权人：哈尔滨工业大学（深圳）
申请日： 2021-05-31 - 公布日： 2021-09-21 - 主分类号： G06K9/62 文献下载
摘要：本发明公开了一种缓解多任务学习中任务冲突的方法、装置及存储介质，所述方法获取待缓解多任务学习模型中各个学习任务的梯度值；判断各学习任务中选定学习任务与其余各学习任务之间是否存在任务冲突，在判定存在任务冲突时对选定学习任务的梯度值进行修剪，并将选定学习任务的梯度值更新为修剪后的梯度值，在选定学习任务的梯度值更新执行完毕后重新选定一学习任务作为选定学习任务重复执行梯度值更新，直至模型中所有学习任务的梯度值更新完毕，计算所有学习任务完成梯度值更新后的梯度值的平均值，获得平均梯度值，根据平均梯度值对模型的网络参数进行更新。
一种缓解任务学习冲突方法装置存储介质

[发明专利]一种模型梯度更新方法及装置-CN202210107380.3在审
发明人：程栋;程新;周雍恺;高鹏飞;姜铁城 -专利权人：中国银联股份有限公司
申请日： 2022-01-28 - 公布日： 2022-05-13 - 主分类号： G06N20/00 文献下载
摘要：本申请提供一种模型梯度更新方法及装置，用以提高模型训练的准确性。中心服务器重复执行梯度更新过程，直至满足停止条件；其中，一次梯度更新过程包括：接收多个节点分别发送的第一梯度，第一梯度为每个节点采用样本数据对节点中的待训练的模型进行一次或多次训练得到；基于多个第一梯度和本次梯度更新过程中的每个节点的概率得到第二梯度，本次梯度更新过程中的每个节点的概率为Actor‑Critic网络基于上一次梯度更新过程中的每个节点的概率确定的；将第二梯度分别发送给多个节点，以使多个节点采用第二梯度对各自的待训练的模型的权重进行更新
一种模型梯度更新方法装置

[发明专利]分布式机器学习系统的性能指标确定方法及装置-CN202110565148.X在审
发明人：苗天昊;刘婷;吴教仁;张胜卓;宗朗;田燕 -专利权人：北京达佳互联信息技术有限公司
申请日： 2021-05-24 - 公布日： 2021-09-21 - 主分类号： G06F11/34 文献下载
摘要：本公开关于一种分布式机器学习系统的性能指标确定方法及装置，该分布式机器学习系统用于训练神经网络模型，该训练过程包括梯度计算阶段和梯度通信阶段，梯度通信阶段包括梯度更新阶段，该方法包括：确定梯度计算阶段的梯度计算性能指标；基于梯度计算性能指标和分布式机器学习系统所在设备的计算性能数据，确定梯度计算阶段对应的梯度计算时间；确定梯度更新阶段对应的梯度更新时间；基于梯度更新时间，确定梯度通信阶段对应的梯度通信时间；在反向传播阶段和梯度更新阶段之间不具有重叠阶段时，根据梯度计算时间和梯度通信时间，确定分布式机器学习系统的性能指标。
分布式机器学习系统性能指标确定方法装置

[发明专利]联邦学习的方法、装置及系统-CN202010370086.2有效
发明人：岑园园;孟丹;李宏宇;李晓林 -专利权人：同盾控股有限公司
申请日： 2020-04-30 - 公布日： 2023-09-08 - 主分类号： G06N20/00 文献下载
摘要：本申请公开了一种联邦学习的方法、装置及系统，本申请的系统包括联邦服务器将初始模型统一发送给各客户端，客户端接收联邦服务器统一发送给各客户端的初始模型后基于客户端本地数据进行模型的训练得到更新的梯度；客户端再将更新的梯度发送至联邦服务器；联邦服务器接收到后对各客户端发送的更新的梯度进行聚合处理得到全局的更新梯度，并对全局的更新梯度进行奇异值分解；客户端接收联邦服务器发送的奇异值分解后的全局的更新梯度，并根据奇异值分解后的全局的更新梯度计算全局的更新梯度，并根据全局的更新梯度继续进行模型的训练。
联邦学习方法装置系统

[发明专利]一种用于执行AdaGrad梯度下降训练算法的装置和方法-CN201610280620.4有效
发明人：郭崎;刘少礼;陈天石;陈云霁 -专利权人：中科寒武纪科技股份有限公司
申请日： 2016-04-29 - 公布日： 2021-06-11 - 主分类号： G06F17/10 文献下载
摘要：一种计算装置和方法，该计算装置包括控制器单元和数据处理单元；该装置首先读取梯度向量以及待更新值向量，同时用当前梯度值更新缓存区中的历史梯度值；每次迭代时，利用当前梯度值及历史梯度值计算更新量，并对待更新向量进行更新操作；持续训练直至待更新参数向量收敛。
一种用于执行 adagrad 梯度下降训练算法装置方法

[发明专利]设备的更新方法和装置、存储介质、电子装置-CN202011485263.8在审
发明人：仇文久;杨东皓;葛春光;周晓泽;王颖 -专利权人：珠海格力电器股份有限公司;珠海联云科技有限公司
申请日： 2020-12-16 - 公布日： 2021-04-02 - 主分类号： G06F8/654 文献下载
摘要：本申请公开了一种设备的更新方法和装置、存储介质、电子装置。其中，该方法包括：获取梯度更新策略；按照所述梯度更新策略对更新列表中的OTA设备进行梯度更新，所述更新列表用于保存待更新的OTA设备。
设备更新方法装置存储介质电子

[发明专利]联邦学习模型投毒攻击检测及防御方法、装置及设备-CN202311095431.6在审
发明人：王滨;闫皓楠;万里;王星;李超豪;林克章 -专利权人：杭州海康威视数字技术股份有限公司
申请日： 2023-08-28 - 公布日： 2023-10-03 - 主分类号： G06F21/62 文献下载
摘要：本申请提供一种联邦学习模型投毒攻击检测及防御方法、装置及设备，该方法包括：获取目标客户端本轮上传的梯度；在处于检测模式的情况下，依据所述目标客户端本轮上传的梯度，构造与该梯度对应的测试梯度，并将该测试梯度作为聚合梯度，下发给所述目标客户端，以使所述目标客户端对所述测试梯度进行本地更新，得到更新后的测试梯度；其中，所述梯度对应的测试梯度与所述梯度之间在方向上的角度变化小于阈值；获取所述目标客户端上传的更新后的测试梯度，并依据所述测试梯度与所述更新后的测试梯度在方向上的角度变化，对所述目标客户端进行投毒攻击检测。
联邦学习模型投毒攻击检测防御方法装置设备

[发明专利]一种基于联邦学习的模型训练的方法及装置-CN202010534434.5在审
发明人：李晓丽;车春江;李煜政;陈川;郑子彬;严强;李辉忠 -专利权人：深圳前海微众银行股份有限公司;中山大学
申请日： 2020-06-12 - 公布日： 2020-09-22 - 主分类号： G06N20/00 文献下载
摘要：第一矩阵参数和第二矩阵参数是中央服务器对全局模型参数矩阵进行分解得到的，k为自然数，以此减少终端的模型的参数，降低终端的模型训练时运行所需的内存消耗，然后终端使用训练样本进行训练，确定出第一矩阵参数的更新梯度、第二矩阵参数的更新梯度和偏置参数的更新梯度，通过将第一矩阵参数的更新梯度和偏置参数的更新梯度发送至中央服务器和/或将第二矩阵参数的更新梯度和偏置参数的更新梯度发送至所述中央服务器，减少计算数据，以使中央服务器更新全局模型参数矩阵
一种基于联邦学习模型训练方法装置

[发明专利]联邦学习优化方法、装置、电子设备及存储介质-CN202211153907.2在审
发明人：陈辉铭;李勇;金德鹏 -专利权人：清华大学
申请日： 2022-09-21 - 公布日： 2023-01-17 - 主分类号： G06N20/00 文献下载
摘要：本发明提供一种联邦学习优化方法、装置、电子设备及存储介质，其中，所述方法包括：在当前轮次的联邦学习中，获取并下发上一轮次全局模型、上一轮次全局梯度估计和上一轮次二阶信息估计矩阵至多个客户端；接收并基于客户端上传的本地梯度和本地模型得到第一次更新后全局梯度估计和第一次更新后全局模型；将第一次更新后全局模型和第一次更新后全局梯度估计下发至客户端；接收并基于客户端上传的更新后本地梯度和更新后本地模型得到第二次更新后全局梯度估计和第二次更新后全局模型，并将第二次更新后全局模型和第二次更新后全局梯度估计下发至客户端
联邦学习优化方法装置电子设备存储介质

[发明专利]一种模型优化方法、装置、计算机设备及存储介质-CN202011359384.8在审
发明人：莫琪 -专利权人：平安科技（深圳）有限公司
申请日： 2020-11-27 - 公布日： 2021-03-12 - 主分类号： G06K9/62 文献下载
摘要：本申请实施例属于人工智能的模型优化技术领域，涉及一种应用于动量梯度下降的模型优化方法、装置、计算机设备及存储介质。本申请提供的应用于动量梯度下降的模型优化方法，由于带动量的随机梯度下降在训练过程中，当前轮次的训练数据没有被采样到，而该轮次梯度更新仍然会使用历史动量来更新，这可能导致Embedding层过拟合，本申请在更新梯度之前，通过确认梯度数据是否已经更新，从而确认该轮次的训练数据确定被采样，才进行该梯度更新操作，从而有效避免在训练时当前batch中没被采样到的词，依然会使用历史动量来更新导致Embedding层过拟合的问题
一种模型优化方法装置计算机设备存储介质

[发明专利]一种模型参数更新方法及装置-CN202111307114.7在审
发明人：阴嘉伟;邓建全 -专利权人：光大科技有限公司
申请日： 2021-11-05 - 公布日： 2022-02-11 - 主分类号： G06N3/02 文献下载
摘要：本发明提供了一种模型参数更新方法及装置，其中，该方法包括：获取多个客户端根据训练次数确定的本地模型的梯度与梯度权重；根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，得到更新后的模型参数，可以解决相关技术中无法区分模型训练的完备程度，使模型更新效率降低的问题，不同客户端针对其本地模型的不同训练次数确定不同的梯度权重，根据多个本地模型的梯度与梯度权重对服务端总模型的模型参数进行更新，从而使训练完备程度高的本地模型上传时具有较高的权重，训练完备程度低的本模型具有相对低的权重，可以提高模型参数更新的效率。
一种模型参数更新方法装置

[发明专利]一种模型训练方法及装置、图像生成方法-CN202210101536.7在审
发明人：丁霄汉;陈宏昊;张祥雨 -专利权人：北京旷视科技有限公司;北京迈格威科技有限公司
申请日： 2022-01-27 - 公布日： 2022-06-14 - 主分类号： G06N3/08 文献下载
摘要：本申请提供一种模型训练方法及装置、图像生成方法，应用于图像处理领域，其中，在利用模型训练方法对单支路的待训练模型进行训练的过程中，可以基于预先确定的梯度更新参数对第一梯度进行更新，然后利用更新得到的第二梯度对待训练模型的参数进行更新其中，用于对第一梯度进行更新的梯度更新参数，可以根据预先训练好的超参搜索模型中线性缩放层的参数确定。因此，通过在训练时针对性的修改待训练模型的梯度，实现基于单支路架构训练得到精度较高的模型。
一种模型训练方法装置图像生成

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条