[发明专利]生成较大神经网络在审

专利信息
申请号: 201680066508.9 申请日: 2016-11-11
公开(公告)号: CN108475345A 公开(公告)日: 2018-08-31
发明(设计)人: 伊恩·古德费洛;陈天奇;乔纳森·什连斯 申请(专利权)人: 谷歌有限责任公司
主分类号: G06N3/04 分类号: G06N3/04;G06N3/08
代理公司: 中原信达知识产权代理有限责任公司 11219 代理人: 李宝泉;周亚荣
地址: 美国加利*** 国省代码: 美国;US
权利要求书: 查看更多 说明书: 查看更多
摘要: 一种用于从较小神经网络生成较大神经网络的方法、系统和装置,包括编码在计算机存储介质上的计算机程序。在一个方面,一种方法包括:获得指定原始神经网络的数据;从原始神经网络生成较大神经网络,其中,较大神经网络具有较大神经网络结构,其包括多个原始神经网络单元和多个不在原始神经网络结构中的附加神经网络单元;初始化原始神经网络单元和附加神经网络单元的参数的值,使得较大神经网络从与原始神经网络相同的输入生成相同的输出;以及训练较大神经网络以从初始化值确定原始神经网络单元和附加神经网络单元的参数的训练值。
搜索关键词: 神经网络 原始神经 神经网络单元 网络单元 初始化 计算机存储介质 神经网络结构 计算机程序 输入生成 网络结构 网络生成 网络 输出
【主权项】:
1.一种从较小神经网络生成较大神经网络的方法,所述方法包括:获得指定原始神经网络的数据,所述原始神经网络被配置成从神经网络输入生成神经网络输出,所述原始神经网络具有包括多个原始神经网络单元的原始神经网络结构,每个原始神经网络单元具有各自的参数,并且每个所述原始神经网络单元的每个所述参数具有各自的原始值;从所述原始神经网络生成较大神经网络,所述较大神经网络具有较大神经网络结构,所述较大神经网络结构包括:(i)所述多个原始神经网络单元,以及(ii)不在所述原始神经网络结构中的多个附加神经网络单元,每个附加神经网络单元具有各自的参数;初始化所述原始神经网络单元和所述附加神经网络单元的所述参数的值,使得所述较大神经网络从与所述原始神经网络相同的神经网络输入生成相同的神经网络输出;以及训练所述较大神经网络以从所初始化的值确定所述原始神经网络单元和所述附加神经网络单元的所述参数的训练值。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司,未经谷歌有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201680066508.9/,转载请声明来源钻瓜专利网。

同类专利
  • 一种基于MSVL的神经网络系统的建模和验证方法-201910563393.X
  • 王小兵;杨坤;段振华;赵亮;田聪;张南 - 西安电子科技大学
  • 2019-06-26 - 2019-11-12 - G06N3/04
  • 本发明属于系统形式化建模与验证技术领域,公开了一种基于MSVL的神经网络系统的建模和验证方法。采用MSVL对需要进行验证的神经网络(包括DNN、CNN、RNN等)系统进行建模,用多维数组表示系统中所涉节点和边的信息,在建模中,用函数表示神经网路系统中的基本操作;确定需要验证的神经网络系统的共有性质特征,主要包括正确性和健壮性,并采用PPTL公式描述神经网络系统的这些性质;将建模的MSVL程序和描述共有性质的PPTL公式统一在UMC4MSVL平台中验证,根据验证结果判断性质是否能够得到满足。本发明将形式化的程序设计过程应用于神经网络系统的建模和验证,程序执行的每一个状态均能够得到可靠的验证,有效地保障了系统本身的安全性。
  • 一种地下设施保护方法和系统-201910577557.4
  • 陈文敏;李稀敏;肖龙源;蔡振华;刘晓葳;王静 - 厦门快商通信息咨询有限公司
  • 2019-06-28 - 2019-11-12 - G06N3/04
  • 本发明公开了一种地下设施保护方法和系统,其通过采集地下设施所在位置及其周边的声音信息和/或压力信息;当所述施工声概率大于或等于设定阈值时;和/或,当压力信息大于或等于预设的压力阈值时,或者,当所述施工压力概率大于或等于设定阈值时;则判断为所述地下设施所在位置存在施工行为;并发出警报和/或提醒;从而能够对施工行为进行监测和预警,有效预防和阻止地下设施在施工过程被破坏,进而减少政府城市建设过程的经济损失,也能够减少地下设施损坏对人们生活带来的不便影响,提升人们对市政工作满意度及幸福感。
  • 基于迁移学习的半自动神经网络调优方法-201910629527.3
  • 管楚;潘健民;张鹏 - 阿里巴巴集团控股有限公司
  • 2019-07-12 - 2019-11-12 - G06N3/04
  • 本公开涉及训练基于迁移学习的半自动调优神经网络的方法,包括获取一个或多个类别的训练样本,每个类别的训练样本包括相应的黑样本和白样本;整合所述一个或多个类别的黑样本和白样本;使用经整合的黑样本和白样本来训练通用型网络;将经训练的所述通用型网络的至少一部分迁移到专用型网络中,所述专用型网络包括分别与所述一个或多个类别对应的一个或多个子网络;以及使用所述一个或多个类别的训练样本来训练所述专用型网络以使得所述一个或多个子网络分别输出针对对应类别的分类结果。本公开还涉及该网络架构的形成和训练方法以及相应的半自动调优神经网络架构、装置和设备。
  • 一种基于短连接的挖掘特征之间隐含关系的神经网络-201910639616.6
  • 高强;郭菲;张小旺;冯志勇 - 天津大学
  • 2019-07-16 - 2019-11-12 - G06N3/04
  • 一种基于短连接的挖掘特征之间隐含关系的神经网络,包括有输入层,设定有输入空间;第一嵌入层,用于后续提取非线性的低阶特征交互;第二嵌入层,用于后续提取线性特征;非线性交互池化层,用于从第一嵌入层输出的密集特征矩阵中提取出非线性的低阶特征交互;层损失神经网络,用于将非线性交互池化层输出的低阶交互特征变为高阶特征交互输出;线性模型,用于从第二嵌入层输出的密集特征向量中提取出线性特征;结合层,用于将层损失神经网络输出的高阶特征交互和线性模型输出的线性特征进行融合,得到最终的预测值。本发明不仅可以充分地利用更多的特征,而且还构造出了对目标任务更加有效的低阶特征交互向量,更提高了模型的预测能力。
  • 一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质-201910686157.7
  • 孙维泽;杨欣;黄均浩;黄磊;张沛昌;包为民 - 深圳大学
  • 2019-07-26 - 2019-11-12 - G06N3/04
  • 本发明提供了一种基于多组张列量分解的深度神经网络压缩方法、系统、装置及存储介质,该方法包括:搭建一个神经网络结构;神经网络结构的第一层卷积层和最后一层全连接层不使用TT分解,通过TT格式表示剩余网络结构的权重矩阵;在全连接层上直接在核心张量上运算,卷积层需要最后回复为原来权重矩阵的大小进行卷积;在卷积层利用Multi‑TT分解;在TT分解的基础上加入稀疏值,形成新的压缩网络结构。本发明有益效果:本发明采用张量列模型将原权重矩阵重构为几个高维张量压缩模型,然后在分解的基础上建立新的网络结构,减少了参数,实验表明,该压缩模型的鲁棒性随深度模型中模式数目的增加而增加,并且该压缩方法可以达到不错的参数比。
  • 合作地训练和/或使用单独的输入和后续内容神经网络以进行信息检索-201880012586.X
  • 布莱恩·斯特罗普;宋云轩;马修·亨德森;拉米·阿尔-尔富;雷蒙德·库茨魏尔 - 谷歌有限责任公司
  • 2018-02-15 - 2019-11-12 - G06N3/04
  • 与信息检索有关的系统、方法和计算机可读介质。一些实施方式涉及训练和/或使用相关性模型以进行信息检索。所述相关性模型包括输入神经网络模型和后续内容神经网络模型。所述输入神经网络模型和所述后续内容神经网络模型可以是分离的,但是被合作地训练和/或使用。所述输入神经网络模型和所述后续内容神经网络模型可以是“分离的”,因为单独的输入被应用于所述神经网络模型,并且所述神经网络模型中的每一个均用于基于其应用的输入来生成它自己的特征向量。然后可执行基于所述单独的网络模型生成的所述特征向量的比较,其中所述比较指示应用于所述输入神经网络模型的所述输入与应用于所述后续内容神经网络模型的所述单独的输入的相关性。
  • 用于操作神经网络的设备及方法-201880020107.9
  • P·V·莱亚 - 美光科技公司
  • 2018-03-12 - 2019-11-12 - G06N3/04
  • 本发明包含用于操作神经网络的设备及方法。实例性设备包含多个神经网络,其中所述多个神经网络经配置以接收特定数据部分,且其中所述多个神经网络中的每一者经配置以在特定时间周期期间对所述特定数据部分进行操作以做出关于所述特定数据部分的特性的确定。
  • 基于Tucker算法的深度卷积神经网络压缩方法-201910738065.9
  • 袁国慧;贺晨;王卓然;彭真明;曲超;范文澜;赵浩浩;张鹏年;赵学功;王慧;何艳敏;蒲恬;周宇 - 电子科技大学
  • 2019-08-12 - 2019-11-08 - G06N3/04
  • 本发明涉及基于Tucker算法的深度卷积神经网络压缩方法,包括:A.获得深度卷积神经网络模型;B.使用EVBMF算法依次估计所述深度卷积神经网络模型中每一个隐藏层参数的分解秩;C.根据深度卷积神经网络模型中隐藏层的参数张量和对应的分解秩,通过Tucker算法依次分解每一个参数张量,产生多个低秩子张量;D.通过所述的低秩子张量生成新的隐藏层,并将深度卷积神经网络模型中原有的隐藏层替换为所述新的隐藏层,生成新的深度卷积神经网络模型。本发明基于Tucker算法的深度卷积神经网络压缩方法,能够大幅度提高压缩倍数,并且有效减少了压缩时间和系统开销。
  • 神经网络结构的获取方法及装置、存储介质-201910804498.X
  • 廉东泽;郑胤;王家兴;赵沛霖;黄俊洲;高盛华 - 腾讯科技(深圳)有限公司
  • 2019-08-28 - 2019-11-08 - G06N3/04
  • 本发明公开了一种神经网络结构的获取方法及装置、存储介质。其中,该方法包括:通过获取第一神经网络结构的第一参数,其中,第一参数至少包括:第一神经网络结构中各个模块的第一拓扑关系,以及与第一拓扑关系中的各条边对应的第一权重;使用与一组测试任务对应的测试任务数据对第一神经网络结构的第一参数进行训练,得到第二神经网络结构的第二参数,其中,第二参数至少包括:第二神经网络结构中各个模块的第二拓扑关系,以及与第二拓扑关系中的各条边对应的第二权重,第二参数用于为不同的任务生成对应的神经网络结构。解决了现有技术中,将搜索到的神经网络结构应用到不同任务中,不同任务多次搜索所耗费的时间较长的技术问题。
  • 基于概率的引导器-201880018349.4
  • A·R·约翰森;B·麦卡恩;J·布拉德伯里;R·佐赫尔 - 易享信息技术有限公司
  • 2018-03-14 - 2019-11-08 - G06N3/04
  • 所公开的技术提出使用计算上便宜、不太精确的词袋(BoW)模型和计算上昂贵、更精确的长短期记忆(LSTM)模型的组合来执行自然处理任务(诸如情绪分析)。使用便宜的、不太精确的BoW模型在本文中称为“略读”。使用昂贵的、更精确的LSTM模型在本文中称为“阅读”。所公开的技术提出了基于概率的引导器(PBG)。PBG结合了BoW模型和LSTM模型的使用。PBG使用概率阈值策略来基于BoW模型的结果确定是否调用LSTM模型以将句子可靠地分类为积极或消极。所公开的技术还提出了基于深度神经网络的决策网络(DDN),其被训练以学习BoW模型和LSTM模型之间的关系并且仅调用两个模型中的一个。
  • 一种基于深度神经网络的网络表示学习方法-201910426821.4
  • 熊丽荣;沈树茂;范菁;虞胜杰 - 浙江工业大学
  • 2019-05-21 - 2019-11-05 - G06N3/04
  • 本发明涉及一种基于深度神经网络的网络表示学习方法,包括如下步骤:1)首先在网络中进行随机游走,得到节点序列;2)然后结合节点在节点序列中的位置信息,将节点序列中的各个节点转换成特征向量;3)基于深度双向转换编码器建立学习模型,将步骤2)经过处理的节点序列输入到学习模型中进行训练,得到网络中节点的表示向量。本发明结合节点在节点序列中的位置信息,更好地利用节点之间的关系信息。本发明将自然语言处理中的深度双向转换编码器用于网络表示学习,以更好地保留网络的局部结构和全局结构,进一步地提升了节点表示向量的准确度。
  • 基于改进的LSTM网络的泵站机组故障识别方法-201910449061.9
  • 杨琪 - 河海大学
  • 2019-05-28 - 2019-11-05 - G06N3/04
  • 本发明公开了一种基于改进的LSTM网络的泵站机组故障识别方法,包括对数据集中的目标数据进行前期的处理;输入层选用8个神经网络单元作为输入向量的接受体;每次迭代权重调整比例为0.01,以预测值与真实值之差作为误差值来调整网络参数;在每个LSTM网络训练完成后,依据训练错误率与循环次数绘制Error‑Cost曲线图,以评量网络训练状况等步骤,本发明有效减少了网络的训练数据高效提高了故障分类速度和分类准确度。
  • 网络检测模型的训练方法、装置、计算机设备和存储介质-201910521200.4
  • 陈闽川;马骏;王少军 - 平安科技(深圳)有限公司
  • 2019-06-17 - 2019-11-05 - G06N3/04
  • 本发明公开了一种网络检测模型的训练方法,涉及安全检测技术领域,所述方法包括:当接收到输入的超参数时,基于差分演化算法对所述超参数进行预处理;当判断进行预处理所得到的超参数满足预置条件时,将所述进行预处理所得到的超参数作为待训练网络检测模型进行训练的初始数据;当接收到输入的参考网络连接信息时,基于所述进行预处理所得到的超参数以及所述参考网络连接信息对所述待训练网络检测模型进行训练,得到完成训练的网络检测模型。本发明还提供一种网络检测模型的训练装置、计算机设备和存储介质。实现在对网络检测模型进行训练时,通过差分演化算分对超参数进行预处理,提高模型训练的速度,缩短了整体模型训练的时间。
  • 一种基于AEP内存的GPU深度学习方法,系统及电子设备-201910581021.X
  • 王晓飞 - 苏州浪潮智能科技有限公司
  • 2019-06-29 - 2019-11-05 - G06N3/04
  • 本发明提供一种基于AEP内存的GPU深度学习方法,系统及电子设备,具体包括获取AEP内存容量N;提交深度学习训练任务T;计算任务T中batchsize的数据集大小M;将N/M份数据按任务顺序排成队列Q从存储加载至AEP内存。针对DRAM内存在深度学习训练时面临的训练数据频繁读取和宕机后训练数据重新加载问题,提出使用AEP内存的GPU深度学习方法。其中AEP内存作为最新的非易失内存技术,速率与DRAM内存相似,并且具有容量大和非易失性的特点。使用该方法可以解决DRAM内存在深度学习训练时面临的训练数据读取和宕机后训练数据重新加载的问题,加速深度学习中训练数据提取过程,节省深度学习训练时间。
  • 一种加速神经网络结构选择的方法-201910589376.3
  • 孙亚楠;淦.烟;吕建成 - 四川大学
  • 2019-07-02 - 2019-11-05 - G06N3/04
  • 本发明公开了一种加速神经网络结构选择的方法,涉及神经网络技术领域,本发明利用主线程M读取global.txt文件,判断该文件中记录的神经网络结构的个数是否小于t,若是,则逐行判断是否存在global.txt文件未记录的神经网络结构,若存在,则查询空闲显卡,主线程M启动一个子线程,通过该子线程将未记录的神经网络结构放到空闲显卡上进行训练,主线程M休眠一定时间后,继续判断是否存在global.txt文件未记录的神经网络结构,子线程训练完成后将未记录的神经网络结构写入到global.txt文件中,从更新后的global.txt文件中,选择出对应于当前情景最优的神经网络结构,本发明确保了得到准确及性能最优的神经网络结构,成本较低。
  • 一种基于Ontology的深度信念网络模型及其生成方法-201910596454.2
  • 张良;刘秀磊;刘旭红;丁嘉伟;孔凡芃 - 北京信息科技大学
  • 2019-07-03 - 2019-11-05 - G06N3/04
  • 本发明提供一种基于Ontology的深度信念网络模型及其生成方法。本发明试图将本体论和深度信念网络结合起来,形成一个新的模型。本体中最重要的关系之一是本体的层次结构。表达深度学习节点属性和函数转换使用本体的概念属性和分类关系。本发明在这里建立的深度信念网络模型只使用本体概念的亲子关系。同时,本发明选择自下而上构建本体,这样,本发明可以最大限度地训练深度信念网络模型,而不会影响本体节点的表示。
  • 房间布局估计方法和技术-201880017801.5
  • 李镇宇;V·巴德里娜拉亚楠;T·马利西维茨;A·拉比诺维奇 - 奇跃公司
  • 2018-03-16 - 2019-11-05 - G06N3/04
  • 公开了用于估计房间布局的系统和方法。房间布局可包括地板、一个或多个墙壁和天花板的位置。在一个方面,神经网络可以分析房间的一部分的图像以确定房间布局。神经网络可以包括具有编码器子网络、解码器子网络和侧子网络的卷积神经网络。神经网络可以使用与房间类型相关联的二维有序关键点来确定三维房间布局。房间布局可用于诸如增强或混合现实、机器人、自主室内导航等的应用。
  • 一种卷积神经网络加速方法及装置、存储介质-201910595953.X
  • 陈岩 - OPPO广东移动通信有限公司
  • 2019-07-03 - 2019-11-01 - G06N3/04
  • 本申请实施例提供了一种卷积神经网络加速方法及装置、存储介质,包括:按照预设滑窗策略,在特征图中依次将预设窗口对应的三个通道特征转换为一行特征或者一列特征,得到特征矩阵;按照预设滑窗策略,依次将预设窗口对应的三个通道卷积核转化为一行卷积核或者一列卷积核,得到卷积核矩阵,卷积核矩阵的排列规则和特征矩阵的排列规则相同;将特征矩阵和卷积核矩阵进行矩阵相乘,得到卷积结果,以根据卷积结果加速实现对特征图的处理过程。
  • 用于预测位置信息的方法和装置-201910671272.7
  • 刘昊骋 - 北京百度网讯科技有限公司
  • 2019-07-24 - 2019-11-01 - G06N3/04
  • 本公开的实施例公开了用于预测位置信息的方法和装置。该方法可应用于云计算领域。该方法的一具体实施方式包括:获取对象在历史时间段内的位置信息序列,位置信息序列中的位置信息包括位置标识和时间间隔,时间间隔用于表征对象在位置标识指示的位置的上一个位置处的停留时间;将位置信息序列输入至预先训练的预测网络,以预测对象在预设的预测时间段内出现在预设位置标识集中的各个预设位置标识分别指示的位置处的概率。该实施方式实现了对预设的预测时间段内对象的位置的预测。
  • 一种超参数的自动确定方法及装置-201910694036.7
  • 罗杰文;高天宁;张宏韬;徐祎 - 中国工商银行股份有限公司
  • 2019-07-30 - 2019-11-01 - G06N3/04
  • 本发明提供一种超参数的自动确定方法及装置,所述方法包括:获取预设数量组候选超参数;从所述预设数量组候选超参数中获得初始组候选超参数,并根据所述初始组候选超参数以及状态参数获取规则获得所述初始组候选超参数对应的状态参数;根据所述初始组候选超参数、所述初始组候选超参数对应的状态参数、所述预设数量组候选超参数以及预设神经网络模型,获得目标超参数。所述装置用于执行上述方法。本发明实施例提供的超参数的自动确定方法及装置,提高了提高了超参数的获取效率。
  • 一种面向硬件移植的锂电池深度诊断模型压缩算法-201910696488.9
  • 李鹏华;杨奕枫;侯杰;朱智勤;熊庆宇;丁宝苍;张子健;胡和煦 - 重庆邮电大学
  • 2019-07-30 - 2019-11-01 - G06N3/04
  • 本发明涉及一种面向硬件移植的锂电池深度诊断模型的模型压缩算法,属于深度神经网络模型压缩领域,包括以下步骤:S1:利用阈值学习方法获取锂电池故障诊断模型中的混合卷积神经网络重要权值,在不损失精度的情况下减少网络规模;S2:采用数值聚合方式量化强制实现权值共享,使用压缩稀疏格式存储有效的共享权值编码与和索引;S3:通过顶部标量量化和底部质心微调进行权值分配与哈夫曼编码,使用可变长度码编码权重与索引,进一步减少网络所需要的存储空间。本发明采用的修剪,量化和霍夫曼编码的三级流水线方式,在每一级流水线中,都能够在不损失精度的前提下,一步一步的删除冗余权重,大大压缩网络模型。
  • 一种基于多种神经网络组合的量刑计算方法-201811504341.7
  • 王世晞;张亮;徐建忠;李娇娇 - 杭州世平信息科技有限公司
  • 2018-12-10 - 2019-11-01 - G06N3/04
  • 一种基于多种神经网络组合的量刑计算方法,包括以下步骤:步骤S1、构建训练数据集,从裁判文书网中获取文书训练集,切分出案情描述和判决刑期,对每一条案情描述文本训练词向量,统计刑期区间并划分类别,训练量刑类别划分器;步骤S2、对待计算刑期的案情描述文本查询词向量后,输入步骤S1得到的量刑类别划分器进行分类,预测出量刑区间,使用区间中统计的代表值作为刑期结果。本发明克服了传统特征分析方法过于复杂、消耗人力资源多、专家系统质量不高的缺陷,该量刑计算方法能够在可靠的文书数据量下有效拟合出特定的量刑计算模型,解决了案情描述文本量刑计算效果不佳的问题,将本发明的方法应用到量刑计算中能够使预测性能明显提升。
  • 使用基于模块化连接的CNN的集成电路的深度学习图像处理系统-201910118216.0
  • 杨林;孙宝华;杨晋;董子翔 - 海青智盈技术公司
  • 2019-02-16 - 2019-10-25 - G06N3/04
  • 深度学习图像处理系统至少包含第一和第二组基于细胞神经网络(CNN)的集成电路(IC)。第一组和第二组经由网络总线可操作地并联连接。在第一和第二组中的每个内的基于CNN的IC经由网络总线可操作地串联连接。第一组被配置用于在深度学习模型的相应部分中执行卷积运算,以从输入数据的第一子部分中提取出特征。第二组被配置用于在深度学习模型的相应部分中执行卷积运算,以从输入数据的第二子部分中提取出特征。深度学习模型被划分为由相应的基于CNN的IC处理的多个连续部分。输入数据至少被划分为第一和第二子部分。
  • 一种针对深度学习网络参数的量化方法-201910521633.X
  • 韦逸;赵明敏;赵民建 - 浙江大学
  • 2019-06-17 - 2019-10-25 - G06N3/04
  • 本发明提供了一种针对深度学习网络参数的量化方法。本方法包括如下步骤:(1)构建深度学习网络,产生训练数据;(2)利用大量训练数据对所构建的深度学习网络进行训练,确定网络参数;(3)提取出学习参数,确定超参数;(4)设计量化器,由超参数确定所设计软阶梯函数的具体表达式,并引入可学习参数,使之形状可调整;(5)将该带有学习参数的软阶梯函数引入深度学习网络,量化学习参数,通过相同的训练数据学习量化器参数,训练过程采用退火策略;(6)固定训练后的量化器参数,运用量化器对深度学习网络参数进行量化。本发明能够有效降低量化所引起的性能损失,大大降低了深度网络所需的存储开销。
  • 一种深度神经网络模型的数据并行训练方法、装置及设备-201910672272.9
  • 曹芳;郭振华;王丽 - 苏州浪潮智能科技有限公司
  • 2019-07-24 - 2019-10-25 - G06N3/04
  • 本发明公开了一种深度神经网络模型的数据并行训练方法、装置、设备及计算机可读存储介质,该方法包括:第一处理器向每个第二处理器发送当前模型参数和各自对应的当前训练数据,以使每个第二处理器根据当前模型参数和各自对应的当前训练数据对预设深度神经网络模型进行训练;本发明通过根据存储的预设数值的梯度数据更新当前模型参数,来减少计算梯度使用的权重参数的陈旧性问题;并且不需要等待所有第二处理器均完成一次训练,当前第二处理器完成训练后,可以立即返回获取下一个batch的训练数据进行下一轮训练,从而提高了DNN模型的数据并行训练的整体训练效率,降低了DNN模型训练所需的总训练时间,提升了用户体验。
  • 对抗样本生成方法、装置、电子设备和计算机可读介质-201910684104.1
  • 苗宁;周浩;李磊 - 北京字节跳动网络技术有限公司
  • 2019-07-26 - 2019-10-25 - G06N3/04
  • 本公开的实施例公开了对抗样本生成方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:对于训练样本集中的训练样本,执行以下生成步骤,其中,训练样本包括样本文本和该样本文本对应的标注信息:生成该样本文本对应的候选文本;将该候选文本输入文本处理模型,得到文本处理结果信息;若该候选文本对应的文本处理结果信息满足预设条件,将该候选文本以及该候选文本对应的文本处理结果信息确定为对抗样本。该实施方式实现了控制对抗样本向着期望的方向生成。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top