[发明专利]基于对抗学习的控制策略模仿学习方法及装置有效

专利信息
申请号: 202010302194.6 申请日: 2020-04-16
公开(公告)号: CN111488988B 公开(公告)日: 2021-10-29
发明(设计)人: 杨君;张明;王亚伟;芦维宁;李志恒;梁斌 申请(专利权)人: 清华大学
主分类号: G06N3/08 分类号: G06N3/08;G06F30/20
代理公司: 北京清亦华知识产权代理事务所(普通合伙) 11201 代理人: 王艳斌
地址: 10008*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明公开了一种基于对抗学习的控制策略模仿学习方法及装置,方法包括:获取人类专家的决策示教数据,并且获取与专家示教决策数据对应的仿真环境;构建控制策略网络,控制策略网络的输入为仿真环境返回的状态,输出为决策动作;使用当前策略网络在仿真环境进行交互,获得当前策略的决策轨迹数据,基于对抗学习的模仿学习方法对专家轨迹数据进行模仿,逐步缩减策略网络决策轨迹数据和专家决策轨迹数据之间的分布差异,以模仿学习得到能够产生专家决策轨迹的策略网络;将通过对抗模仿策略得到的控制策略网络的参数固定保持,以进行实际环境控制任务的应用。该方法结合数据与模型的双重优势,通过对抗学习策略获得鲁棒性更强的控制策略,简单易实现。
搜索关键词: 基于 对抗 学习 控制 策略 模仿 学习方法 装置
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/202010302194.6/,转载请声明来源钻瓜专利网。

同类专利
  • 微弱信号数据增强方法-202111157125.1
  • 高翔;潘磊;廖泓舟 - 西南电子技术研究所(中国电子科技集团公司第十研究所)
  • 2021-09-30 - 2023-02-03 - G06N3/08
  • 本发明公开的一种微弱信号数据增强方法,数据采集精度高、抗干扰能力强。本发明通过下述技术方案实现:在数据增强模型中,原始信号数据通过变分自编码模块指定具体特征生成初步增强信号;将原始信号数据的概率分布密度,编码映射到一个隐变量样本空间中,计算出其隐变量样本的均值和方差;生成网络从已知服从似然分布数据中随机采样,获取隐变量,计算出服从高斯分布初步增强信号;生成对抗模块采用生成器对初步增强信号进行增量生成,得到最优生成器与判别器,生成器根据变分自编码模块输出的初步增强信号生成最终增强信号数据,然后利用训练好的网络生成增强的高信噪比信号,输出真实信号的概率,用于生成器的迭代训练,输出增强信号数据。
  • 神经网络的正则化训练-202180039912.8
  • J·E·M·梅纳特 - 罗伯特·博世有限公司
  • 2021-06-02 - 2023-01-31 - G06N3/08
  • 一种用于借助于学习数据集(2)来训练人工神经网络KNN(1)的方法(100),所述KNN将一个或多个输入参量(11)转化成一个或多个输出参量(13),所述学习数据集包括具有测量数据的学习输入参量值(11a)和相关的学习输出参量值(13a),所述方法具有如下步骤:来自至少一个学习数据集(2)的学习输入参量值(11a)由所述KNN(1)映射(110)到输出参量值(13);所述输出参量值(13)与相应的学习输出参量值(13a)的偏差根据成本函数(14)被处理(120)成所述KNN(1)在处理所述学习输入参量值(11a)时的误差(14a)的量度;从所述误差(14a),通过反向传播来确定(130)对所述参数(12)的如下更改,在通过所述KNN(1)来进一步处理学习输入参量值(11a)时,对所述更改的执行预计会改善通过所述成本函数(14)对在此所获得的输出参量值(13)的评估,而且将所述更改应用(140)于所述KNN(1);其中所述输出参量值(13)的一部分(13*)至少在反向传播(130)中被排除(131)。
  • 用于控制技术系统的控制装置和用于配置该控制装置的方法-202180041457.5
  • S·奥伯迈尔;V·斯特辛;M·托基克;S·乌德鲁夫;M·C·韦伯 - 西门子股份公司
  • 2021-04-09 - 2023-01-31 - G06N3/08
  • 记录控制信号(CS)的时间序列和技术系统(TS)的测量到的状态数据(SD)的时间序列。将所述控制信号(CS)的时间序列馈入到神经网络(NN)中并且将神经网络(NN)的输出数据(PD)作为仿真输入数据馈入到仿真模块(SIM)中。通过仿真模块(SIM)根据所述神经网络(NN)的输出数据(PD)执行物理仿真,其中确定所述技术系统(TS)的所仿真的状态数据(SSD)。所述神经网络(NN)然后被训练为减小测量到的状态数据(SD)与所仿真的状态数据(SSD)之间的距离。经训练的神经网络(NN)与仿真模块(SIM)形成混合仿真器(HSIM)。生成多个不同的其他控制信号(CSG)并且馈入到混合仿真器(HSIM)和另一神经网络(NNS)中。所述另一神经网络(NNS)被训练为减小技术系统(TS)的由混合仿真器(HSIM)所仿真的状态数据(SSO)与所述另一神经网络(NNS)的输出数据(NNO)之间的距离。这样训练的另一神经网络(NNS)现在可以被控制装置(CTL)用于预测技术系统(TS)对任意控制信号(CS)的预期反应。由此使控制装置(CTL)能够在考虑针对任意控制信号的预测的情况下前瞻性地控制技术系统(TS),而没有预测误差的大的散布。
  • 一种基于深度时空神经网络的气温预报方法-202110087773.8
  • 吕之豪;潘斌;谢仲铭;王健禹;王昊辰 - 南开大学
  • 2021-01-22 - 2023-01-31 - G06N3/08
  • 本发明提供了一种基于深度时空神经网络的气温预报方法,基于带有社会池化层的长短期记忆神经网络(Social LSTM),构建时空结合的深度学习模型用于气温预报:获取待预报区域历史气温数据,预处理为可输入模型的时间序列样本并划分训练集测试集;建立模型,其特征在于将每个子区域分别建立长短期记忆网络(LSTM)单元,将上一时刻LSTM单元输出的隐藏状态整合为社会张量,与下一时刻温度数据合并输入LSTM单元,针对网格;设定模型超参数,使用训练集训练模型,根据模型在测试集上的预测误差调整超参数设置;最终,将待预报时间之前的一段时间内的温度数据调整为适配模型输入的温度序列,输入模型得到预报结果。
  • 基于异质性混杂数据的不变学习方法及装置-202110466244.9
  • 崔鹏;刘家硕 - 清华大学
  • 2021-04-28 - 2023-01-31 - G06N3/08
  • 本发明公开了一种基于异质性混杂数据的不变学习方法及装置,首先利用异质性的混杂训练数据,使用不稳定协变量与目标变量之间的关系进行异质性识别,将混杂的异质性数据划分为多环境,再利用学习到的多环境训练数据在模型优化的过程中加入不变性正则项进行不变学习,并得到稳定协变量,进一步获得估计更加准确的不稳定协变量,更好地进行异质性识别来得到更好的环境划分,最终算法会给出最优的异质性环境划分、不同协变量的稳定性指数以及模型参数。通过协变量的稳定性指数来区分不同协变量的相对鲁棒性,对于模型输入可以得到更为准确的预测结果,在图像分类等多种领域有很高的应用价值。
  • 自适应曲线学习方法、装置、计算机设备及存储介质-202110695785.9
  • 付文杰;宋国梁;王立国;李明权 - 潍柴动力股份有限公司;潍坊潍柴动力科技有限责任公司
  • 2021-06-23 - 2023-01-24 - G06N3/08
  • 本发明公开了一种自适应曲线学习方法、装置、计算机设备及存储介质,该方法包括:根据被控对象的历史运行参数建立自学习规则,自学习规则包括被控对象的初始边界条件、纵坐标梯度限制条件和自学习点插值融合条件,初始边界条件包括被控对象的最大维度值、最大边界点坐标、最小边界点坐标及预设限定间隔阈值;根据初始边界条件、纵坐标梯度限制条件及自学习点插值融合条件对变工况下被控对象的积分值进行学习,得到多个自学习点;根据多个自学习点建立积分值的自适应曲线。本发明通过建立自学习规则,对变工况下被控对象的积分值进行累积学习,优化自学习工况点,建立自适应曲线,有利于改善变工况下的自适应比例积分控制效果。
  • 一种神经网络模型的训练方法及装置-202111211760.3
  • 成晨;郑雨婷;程新洲;郝若晶;张晴晴;王天翼;贾玉玮;关键;徐乐西;王云云;韩玉辉 - 中国联合网络通信集团有限公司
  • 2021-10-18 - 2023-01-24 - G06N3/08
  • 本申请提供一种神经网络模型的训练方法及装置,涉及信息处理技术领域,能够提高神经网络模型对用户的消费水平预测的准确度。该方法包括:获取多个样本用户的运营商数据,以及多个样本用户的消费行为等级;根据多个样本用户的运营商数据,确定多个样本用户的消费行为;消费行为包括以下至少一项:线下消费方式,通话地区,出行方式,线上消费方式,金融偏好,以及通信消费;确定多个样本用户的消费行为中,每个消费行为的行为特征数据;行为特征数据包括行为热度,行为深度,以及行为规律;将多个样本用户的行为特征数据,以及多个样本用户的消费行为等级作为训练数据对预设神经网络模型进行训练,得到消费行为预测模型。
  • 拓扑识别模型的压缩方法、装置、电子设备及介质-202210983746.3
  • 苑佳楠;霍超;白晖峰;张港红;高建;郑利斌;于华东;尹志斌;罗安琴;谢凡;申一帆;杨双双;丁啸 - 北京智芯微电子科技有限公司
  • 2022-08-17 - 2023-01-20 - G06N3/08
  • 本公开涉及计算机技术领域,具体涉及一种拓扑识别模型的压缩方法、装置、电子设备及介质,所述拓扑识别模型的压缩方法包括:对待压缩模型进行剪枝,得到剪枝模型,并对所述剪枝模型进行训练,得到训练好的剪枝模型;将所述训练好的剪枝模型中各神经网络层的权重参数的比特位数由第一比特位数量化到第二比特位数,得到高量化剪枝模型,并对所述高量化剪枝模型进行训练,得到训练好的高量化剪枝模型;将所述训练好的高量化剪枝模型作为待压缩模型,继续对所述待压缩模型进行剪枝和量化,直至得到压缩好的拓扑识别模型,并将所述压缩好的拓扑识别模型部署到电力物联终端,从而在确保拓扑识别模型的精度满足需求的情况下,减小拓扑识别模型的尺寸。
  • 一种基于旧数据增量检测新数据的方法-202211206337.9
  • 靳雨桐;张杰;陈扬 - 中科苏州智能计算技术研究院
  • 2022-09-30 - 2023-01-17 - G06N3/08
  • 本发明揭示了一种基于旧数据增量检测新数据的方法,先以旧数据作为输入,通过提取有效特征并送入检测器中,得到能检测旧数据的模型并定义为旧模型;而后将旧模型进行备份,其一冻结模型参数仍作为旧模型,且备份所得未冻结模型参数的定义为新模型;对两个模型都输入新数据,提取得到包含旧数据特性的特征和新数据的特征,再利用相关特征转移模块计算两个模型所提取特征的亲和矩阵,比较旧数据和新数据之间的相关特征,并将相关特征融合到新模型所学习到的特征中;最后将融合后的特征送入检测器中,并在蒸馏损失的约束下,同时检测新数据、旧数据。应用本发明该方法,既能辅助模型学习新数据,又保留模型对旧数据的学习能力,性能表现好。
  • 浮点模型的多精度量化方法及装置-202211291646.0
  • 林晨;彭博;李哲暘;谭文明;任烨 - 杭州海康威视数字技术股份有限公司
  • 2022-10-20 - 2023-01-17 - G06N3/08
  • 本发明公开了一种浮点模型的多精度量化方法及装置,该量化方法包括:获取给定浮点模型各计算层中的原始量化精度,并获取预先设置的量化函数;将多个原始量化精度中的其中一个原始量化精度作为基础量化精度,根据量化函数将基础量化精度对应的量化缩放系数确定为基础量化缩放系数;在基础量化精度的基础上获得各个原始量化精度对应的实际量化缩放系数;利用量化函数根据基础量化缩放系数或实际量化缩放系数,对各个原始量化精度进行优化处理,并在优化处理的过程中,采用已经优化的原始量化精度的优化精度对下一个未优化的原始量化精度进行优化处理。本发明解决了不同精度的参数优化过程没有关联、过大的优化空间导致时间消耗大的问题。
  • 一种基于自监督图学习的认知诊断方法及其应用-202211246960.7
  • 王姗姗;曾振;杨勋;张兴义;马海平;张丽淼 - 安徽大学
  • 2022-10-12 - 2023-01-17 - G06N3/08
  • 本发明公开了一种基于自监督图学习的认知诊断方法及其应用,该方法包括:1、依据学生与习题的交互记录,习题与知识概念之间的关联关系,构建认知诊断关系图,2、构建包含嵌入层、GCN网络、诊断层、预测层的诊断网络,3、使用诊断网络对学生回答习题的正确率进行预测,使用预测结果构建交叉熵损失,4、使用基于边重要性的边删除方法为关系图随机生成两个不同的稀疏视图,计算节点在不同稀疏视图上的特征,并构建自监督损失,5、使用交叉熵损失优化整个诊断网络,使用自监督损失优化GCN网络。本发明能在训练诊断网络的过程中关注到数据稀疏的学生,从而能提高诊断网络的总体诊断水平。
  • 降水预测方法-202211254604.X
  • 谭超;陈骥;朱红旭;陈训来;姚弘祎;许涧峰;姜先齐 - 中国气象局人工影响天气中心
  • 2022-10-13 - 2023-01-17 - G06N3/08
  • 本发明提供了一种降水预测方法,该方法以不同时间分辨率的降水数据构建不同时间分辨率的样本集,从而可以使得不同样本集中的样本具备不同时次,形成了多分辨率多时次多尺度的降水样本,这样得到的降水预测模型即使用不同时间分辨率的降水实测序列,都可以得到较好的降水预测序列。在训练得到具备这种优势的降水预测模型的基础上,可以进行降水预测,从而使得未来一段相对长的时间内的预测结果都是准确的。
  • 训练精炼的机器学习模型-202211258471.3
  • 奥里奥尔·温亚尔斯;杰弗里·阿德盖特·迪恩;杰弗里·E·欣顿 - 谷歌有限责任公司
  • 2015-06-08 - 2023-01-17 - G06N3/08
  • 一种用于训练精炼的机器学习模型的方法、系统和装置,包括编码在计算机存储媒体上的计算机程序。其中一个方法包括训练繁冗的机器学习模型,其中该繁冗的机器学习模型被配置为接收输入并生成针对多个分类中的每个的相应的分数;以及在多个训练输入上训练精炼的机器学习模型,其中该精炼的机器学习模型也被配置为接收输入并生成针对所述多个分类的分数,包括:使用繁冗的机器学习模型处理每个训练输入以生成针对该训练输入的繁冗的目标软输出;以及训练精炼的机器学习模型以针对每个训练输入生成与针对该训练输入的该繁冗的目标软输出匹配的软输出。
  • 一种模型部署方法、装置、系统及电子设备-202211389776.8
  • 赵武金;宋莉莉;张祥建 - 北京视海芯图微电子有限公司
  • 2022-11-08 - 2023-01-17 - G06N3/08
  • 本发明实施例公开了一种模型部署方法,包括:获取待部署至目标设备的原始模型及目标设备;对原始模型进行剪枝及量化处理,得到中间模型;根据目标设备将中间模型转换为目标模型,并将其部署至目标设备。本实施例的优点如下:1、对原始模型进行剪枝,可以去掉作用较小或无用的层,减少了网络结构的复杂度;2、对原始模型进行量化,可以将模型权重从FP32变为FP16,甚至是INT8,可以达到节省机器资源的目的;3、针对不同的硬件平台,先将模型转换为中间模型(ONNX模型),再转换为对应硬件的部署框架模型,例如针对CPU转换为Openvino模型,针对GPU转换为Tensorrt模型,可充分地利用硬件资源。
  • 神经网络的训练方法、电子设备、存储介质-202010103237.8
  • 李亚鹏;王宁波 - 浙江大华技术股份有限公司
  • 2020-02-19 - 2023-01-17 - G06N3/08
  • 本申请公开了一种用于人脸优选的神经网络的训练方法、电子设备、存储介质。该方法包括:将带标签的训练人脸序列输入待训练的神经网络,得到训练人脸序列的输出结果,其中标签包括训练人脸序列的已知质量分数序列;对预测质量分数序列进行回归处理得到第一概率分布;利用第一概率分布与第二概率分布计算损失函数;调整神经网络的参数以缩小损失函数;重复执行上述过程直至满足预设的停止训练的条件。通过上述方式,能够对神经网络的参数进行训练。
  • 对高位宽值数据进行拆分的装置、方法、芯片及板卡-202010556334.2
  • 请求不公布姓名 - 上海寒武纪信息科技有限公司
  • 2020-06-17 - 2023-01-17 - G06N3/08
  • 本披露公开了用于数据处理的数据处理装置、集成电路芯片、板卡、和计算装置,其中该计算装置可以包括在组合处理装置中,该组合处理装置还可以包括通用互联接口和其他处理装置。所述计算装置与其他处理装置进行交互,共同完成用户指定的计算操作。组合处理装置还可以包括存储装置,该存储装置分别与设备和其他处理装置连接,用于存储该设备和其他处理装置的数据。本披露的方案可以对具有高位宽值的数据进行拆分,以使得处理器的处理能力不受位宽的影响并且加速运算和减少计算开销。
  • 面向自然语言处理的神经网络模型量化方法和装置-202211162125.5
  • 刘祥龙;魏秀颖;龚睿昊;李莹;吕金虎 - 北京航空航天大学
  • 2022-09-23 - 2023-01-17 - G06N3/08
  • 本发明公开了一种面向自然语言处理的神经网络模型量化方法和装置。该方法包括如下步骤:针对全精度的预训练语言模型中的LayerNorm结构,进行缩放参数的转移,得到一个等价的浮点预训练语言模型;基于少量数据,使用基于单词的裁剪步骤在浮点预训练语言模型的基础上确定裁剪范围;根据该裁剪范围计算量化步长,得到经过量化的预训练语言模型。利用本发明,可以在没有额外计算开销的情况下,获得量化程度更好的预训练语言模型,从而使所需的计算开销显著降低,特别适合边缘设备对低功耗的需求。
  • 基于局部分类器的高效深层脉冲神经网络学习方法-202211271313.1
  • 于强;马晨翔;魏建国 - 之江实验室;天津大学
  • 2022-10-17 - 2023-01-13 - G06N3/08
  • 本发明属于类脑计算、深度学习领域,公开了基于局部分类器的高效深层脉冲神经网络学习方法。主要步骤包括:使用脉冲神经元模型构造深度脉冲神经网络;将训练数据输入到SNN中,并记录相应的脉冲神经元状态值,更新参数;使用基于局部分类器的高效SNN学习方法对网络的参数进行调整;重复前两步,直到SNN学习完成。因此,本发明大幅度提升在局部学习模式下深层SNN在实际任务上的准确率,同时能够实现并行高效地网络学习训练。
  • 一种对系统多维度状态变化时间序列数据进行建模的方法及装置-202211155310.1
  • 陈新;杨玉萍 - 浙江大学
  • 2022-09-22 - 2023-01-13 - G06N3/08
  • 本发明公开了一种对系统多维度状态变化时间序列数据进行建模的方法及装置,本发明通过单位时间正向变化生成器(G单元)的设计,使得模型可学习系统两个时间状态的变化,将传统方法对时序轨迹进行整体学习的方式转换为对时序轨迹的特定时间点变化学习的方式,解决了存在残缺点的时序数据无法被学习的问题,由于训练方式的改变,通过一个批次的时间序列数据可以组织多个学习例子,使得例子数量变多,提高训练数据的信息效能;通过模型学习单位时间上系统状态变化的规律,其本质是一个系统工作机制的模型,可在该模型上叠加新的系统工作机制以预测对现有系统工作机制的改变可能产生系统行为的何种改变。
  • 一种基于重要数据进行知识蒸馏的方法-202211230860.5
  • 崔凯;张帆 - 南京工业大学;绍兴兰红智能科技有限公司
  • 2022-10-09 - 2023-01-13 - G06N3/08
  • 本发明涉及神经网络模型优化领域,具体涉及一种根据训练数据对测试数据的影响力分数来挑选重要数据从而进行知识蒸馏的模型以及方法,选取重要的训练数据时候我们采取利用记录模型参数梯度下降的方法来量化数据对模型的影响,通过将训练数据和测试数据对模型参数梯度下降的方向和距离做点积得到训练数据对测试数据的影响力分数。知识蒸馏通将一个网络模型结构较为复杂、网络性能较好的模型作为教师模型,将另一个网络模型结构较为简单、网络性能较差的模型作为学生模型,然后在学生模型训练的时候先将训练数据放入到教师模型中产生关于训练数据的知识,然后再利用这个知识来指导学生模型的训练,从而提高学生模型的性能。本发明能在模型复杂度较小、训练数据较少的情况下达到原始模型的性能,而且能够有效降低模型的运算成本,使得最后的模型能够在低算力的设备上运行。
  • 面向输配电线路缺陷检测模型的自学习方法及装置-202211125456.1
  • 许志松;于虹;周帅 - 云南电网有限责任公司电力科学研究院
  • 2022-09-15 - 2023-01-13 - G06N3/08
  • 本发明涉及一种面向输配电线路缺陷检测模型的自学习方法及装置,所述方法包括基于输配电线路缺陷检测的历史数据构成训练集和测试集;将训练集输入至预构建的特征提取网络中进行迭代训练,得到特征提取模型;将测试集输入至特征提取模型中,对特征提取模型进行调整,直至得到最佳特征提取模型;将待测数据输入至最佳特征提取模型中得到最佳目标特征,将目标特征输入至输配电线路缺陷数据模型中以更新输配电线路缺陷数据模型的网络参数。本发明基于分层注意力机制对输配电线路缺陷数据模型进行优化修改,实现输电线路故障诊断与定位的自学习,最终实现模型的自我进化,不断适应最新工况。
  • 面向多机多卡计算系统的并行训练DNN模型的方法及系统-202211382434.3
  • 关磊;李东升;卢锡城 - 中国人民解放军国防科技大学
  • 2022-11-07 - 2023-01-13 - G06N3/08
  • 本发明提供了一种面向多机多卡系统的流水线并行方法及系统,在每个计算节点上,通过使每个Mini‑batch切分成T个Micro‑batch并依次发射进入由N个GPU组成的流水线结构中,允许来自不同Mini‑batch的Micro‑batch在流水线中以一个前向传播和一个反向传播方式交替执行。在任意一个计算节点上,流水线结构完全相同且几乎不产生“气泡”,因而能够产生极高的GPU利用率。为了克服Stage权重异步更新所造成的权重不一致和权重陈旧问题,对于每个计算节点的任意一个GPU,本申请选择每一个Mini‑batch中的第一个Micro‑batch作为“首领”负责权重预测,使得每个Mini‑batch中的所有Micro‑batch在做前向传播和反向传播时都使用接近一致的Stage权重,有力保证了流水线并行训练过程中模型参数学习的有效性。
  • 基于金字塔知识蒸馏框架模型压缩极限分析方法及装置-202211319122.8
  • 庞艳华;陈波;冯学尚;赵阳;王博弋 - 哈尔滨工业大学(深圳)
  • 2022-10-26 - 2023-01-13 - G06N3/08
  • 本发明提出一种基于金字塔知识蒸馏框架模型压缩极限分析方法,包括:构建金字塔结构的N组在线深度互学习模型;将每组在线深度互学习模型进行在线深度互学习,记录每组在线深度互学习模型中两个模型的参数量和模型性能;其中,从自下而上第2在线深度互学习模型组开始,进行在线深度互学习的同时,接受前一个在线深度互学习模型组离线知识蒸馏;提取第1模型组到第N‑1模型组所有模型的潜在表征送入自适应器生成教师重要性权重软标签对第N组在线深度互学习模型进行在线深度互学习,记录第N组模型的参数量和模型性能;根据每组在线深度互学习模型中两个模型的参数量和模型性能和第N组模型的参数量和模型性能分析出模型压缩比与精度的平衡点。
  • 基于主任务神经元的深度学习模型祛毒加固方法-202211287984.7
  • 陈晋音;李潇;张任杰 - 浙江工业大学
  • 2022-10-20 - 2023-01-13 - G06N3/08
  • 本发明公开了一种基于主任务神经元的深度学习模型祛毒加固方法,包括:选取图像数据集,生成中毒样本,基于中毒样本训练得到中毒模型;将图像数据集输入至中毒模型中,计算图像数据集中每一类图片对应的神经元的激活值,对所有神经元的激活值进行排序,取前n个的神经元作为高激活值的神经元;对高激活值的神经元取重叠部分,作为该类的主任务神经元;统计出图像数据集中每一类的主任务神经元。将各个类主任务神经元的差异部分划分为K组,取其中一组在中毒模型中删除改组内的神经元,分别计算中毒模型的性能;依据性能变化,得到待删除的神经元集合;在中毒模型中删除待删除的神经元集合,并对中毒模型进行重训练得到祛毒加固的深度学习模型。
  • 一种基于FPGA的AI芯片神经网络加速方法-202110709462.0
  • 李贺;李柔仪;朱璟;余荣;谭北海;蔡健苹;韩晓岚 - 广东工业大学
  • 2021-06-25 - 2023-01-13 - G06N3/08
  • 本发明公开了一种基于FPGA的AI芯片神经网络加速方法,在训练YOLO网络时进行量化训练,将神经网络的浮点算法转换为定点,大大减少内存的占用,提升计算速度及带宽,达到降低功耗的效;采用HLS开发方式基于Darknet框架快速生成YOLO卷积神经网络加速器IP核,同时对卷积计算进行了变换,大大减少了计算量级;卷积计算消耗的乘法器资源大大减少,同时在保证高精度的基础上,FPGA的硬件资源利用率大大提高,大幅度降低了计算产生的功耗。
  • 一种深度卷积神经网络轻量化方法-202211324640.9
  • 詹伟达;姜靖恒;唐雁峰;徐小雨;郭金鑫 - 长春理工大学
  • 2022-10-27 - 2023-01-10 - G06N3/08
  • 本发明公开了一种深度卷积神经网络轻量化方法,涉及深度卷积神经网络领域。本发明包括以下步骤:构建第一深度卷积神经网络模型;对第一深度卷积神经网络模型进行剪枝操作,得到第二深度卷积神经网络模型;将第一深度卷积神经网络模型作为教师模型,将第二深度卷积神经网络模型作为学生模型,进行知识蒸馏操作,得到第三深度卷积神经网络模型;对第三深度卷积神经网络模型进行稀疏低秩分解,得到最终的网络模型。本发明解决了当前深度卷积神经网络模型冗杂的问题,大大降低模型大小并提升运行速度,同时本发明提出的方法实现过程简单,实现效率高。
  • 一种在特征空间内进行多维时序数据建模的神经网络方法及装置-202211155926.9
  • 陈新;杨玉萍 - 浙江大学
  • 2022-09-22 - 2023-01-10 - G06N3/08
  • 本发明公开了一种在特征空间内进行多维时序数据建模的神经网络方法及装置。本发明将原始观察数据进行规范化整理,得到形式统一的规范观察数据;基于规范观察数据组织用于人工神经网络训练的训练例子,设计人工神经网络的结构,建立人工神经网络模型等步骤,通过编码器模块(E)实现对观察数据的特征提取,降低数据维度,在特征空间内构建生成机制模型,从而降低生成机制模型的复杂度,抑制过学习的可能性,允许使用较少的样本得到较好的训练效果;通过在串联的生成机制模型的两侧添加编码器和解码器,使在特征空间工作的生成模型可以使用实际观察数据进行训练和预测,同时确保了生成机制模型输出的特征数据可以准确地还原为观察数据。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top