[发明专利]用于神经网络的性能感知的大小减小在审
| 申请号： | 202280010914.9 | 申请日： | 2022-07-28 |
| 公开（公告）号： | CN116745777A | 公开（公告）日： | 2023-09-12 |
| 发明（设计）人： | 沈马荧;P·莫尔恰诺夫;尹洪旭;毛磊;J·刘;J·M·A·洛佩兹 | 申请（专利权）人： | 辉达公司 |
| 主分类号： | G06N3/082 | 分类号： | G06N3/082;G06N3/0464 |
| 代理公司： | 北京市磐华律师事务所 11336 | 代理人： | 高伟 |
| 地址： | 美国加利*** | 国省代码： | 暂无信息 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 提出了用于简化神经网络的装置、系统和技术。在至少一个实施例中，使一个或更多个神经网络的一个或更多个部分至少部分地基于该一个或更多个神经网络的一个或更多个性能度量被去除。 | ||
| 搜索关键词： | 用于 神经网络 性能 感知 大小 减小 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于辉达公司，未经辉达公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202280010914.9/，转载请声明来源钻瓜专利网。
- 同类专利
- 模型量化方法、装置、设备及介质-202310733793.7
- 程雅慧 - 腾讯科技（深圳）有限公司
- 2023-06-19 - 2023-10-27 - G06N3/082
- 本申请公开了一种模型量化方法、装置、设备及介质，属于人工智能领域。该方法包括：从生成式模型中确定第一量化网络结构，第一量化网络结构是生成式模型中部分网络结构的量化结构，且第一量化网络结构中存在目标算子，目标算子的多个输入数据的数据精度不同；获取第二量化网络结构，第二量化网络结构是在第一量化网络结构的基础上插入或删除伪量化节点得到的，且第二量化网络结构中目标算子的多个输入数据的数据精度相同；训练包含第二量化网络结构的生成式模型。上述提供了一种针对生成式模型的部分网络结构更优的量化方案。
- 数据处理设备及其方法-202310460087.X
- 吉永幹;大佐欣也;加藤政美 - 佳能株式会社
- 2023-04-26 - 2023-10-27 - G06N3/082
- 本公开提供了数据处理设备及其方法。数据处理设备，包括：一个或多于一个存储器，其存储指令，以及一个或多于一个处理器，用于在执行所述指令时被配置为：利用分层连接的多个处理节点顺次地进行数据的处理；在所述一个或多于一个存储器中存储：所述多个处理节点各自的处理结果，以及所述多个处理节点各自的处理状态和参数，所述参数用于确定要进行处理的处理节点；从所述多个处理节点中轮回地指定处理节点，以基于层级的顺序进行处理；基于所存储的处理状态来判断是否能够进行利用指定处理节点的处理；以及基于判断结果和所存储的所述指定处理节点的参数，确定要进行处理的处理节点。
- 压缩神经网络模型的方法、装置和计算设备-202310125220.6
- 王清瑶;冯京浩 - 腾讯科技（深圳）有限公司
- 2023-01-19 - 2023-10-27 - G06N3/082
- 提供了一种压缩神经网络模型的方法，神经网络模型包括多个卷积层，每个卷积层包括至少一个滤波器。该方法包括：至少根据针对各个卷积层的通道稀疏度生成初始掩码矩阵，通道稀疏度表征从每个卷积层预期剩余的滤波器的数量；从多个卷积层中确定彼此存在依赖性的多个目标卷积层，依赖性包括滤波器通道依赖性和滤波器维度依赖性中的至少一个，滤波器通道依赖性指示各个目标卷积层需要保留相同索引的滤波器，滤波器维度依赖性指示各个目标卷积层需要保留相同数量的滤波器；以及根据依赖性和所述初始掩码矩阵对多个目标卷积层进行滤波器剪枝以压缩神经网络模。
- 一种卷积神经网络模型的自动压缩方法-202311034626.X
- 钟阳宇;杜凯;刘忠新;邓强;温研 - 北京麟卓信息科技有限公司
- 2023-08-17 - 2023-10-27 - G06N3/082
- 本发明公开了一种卷积神经网络模型的自动压缩方法，采用设定的选择条件及限制条件确定卷积神经网络模型中存在的可被剪枝的卷积算子及批量归一化算子，针对卷积算子及批量归一化算子分别采用特定的剪枝方式完成剪枝，实现了仅需设置初始参数等即可完成模型自动剪枝的功能，有效减少了模型剪枝过程所需的时间和人力，此外，对处于同一结构层的卷积算子及批量归一化算子在其剪枝后再同步通道尺寸进一步提高了剪枝效果。
- 基于最优传输理论的神经网络量化方法、系统及电子设备-202311218377.X
- 懂欢宁;胡峻毅;庞天吉;刘闯;张义夫;何贤昆 - 第六镜视觉科技（西安）有限公司
- 2023-09-21 - 2023-10-27 - G06N3/082
- 本发明提供基于最优传输理论的神经网络量化方法、系统及电子设备，包括：确定训练后的浮点数神经网络模型中待量化的浮点数权重，经过放缩操作后得到放缩权重；用随机变量
- 模型优化方法、装置、电子设备及可读存储介质-202110859734.5
- 张顺;李哲暘;彭博;任烨;谭文明;浦世亮;肖俊 - 杭州海康威视数字技术股份有限公司
- 2021-07-28 - 2023-10-27 - G06N3/082
- 本申请提供一种模型优化方法、装置、电子设备及可读存储介质，该方法包括：对当前网络模型进行预设轮数的稀疏约束训练，并依据预设阈值对训练后的第一网络模型进行裁剪，得到第一裁后模型；对第一裁后模型的各层进行等比例扩充，并对扩充后的网络模型进行非稀疏约束训练；迭代执行上述操作，直至得到的第二网络模型满足预设停止规则时，确定迭代完成；依据预设裁后计算量，以及迭代过程中得到的第二网络模型，确定第二裁后模型；依据第二裁后模型，对原始网络模型进行变权重稀疏约束训练，得到原始网络模型对应的稀疏模型，并对所述稀疏模型进行离线裁剪。该方法可以实现基于变权重稀疏约束的网络模型自动裁剪。
- 一种图像分类模型剪枝方法、装置、电子设备及存储介质-202211269688.4
- 马泽宇;陈敏刚;陈文捷;胡芸;蔡立志;沈颖;龚家瑜;陈达丽;丁敏捷;赵毅 - 上海计算机软件技术开发中心
- 2022-10-18 - 2023-10-27 - G06N3/082
- 本发明公开了一种图像分类模型剪枝方法、装置、电子设备及存储介质，涉及人工智能领域，该方法包括获取训练T个周期后的待剪枝的图像分类模型的参数序列；参数序列包括T个网络参数集合；网络参数集合由训练一个周期后的待剪枝的图像分类模型的网络参数组成；利用累计变化算子对参数序列中的网络参数变化进行统计，得到T个周期内网络参数的累计变化数组；根据累计变化数组和参数序列对图像分类模型进行参数剪枝或参数冻结，得到稀疏神经网络模型；将稀疏神经网络模型部署至图像分类便携式智能终端。本发明能够提高图像分类模型训练性能和训练效率。
- 神经网络模型的蒸馏方法和装置-202010387563.6
- 希滕;张刚;温圣召 - 北京百度网讯科技有限公司
- 2020-05-09 - 2023-10-27 - G06N3/082
- 本申请涉及人工智能领域，公开了神经网络模型的蒸馏方法和装置。该方法包括：构建蒸馏策略的搜索空间；通过执行多次迭代操作对第二神经网络模型进行蒸馏训练，迭代操作包括：采用预设的控制器从蒸馏策略的搜索空间中搜索出候选蒸馏策略，基于候选蒸馏策略，将预设的至少一个第一神经网络模型作为教师网络对第二神经网络模型进行蒸馏训练；获取基于候选蒸馏策略蒸馏后的第二神经网络模型的性能，并根据蒸馏后的第二神经网络模型的性能生成反馈信息；根据反馈信息更新控制器；响应于根据反馈信息确定当前的迭代操作未达到预设的收敛条件，基于更新后的控制器执行下一次迭代操作。该方法实现了最优蒸馏策略的自动搜索。
- 一种数据处理方法及相关装置-202210336391.9
- 吴佳骏;孙乘坚;杨晨阳;王坚;李榕 - 华为技术有限公司
- 2022-03-31 - 2023-10-24 - G06N3/082
- 本申请提供了一种数据处理方法及相关装置。该方法包括：获取K维数据，将该K维数据输入第一机器学习模型，获得待求解问题的解。其中，第一机器学习模型包括第一处理模块和第二处理模块。第二处理模块是基于待求解问题的约束条件确定的。第二处理模块用于对K维数据进行维度泛化。第一处理模块是根据m维数据训练获得的。m的取值与K的取值无关，K、m为正整数。在求解待求解问题时，采用了对K维数据进行维度泛化的第二处理模块，从而可增强K维数据的维度泛化能力，另外采用了根据m维预先训练获得的第一处理模块，无需因为输入数据的维度的变化而重新训练第一处理模块，可以以较低的系统开销，保证待求解问题的解的准确性。
- 神经网络剪枝方法及相关产品-202210364501.2
- 李文进 - OPPO广东移动通信有限公司
- 2022-04-07 - 2023-10-24 - G06N3/082
- 本申请实施例公开了一种神经网络剪枝方法及相关产品，方法包括：确定第一模型，其中，所述第一模型支持细粒度训练；对所述第一模型进行分析，以剪去不达标的权值，得到第二模型；对所述第二模型对应的权值进行初始化，得到第三模型；对所述第三模型进行迭代训练，直至所述第三模型收敛或迭代次数达到最大迭代次数；在每一代所述迭代训练中，判断每一代迭代训练得到的第四模型对应的压缩比是否达标；若所述压缩比达标，则确定剪枝操作结束。采用本申请实施例有利于提高训练灵活性，并有利于开发者针对自身的应用场景进行灵活定制，从而避免由于剪去部分不重要的权重而造成神经网络模型表达能力受损的影响。
- 神经网络的剪枝处理方法、装置、设备及介质-202210346578.7
- 刘松伟 - 北京字跳网络技术有限公司
- 2022-03-31 - 2023-10-24 - G06N3/082
- 本公开实施例涉及一种神经网络的剪枝处理方法、装置、设备及介质，其中该方法包括：根据预设的剪枝压缩指标对初始神经网络进行剪枝处理，获取多个候选子网；根据预设的性能评估指标预测每个候选子网在目标硬件平台上运行的预估数值；根据预估数值从多个候选子网中筛选目标子网，其中，目标子网在目标硬件平台上运行的预估数值，匹配预先配置的与性能评估指标对应的目标数值范围。可见，本公开实施例以直接的硬件评估指标准确筛选出更加适应硬件平台特性的目标子网进行数据处理，进一步的提高了网络的运行性能和数据处理效率。
- 神经网络的剪枝处理方法、装置、设备及介质-202210345588.9
- 刘松伟 - 北京字跳网络技术有限公司
- 2022-03-31 - 2023-10-24 - G06N3/082
- 本公开实施例涉及一种神经网络的剪枝处理方法、装置、设备及介质，其中该方法包括：确定初始神经网络的卷积层中卷积内核的第一特征值和第二特征值，第一特征值表示卷积内核的稀疏特征，第二特征值表示卷积内核与卷积层中的其他卷积内核之间的差异特征，基于第一特征值和第二特征值确定卷积内核的评估数据，评估数据用于反映卷积内核在卷积层中的重要程度，根据卷积层中所有卷积内核的评估数据筛选出目标卷积内核对目标卷积内核进行剪枝处理获取目标神经网络。采用上述技术方案，能够更加精准确定目标卷积内核并进行剪枝处理，提高剪枝处理的精度和效率，使得剪枝处理合理化，保证剪枝的高速度收益及剪枝之后神经网络的高精度，提高了剪枝性能。
- 一种视觉Transformer的动态剪枝方法-202310697926.X
- 郭锴凌;陈灿阳;徐向民 - 华南理工大学;人工智能与数字经济广东省实验室（广州）
- 2023-06-13 - 2023-10-24 - G06N3/082
- 本发明公开了一种视觉Transformer的动态剪枝方法，涉及深度学习领域，针对现有技术中模型冗余剪枝问题提出本方案，包括以下步骤：在建立模型结构后，对视觉Transformer网络模型进行训练，优化视觉Transformer网络模型中的权重和结构参数，并在训练过程中对模型冗余进行剪枝；本发明采用令牌剪枝和特征稀疏联合工作的方式同时修剪模型中的冗余令牌和冗余通道，可以更加有效地降低模型的浮点计算量，节省模型所需的计算资源，同时，本发明的令牌矩阵的计算仅依赖于的当前层的输入特征，在浅层编码器模块中被误丢弃的令牌可以在后续编码器模块中被重新恢复。
- 一种模型压缩方法及装置-201910480533.7
- 詹金波;徐倩;杨强 - 深圳前海微众银行股份有限公司
- 2019-06-04 - 2023-10-24 - G06N3/082
- 本发明涉及金融科技领域，并公开了一种模型压缩方法及装置，方法包括：获取父代模型；对父代模型进行变异操作，得到初始子代种群；将初始子代种群作为迭代种群，根据迭代种群的每个变异模型的适应性函数值确定迭代子群；将迭代子群中的每个变异模型进行变异操作，得到迭代后代；将迭代后代和迭代子群作为迭代种群重复进行迭代，直至满足迭代终止条件，适应性函数值是根据变异模型的模型规模、变异模型的模型计算时间以及变异模型的模型性能确定的；根据迭代终止时的迭代后代中每个变异模型的适应性函数值确定目标子代模型。通过迭代能够得到综合考虑模型规模、模型计算时间以及模型性能的子代模型，兼顾了计算速度和模型性能。
- 一种基于通用子网络剪枝的预训练语言模型持续学习方法-202310991138.1
- 宋一帆;李成;王科;姚荣;李素建 - 华为技术有限公司;北京大学
- 2023-08-07 - 2023-10-20 - G06N3/082
- 本发明提供了一种基于通用子网络剪枝的预训练语言模型持续学习方法，该方法通过通用子网络剪枝，将网络中的冗余神经元置零，从而对原有知识进行压缩，再对置零的空闲神经元在新的专业领域数据上进行预训练更新，进行领域协同继续预训练，在保持模型大小不变的情况下，增加模型中所包含的领域知识，且不同领域知识之间可以协同工作，达到知识迁移的效果。
- 模型处理方法及装置-202211562090.4
- 韩雪;冯俊兰 - 中国移动通信有限公司研究院;中国移动通信集团有限公司
- 2022-12-07 - 2023-10-20 - G06N3/082
- 本申请公开了一种模型处理方法及装置，属于神经网络技术领域，本申请实施例的模型处理方法，包括：在大闭环级联模型的训练过程中，根据维护的神经元参数的二维权重图生成神经元离散图，所述二维权重图记录所述大闭环级联模型的原子能力各个神经元参数的原子权重和闭环权重；周期性生成伪随机序列，所述伪随机序列的长度与所述二维权重图的权重值的数目相等；将所述伪随机序列与所述神经元离散图进行异或操作，根据操作结果对所述神经元进行剪枝。本申请实施例能够增加体系化人工智能系统的安全性。
- 超网络的训练方法和装置-202010383356.3
- 希滕;张刚;温圣召 - 北京百度网讯科技有限公司
- 2020-05-08 - 2023-10-20 - G06N3/082
- 本申请涉及人工智能领域，公开了超网络的训练方法和装置。该方法包括：获取样本数据；将待训练的超网络作为初始的当前超网络，迭代执行多次裁剪训练操作直到当前超网络的各个特征提取层保留的连接数均为1；响应于确定裁剪完成的超网络未达到预设的收敛条件，基于样本数据对裁剪完成的超网络进行训练；裁剪训练操作包括：对当前超网络进行训练；利用训练后的当前超网络对图像数据进行特征提取得到第一特征图；对训练后的超网络中的特征提取层分别进行N次裁剪，利用裁剪后的超网络分别对图像数据进行特征提取得到N组第二特征图；确定与第一特征图的距离最小的一组第二特征图对应的裁剪后的超网络为新的当前超网络。该方法提升了超网络的准确性。
- 一种基于神经网络的燃气轮机状态预警方法-202310684694.4
- 雷萌;王品;张成伟;张威;许萌萌;田甜;张旭龙 - 中国船舶集团有限公司系统工程研究院
- 2023-06-09 - 2023-10-17 - G06N3/082
- 本发明提出的一种基于神经网络的燃气轮机状态预警方法，包括离线建模和在线监测两个部分，离线建模部分针对燃气轮机运行数据构建动态神经网络模型；在线监测部分判断当前设备是否处于健康状态。本发明考虑到燃气轮机工程数据特点，首先对原始工程数据进行质量判断及数据预处理；结合燃气轮机非线性、动态性、复杂性等特点，针对燃气轮机运行参数构建动态神经网络模型，融合贝叶斯优化算法优化超参数组合，提高了模型的预测精度；融合相关多变量预测结果，得到设备整体偏离度，实现了多参量融合预警的突破，能够快速有效且精度较高的实现燃气轮机的状态预警。
- 一种神经网络模型权重参数优化对齐的方法-202210314739.4
- 王丽泉 - 合肥君正科技有限公司
- 2022-03-28 - 2023-10-17 - G06N3/082
- 本发明提供一种神经网络模型权重参数优化对齐的方法，所述方法包括：S1，确定需要对齐节点的类型并根据节点类型在函数map中选择对应处理函数；S2，确定图中兄弟节点、子节点类型：如果是非concat节点直接从对齐map中选择对齐函数，对齐后退出；如果是concat节点对齐则需要更改其concat子节点的输入通道数，如果是concat子节点且是卷积节点则更改输入通道后可直接退出，如果是concat子节点且是池化节点则需要更改其孙子节点的输入通道；如果子节点是有两个输入节点的add节点或者mul节点则采用复杂对齐及其递归分析；S3，对齐完成并逐层退出。在对神经网络模型进行转换适配时，这些对齐的目的是为了更快的进行数据搬运和充分利用缓存空间，从而加快神经网络模型的推理速度。
- 一种学生姿态评估的神经网络HRNet、方法及装置-202310958531.0
- 唐心亮;宋欣朔;王建超;焦立彬;李勋 - 河北科技大学
- 2023-08-01 - 2023-10-13 - G06N3/082
- 本发明公开了一种学生姿态评估的神经网络HRNet、方法及装置，涉及神经网络技术领域；神经网络为改进后的HRNet‑In网络，基于原始的HRNet网络，将其bottleneck层中3×3conv卷积核替换为3×3的Involution算子后获得；方法包括评估的步骤，获得含有学生姿态的图片，输入训练好的神经网络HRNet‑In，获得相应的课堂行为；装置为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法中相应的步骤；其通过将3×3conv卷积核替换为3×3的Involution算子等，使得识别学生课堂行为的速度快、准确率高。
- 神经网络压缩方法、装置、计算机设备及存储介质-201911142056.X
- 柏昊立;吴家祥;侯金龙 - 腾讯科技（深圳）有限公司
- 2019-11-20 - 2023-10-13 - G06N3/082
- 本申请是关于一种神经网络压缩方法、装置、计算机设备及存储介质，涉及神经网络技术领域。该方法包括：将训练样本分别输入教师网络和学生网络；获取教师网络中包含第i层的第一模型参数和第一特征图的第一网络数据，以及学生网络中包含第i层的第二模型参数和第二特征图的第二网络数据，将第一网络数据和第二网络数据进行交叉计算，获得损失函数值，再根据损失函数值对学生网络中的第i层的第二模型参数进行更新。该方案能够在通过少量的训练数据对已经训练好的神经网络进行压缩的场景下，提高压缩后的神经网络的准确性。
- 一种优化神经网络模型的方法及相关装置-202210304576.1
- 许奕星;唐业辉;王云鹤;丁宁;许超 - 华为技术有限公司;北京大学
- 2022-03-26 - 2023-10-10 - G06N3/082
- 本申请实施例公开了一种优化神经网络模型的方法及相关装置，用于在没有源域数据的情况下，利用源域数据的信息提高域自适应算法的精度，从而可以提高优化效果。本申请实施例方法包括：确定K个类别的源域特征的条件分布，源域特征是源域数据的特征，其中，K为大于1的整数；根据条件分布进行特征采样，以得到K个类别的代理源域特征，并采用代理源域特征代替源域特征；对于根据K个类别的源域特征进行预训练得到的神经网络模型，根据K个类别的代理源域特征、K个类别的目标域特征和域自适应算法对该神经网络模型进行优化，目标域特征是目标域数据的特征。
- 多任务检测方法、电子设备、车辆及介质-202310629695.9
- 陆强 - 嬴彻星创智能科技（上海）有限公司
- 2023-05-30 - 2023-10-10 - G06N3/082
- 本发明提供一种多任务检测方法、电子设备、车辆及介质，多任务检测方法包括获取多任务感知数据；将多任务感知数据输入至训练好的轻量化多任务模型，以输出每个任务对应的检测信息；其中，轻量化多任务模型是基于各单元敏感度层级对基线多任务模型进行优化得到；基线多任务模型是基于多任务感知训练数据和多任务目标检测信息训练得到。基于各单元敏感度层级对基线多任务模型进行优化，模型中不同单元采用不同的优化方式，可以使多任务模型更极致的轻量化，减少部署耗时即计算占用资源，提升多任务检测效率和检测结果准确性。
- 一种基于卷积层相对信息熵的神经网络剪枝子网搜索方法-202310796834.7
- 牛力;程赵焜;沙枫;仇祎诚;宋文杰;廖佳纯 - 南湖实验室
- 2023-06-29 - 2023-10-10 - G06N3/082
- 本方案公开了一种基于卷积层相对信息熵的神经网络剪枝子网搜索方法，该方法创新地利用了模型权重的信息熵来对不同卷积层的冗余度进行比较，各卷积层基于冗余程度的不同进行区别对待，冗余程度低的层剪枝时保留相对较大比例，而冗余度高的层剪枝时保留相对较小比例，使通过本方案得到的子网络具有更佳的网络性能，能够适用于任意比例范围(0～1之间)的神经网络剪枝需求，可以根据设定的剪枝保留比例需求，搜索大量符合要求的子网络，并利用有效的自适应批量归一化评估器从中选出最优子网络。
- 基于存储神经单元的更新模型方法、装置、设备及介质-202310798266.4
- 李春宇;郝碧波;倪渊 - 平安科技（深圳）有限公司
- 2023-06-30 - 2023-10-10 - G06N3/082
- 本申请涉及人工智能领域、医疗健康技术领域，揭示了一种基于存储神经单元的更新模型方法、装置、设备及介质，其中，方法包括：获取文本数据；将文本数据输入至第一数据模型，得到第一输出值；将各个第一输出值输入至目标分类模型中，得到每个第一存储神经元对应的第一分类标签；确定分类标签满足预设更新条件的每个第一存储神经元作为第二存储神经元，将第二存储神经元对应的第一神经元作为第二神经元；根据文本数据以及第一数据模型，对第一数据模型中的第二神经元的权重进行更新。能够确定需要进行更新的第二神经元，对第二神经元更新，实现了对第一数据模型进行快速更新，提高了更新第一数据模型的效率，降低了训练第一数据模型的成本。
- 一种模型训练方法、装置及电子设备-202210286015.3
- 黄斌;丁健;叶挺群 - 杭州海康威视数字技术股份有限公司
- 2022-03-22 - 2023-10-10 - G06N3/082
- 本发明实施例提供了一种模型训练方法、装置及电子设备。其中，所述方法包括：获取目标模型预期部署的目标平台的量化模式；按照所述量化模式通过所述目标模型对样本数据进行量化推理，得到推理结果；根据所述推理结果调整所述目标模型。可以在训练模型时加入目标平台的量化模式，以使得训练得到的模型在该量化模式下能够准确地输出推理结果，因此在将经过训练的模型属于目标平台后，目标平台能够通过该模型正常提供推理服务，降低需要重新训练模型的概率，即提高了模型部署效率。
- 基于通道相关性和L2范数联合的深度神经网络剪枝方法-202310569239.X
- 董安冉;李伟明;田新;马浩轩;汤超 - 赛思倍斯（绍兴）智能科技有限公司
- 2023-05-16 - 2023-10-10 - G06N3/082
- 本发明公开了一种基于通道相关性和L2范数联合的深度神经网络剪枝方法，适用于深度神经网络的模型压缩加速推理。具体步骤为：对于所用深度网络训练并选出收敛的网络模型参数，并根据剪枝率和待剪枝层两两通道之间的相关系数大小作为判断网络层级通道冗余的依据，当相关系数较高时认为通道之间存在较大冗余，此时标记两通道中L2范数差异不大且较小的通道为待剪枝通道；根据收敛网络模型参数，剪掉待剪枝通道，微调训练得到最终剪枝网络模型。本发明能保证原有网络性能的前提下，获得尽可能小的压缩网络模型，且可根据性能和速度的需求动态调整压缩率和相关系数冗余度，以满足实际应用需求。
- 经层式分析的神经网络剪枝方法和系统-202180092350.3
- 严恩勖;胥栋宽;刘嘉超 - 墨芯国际有限公司
- 2021-10-28 - 2023-10-10 - G06N3/082
- 本公开实施例允许神经网络被剪枝。通过参考神经网络生成的输入和输出用于剪枝该参考神经网络。经剪枝的神经网络可以具有该参考神经网络中的权重子集。
- 神经网络模型的压缩方法及装置、图像处理方法及处理器-202010116576.X
- 希滕;张刚;温圣召 - 北京百度网讯科技有限公司
- 2020-02-25 - 2023-10-10 - G06N3/082
- 本申请公开了一种神经网络模型的压缩方法及装置、图像处理方法、图像处理器，涉及神经网络压缩领域。神经网络模型的压缩方法包括：建立神经网络模型的每个神经网络层对应的搜索空间，搜索空间包括候选剪枝率；各搜索空间的候选剪枝率输入至剪枝策略生成模型，得到剪枝策略；根据剪枝策略对神经网络模型进行剪枝。因为对每个神经网络层建立对应的搜索空间，使得各个神经网络层对应的剪枝率可以不同，克服了由于每个神经网络层对应的剪枝率均相同，从而导致的剪枝后神经网络模型的提速不明显，模型性能较差的技术问题，有效提升神经网络模型的速度以及性能。
- 利用网络中的路径来表示神经网络以提高神经网络的性能-201910231721.6
- A·凯勒;G·莫尔迪多;N·甘博亚;M·V·基尔斯布里克 - 辉达公司
- 2019-03-26 - 2023-10-10 - G06N3/082
- 人工神经网络(ANN)是一种通过考虑例子学习执行任务来模拟人脑的计算系统。通过利用分别将ANN的输入连接到ANN的输出的各个路径表示人工神经网络，可以降低ANN的复杂性，与使用全连接的ANN图的实现相比，ANN可以以快得多的方式被训练和实现。
- 专利分类
