[发明专利]运算单元、片上系统及模型量化搜索方法在审
| 申请号： | 202310446116.7 | 申请日： | 2023-04-19 |
| 公开（公告）号： | CN116468085A | 公开（公告）日： | 2023-07-21 |
| 发明（设计）人： | 陈峰 | 申请（专利权）人： | 阿里巴巴（中国）有限公司 |
| 主分类号： | G06N3/0495 | 分类号： | G06N3/0495;G06N3/0464;G06N3/048;G06N3/08 |
| 代理公司： | 北京合智同创知识产权代理有限公司 11545 | 代理人： | 李杰;闫喜鹏 |
| 地址： | 311121 浙江省杭州市余杭*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例提供了一种运算单元、片上系统及模型量化搜索方法。运算单元包括：初始化子单元，设定待量化模型中各网络层的初始量化类型，并编码初始量化类型得到初始量化序列；进化迭代子单元，对初始量化序列执行变异操作，得到变异量化序列；获取各候选量化模型对应的量化推理结果；根据各量化推理结果与原始推理结果间的相似度，从初始量化序列和变异量化序列中确定候选量化序列；将候选量化序列作为新的初始量化序列，返回执行对初始量化序列执行变异操作，得到变异量化序列的步骤，直至满足迭代停止条件；结果确定子单元，从候选量化序列中确定目标量化序列，得到搜索结果。本方案可提高模型量化搜索的效率。 | ||
| 搜索关键词： | 运算 单元 系统 模型 量化 搜索 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于阿里巴巴（中国）有限公司，未经阿里巴巴（中国）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310446116.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种金融风险评估系统
- 下一篇：一种解决负极片褶皱的方法
- 同类专利
- 面向计算机设备中的神经网络模型的加速方法及装置-202310790932.X
- 朱明旭 - 腾讯科技（深圳）有限公司
- 2023-06-29 - 2023-10-27 - G06N3/0495
- 本申请公开了一种面向计算机设备中的神经网络模型的加速方法及装置，属于人工智能的深度学习技术领域。该方法包括：获取第一神经网络模型；对所述第一神经网络模型进行正则化训练，训练得到参数稀疏化后的第二神经网络模型，所述正则化训练是指通过正则化处理的方式对所述第一神经网络模型中的参数进行稀疏化，并基于稀疏化后的参数进行模型训练；对所述第二神经网络模型进行剪枝操作，得到剪枝后的第三神经网络模型，所述剪枝操作是指对所述第二神经网络模型中的参数进行裁剪。通过上述方法，可得到参数量较小的神经网络模型，从而对神经网络模型的加速起到了良好的效果。
- 一种微小故障检测系统的硬件加速方法及系统-202310963263.1
- 马艳华;祝新超;贾立浩;袁天骏;孙希明 - 大连理工大学
- 2023-07-31 - 2023-10-20 - G06N3/0495
- 本发明属于人工智能技术领域，提出一种微小故障检测系统的硬件加速方法及系统。BAS神经网络避免了RNN中的梯度消失和梯度爆炸的问题，由于对于下一个时间点的预测，其他数据的影响权重是不同的，权重计算层的引入进一步增加了预测的准确性。针对硬件部署及加速进行了分组结构化稀疏操作，深度神经网络中大量数值为零或者接近零的权值是无效或者不重要的。通过对权值矩阵进行分组，经过多轮迭代式剪枝以及重训练，最终确定组内稀疏度具体值。稀疏的模型压缩方法通过减少权值数量，可以进一步减少对硬件的存储负担，有利于在FPGA开发板上的部署，同时加快硬件的计算速度，从而更早的对微小故障进行预测和预警。
- 一种面向多模态深度学习模型的快速协同推断方法-202310718827.5
- 肖亮;王楚璇;刘钰;吕泽芳 - 厦门大学
- 2023-06-16 - 2023-10-20 - G06N3/0495
- 一种面向多模态深度学习模型的快速协同推断方法，涉及多模态深度学习模型。针对现有技术存在的面向计算密集性应用的异构多模态深度学习网络在资源紧缺的移动设备上部署时的高延迟和高能耗等问题，提供一种面向多模态深度学习模型的快速协同推断方法，利用强化学习算法动态优化无线移动边缘网络中多模态深度学习模型服务移动设备的协同推断策略。该策略适应计算密集型多模态深度学习应用具有多个异构特征编码器的特点，能在不显著降低推断质量的前提下，减少基于深度学习的多模态推断服务的时延和总体能耗。动态选择多模态深度学习模型各个特征编码器的分割点和深度学习模型规模，提高多模态深度学习模型推断的速度和能效。
- 一种应用在张力控制系统的CNN-LSTM模型训练方法、装置及介质-202310844980.2
- 黄卫民;张小虎 - 海目星激光科技集团股份有限公司
- 2023-07-10 - 2023-10-17 - G06N3/0495
- 本发明提供的一种应用在张力控制系统的CNN‑LSTM模型训练方法，将样本数据输入至一训练完成的教师模型中，通过多次卷积运算得到第一软标签数据；将所述样本数据输入至教师‑学生模型的学生模型中，通过多次卷积得到第二软标签数据，并根据所述第一软标签数据和所述第二软标签数据计算教师‑学生损失；根据第二软标签数据与样本数据中对应的硬标签数据之间的差值计算学生模型损失；根据教师‑学生损失和学生模型损失作为知识蒸馏的总损失，对所述学生模型进行知识蒸馏，完成对学生模型的训练。能够在不影响模型精度的情况下完成对CNN‑LSTM模型大小的压缩，得到一个可以用于张力控制系统的小模型CNN‑LSTM网络。
- 模型训练方法、装置、电子设备及介质-202310871661.0
- 刘安华 - 小米汽车科技有限公司
- 2023-07-14 - 2023-10-17 - G06N3/0495
- 本公开提供的一种模型训练方法、装置、电子设备及介质，涉及车辆技术领域，方法包括：获取第一浮点模型，对所述第一浮点模型进行后量化处理，得到第一量化模型，将第一浮点模型作为知识蒸馏的教师模型，将第一量化模型作为知识蒸馏的学生模型，基于所述第一浮点模型以及所述第一量化模型进行量化感知训练，得到量化感知训练后的模型。采用该方法可以提高训练得到的量化模型的精度，使得训练的模型适宜部署于车辆。
- 一种基于神经元可塑性的神经网络评估优化方法及系统-202311118140.4
- 李波;唐文婷;韦星星 - 北京航空航天大学
- 2023-09-01 - 2023-10-13 - G06N3/0495
- 本发明公开了一种基于神经元可塑性的神经网络评估优化方法及系统，包括深度神经网络结构压缩与深度神经网络参数优化：获取验证数据集，训练数据集和已训练的待压缩深度神经网络及参数；计算待压缩深度神经网络中神经元集群的可塑性及神经元重要性；计算神经元集群中必要神经元数量；根据必要神经元数量及各神经元重要性，获取未优化压缩后深度神经网络；计算压缩前后深度神经网络的神经微环路塑造差异；根据压缩前后的神经微环路塑造差异优化网络权重，得到已优化压缩后深度神经网络；本发明设计了一种轻量化深度神经网络并将其应用于自然图像分类，符合生物性且解释性更强，具有运算资源开销低，图像处理精度高的特点。
- 一种数据处理方法及其装置-202310621628.2
- 刘传建;韩凯;张宝昌;徐昇;李炎静;王云鹤 - 华为技术有限公司
- 2023-05-29 - 2023-10-10 - G06N3/0495
- 本申请公开了一种数据处理方法，涉及人工智能领域，包括：获取第一神经网络对应的第一查询query，以及第二神经网络对应的第二query；所述第一query为对所述第一神经网络对应的query的信息熵最大化后得到的query；所述第一神经网络为对所述第二神经网络进行压缩得到的模型；所述第一神经网络和所述第一神经网络用于进行目标检测；根据所述第一query以及所述第二query，确定第一损失；所述第一损失指示最小化所述第二query和所述第一query之间的信息差异；根据所述第一损失，更新所述第一神经网络以及所述第一query。本申请通过最小化学生模型和老师模型的查询query之间的信息差距，使得学生模型与教师模型之间的信息差距最小化，从而提高了压缩模型的模型精度。
- 基于本征正交分解的循环神经网络的压缩方法、装置、处理器及其计算机可读存储介质-202310814136.5
- 薛嘉宁;仵大奎;杜鑫;刘亚军 - 上海大学
- 2023-07-04 - 2023-10-10 - G06N3/0495
- 本发明涉及一种基于本征正交分解的循环神经网络的压缩方法，其中，该方法包括以下步骤：进入步骤A，记录被压缩对象的长短期记忆网络推理时的隐藏层取值；将记录的所有数据的隐藏层求取平均值，得到平均隐藏层矩阵H；进入步骤B，对获取到的平均隐藏层矩阵H计算投影向量，并得到子矩阵v；利用子矩阵v将原系数矩阵进行降维处理，以获取新的模型参数量。本发明还涉及一种相应的装置、处理器及其计算机可读存储介质。采用了本发明的该基于本征正交分解的循环神经网络的压缩方法、装置、处理器及其计算机可读存储介质，可以应用于时间序列分类模型的压缩任务，将模型大小减少到三分之一，并将计算量减少到四分之一，同时在精度上有可接受的损失。
- 神经网络模型的训练方法、训练系统及可读介质-202210289171.5
- 孙飞;秦明海;李浩然;朱囯材;高源;黄古玥;张雅文 - 阿里巴巴（中国）有限公司
- 2022-03-22 - 2023-10-03 - G06N3/0495
- 本公开提供了一种神经网络模型的训练方法、训练系统及可读介质。该训练方法，包括：使用转置不变的稀疏权重矩阵，在前向传递中通过稀疏矩阵‑矩阵乘法模块计算神经网络模型的激活；使用从权重转置模块接收到的稀疏权重矩阵的转置，在反向传递中通过稀疏矩阵‑矩阵乘法模块计算神经网络模型的激活梯度；使用在前向传递中从稀疏矩阵‑矩阵乘法模块接收的激活，在反向传递中通过采样稠密‑稠密矩阵乘法模块计算神经网络模型的权重梯度。本公开实施例使用转置不变的稀疏权重矩阵进行非零计算来训练神经网络模型，有利地消除了稀疏矩阵‑矩阵乘法模块和采样稠密‑稠密矩阵乘法模块的冗余计算，减少了神经网络模型的训练时间和存储器消耗。
- 基于特征图的相关性和熵实现模型压缩的方法、装置、处理器及其计算机可读存储介质-202310823678.9
- 刘亚军;周文举;范科峰;仵大奎;杜鑫 - 上海大学
- 2023-07-06 - 2023-10-03 - G06N3/0495
- 本发明涉及一种基于特征图的相关性和熵实现模型压缩的方法，包括以下步骤：获取图像分类数据集，并进行预处理；获取网上已公开的卷积神经网络预训练模型；使用钩子函数HOOK获取卷积神经网络架构中卷积层中的输出特征图，并保存；计算特征图的相关性；计算特征图二维熵；加权融合剪枝；恢复性能。本发明还涉及一种基于特征图的相关性和熵实现模型压缩的装置、处理器及其计算机可读存储介质。采用了本发明的基于特征图的相关性和熵实现模型压缩的方法、装置、处理器及其计算机可读存储介质，有效减少卷积神经网络的时间成本和计算资源，应用于轻量级边缘设备。特征图中的信息丰富程度反映滤波器的重要程度，信息论中的熵很好地表现特征图中的信息量。
- 嵌入式设备的管理方法、装置、设备及存储介质-202310787319.2
- 张赛;汪然 - 京东方科技集团股份有限公司
- 2023-06-29 - 2023-10-03 - G06N3/0495
- 本申请公开了一种嵌入式设备的管理方法、装置、设备及存储介质，属于嵌入式设备技术领域。该方法包括：获取参考数据，参考数据为需要实现目标功能的数据，目标功能通过神经网络模型实现，运行神经网络模型的设备的第一性能条件高于嵌入式设备的第二性能条件；将参考数据输入到集成在嵌入式设备内的模型库中，根据模型库的输出结果实现目标功能，模型库基于量化模型编译生成，量化模型由神经网络模型进行量化处理得到，运行量化模型的设备的第三性能条件不高于第二性能条件。该方法能够在嵌入式设备上实现目标功能，提高了嵌入式设备的智能化。
- 一种基于硬件感知的大规模预训练语言模型压缩方法-202310642738.7
- 宋彬;周业 - 西安电子科技大学
- 2023-06-01 - 2023-09-29 - G06N3/0495
- 本发明公开了一种基于硬件感知的大规模预训练语言模型压缩方法，针对现有技术中模型压缩方法存在不足的问题。该发明含有以下步骤：加载训练完成的预训练语言模型并在下游任务上进行微调；选择裁剪粒度；根据所选的裁剪粒度构建代理数据集；设计延时预测网络，并使用代理数据集训练延时预测网络；设置期望延时，并将延时预测网络嵌入多混合粒度的裁剪框架中进行裁剪，裁剪的同时采用动态映射的知识蒸馏方法将教师模型的知识迁移到变化的裁剪模型中；使用裁剪得到的最佳裁剪掩码进行模型裁剪，并进行微调实现精度恢复，得到压缩模型。本发明解决了大量的多头注意力机制类架构网络模型高效简单的部署问题，具有良好的应用前景。
- 模型量化方法、模型量化装置、电子设备和介质-202310823637.X
- 段志杰 - 维沃移动通信有限公司
- 2023-07-05 - 2023-09-29 - G06N3/0495
- 本申请公开了一种模型量化方法、模型量化装置、电子设备和介质，属于神经网络技术领域。该方法包括：基于神经网络模型的精度损失阈值和目标网络结构中每个网络层的权重参数的阈值位宽，确定所述每个网络层的权重参数的目标位宽，所述目标网络结构基于所述神经网络模型中的至少部分网络层构建得到，所述每个网络层的权重参数的阈值位宽基于所述每个网络层的精度损失确定，所述每个网络层的精度损失是对所述每个网络层的权重参数的位宽进行量化后确定的；基于所述每个网络层的权重参数的目标位宽，量化所述神经网络模型，得到量化后的神经网络模型，所述量化后的神经网络模型的精度损失小于所述精度损失阈值。
- 基于KL散度的FPGA离线量化方法-202010652930.0
- 王典 - 上海雪湖科技有限公司
- 2020-07-08 - 2023-09-29 - G06N3/0495
- 本发明涉及到FPGA离线量化技术领域，尤其涉及到一种基于KL散度的FPGA离线量化方法，包括导入模型，模型导入之后需要对模型进行解析以提取和合并网络的层结构，获取需要量化的层输出、权重节点名称；将图像数据进行数据预处理，并作为输入进行数据量化，同时结合层输出、权重节点名称获取量化的层输出、权重数据；对所述的权重数据求最大最小值、量化缩放尺度和量化零点；最后通过KL散度求截断数据阈值，求出量化缩放尺度和量化零点。本发明通过KL散度对原始输出数据量化范围进行截断，避免分布较为稀疏点对量化精度的影响，采用KL散度进行度量，确定不同量化区间的信息损失，确定信息损失最小的数据范围进行量化。
- 一种基于知识蒸馏的深度神经网络模型压缩方法及装置-202310769582.9
- 叶保留;管晨枫;屈志昊 - 河海大学
- 2023-06-28 - 2023-09-22 - G06N3/0495
- 本发明公开了一种基于知识蒸馏的深度神经网络模型压缩方法及系统，所述方法包括：对样本图像数据进行预处理；基于预处理后的样本图像数据预训练教师网络模型；利用预训练后的教师网络模型提取待分类图像的空间注意力特征，基于各通道基本特征利用自注意力机制获得空间相关性特征，二者结合得到空间注意力特征；使用同样的方法提取学生网络空间注意力特征；利用空间注意力特征，依据细粒度层权重指导学生网络模型的训练，迭代蒸馏学生网络模型直至其收敛，其中以λ
- 一种面向终端设备的稀疏化大语言模型的部署方法-202310765012.2
- 徐梦炜;衣容颉;张力;马骁;周傲;孙其博;王尚广 - 北京邮电大学深圳研究院
- 2023-06-27 - 2023-09-19 - G06N3/0495
- 本发明涉及人工智能和移动计算技术领域，且公开了一种面向终端设备的稀疏化大语言模型的部署方法，在Switch Transformer网络结构的基础上通过概率统计和并行化技术进行的改进，Switch Transformer网络结构中将T5模型中的FFN层替换为MoE结构，设计一个全局的专家暂存器，专家暂存器管理从磁盘中加载的专家网络，在进行推理时会直接使用专家暂存器中的专家网络进行推理，实现了在终端设备上以少量推理时间的增加为代价，部署远大于终端设备内存上限的模型，并实现零精度损失的推理部署。
- 用于神经网络模型的数据量化方法、可读介质和电子设备-202110360854.0
- 余宗桥;黄墩博;王旭明 - 安谋科技（中国）有限公司
- 2021-04-02 - 2023-09-19 - G06N3/0495
- 本申请涉及一种用于神经网络模型的数据量化方法、可读介质和电子设备。神经网络模型包括多个数据处理节点和拼接节点，多个数据处理节点分布于拼接节点的多个输入分支上。该方法包括：判断拼接节点的各输入分支是否存在满足预设条件的数据处理节点；在确定出拼接节点的各输入分支均存在满足预设条件的数据处理节点的情况下，汇总各输入分支中向拼接节点输出数据阵列的数据处理节点所输出的多个数据阵列，并基于汇总的多个数据阵列确定各输入分支进行数据量化所采用的公共量化系数。采用本申请的技术方案可以神经网络模型的数据量化的速度，降低计算量。
- 一种改进MobileNetV2的分心驾驶行为检测模型轻量化方法-202310653803.6
- 白雪梅;李佳璐;张晨洁;胡汉平;史新瑞;侯聪聪 - 长春理工大学
- 2023-06-05 - 2023-09-15 - G06N3/0495
- 近年来有关分心驾驶行为识别的研究取得了较大的进展,基于深度学习的方法被越来越多的科研人员广泛关注，但大多数模型存在权重文件大的问题,进而在实际应用和部署方面存在困难，因此对模型进行轻量化改进很有必要。针对现有分心驾驶识别算法模型过大、难以适应低计算环境等问题，选用轻量级网络MobileNetV2作为主干网络并进行改进，通过Ghost模块替换逐点卷积降低计算量，并且加入LeakyReLU函数避免神经元死亡的问题，在此基础上，通过通道剪枝算法进一步减小模型参数，之后训练改进后的MoblieNetV2网络模型，最后将待测图像输入训练得到的检测模型中，输出驾驶行为类型。
- 神经网络模型的量化方法、装置、设备及存储介质-202310856364.9
- 何逸凡 - 小米科技（武汉）有限公司;北京小米移动软件有限公司;北京小米松果电子有限公司
- 2023-07-12 - 2023-09-05 - G06N3/0495
- 本公开是关于一种神经网络模型的量化方法、装置、设备及存储介质。其中，该方法包括：获取待量化的神经网络模型；获取所述神经网络模型的模型类别；根据所述模型类别，确定与所述神经网络模型对应的目标量化任务流；基于所述目标量化任务流，对所述神经网络模型进行模型量化处理。通过本公开的技术方案，能够使用公有云资源自动完成对待量化的神经网络模型的模型量化，实现模型量化的工程化应用。
- 网络模型压缩方法、装置、电子设备和可读介质-202310714591.8
- 张振羽;陈蒙;宋阳 - 京东科技信息技术有限公司
- 2023-06-15 - 2023-09-01 - G06N3/0495
- 本公开提供一种网络模型压缩方法、装置、电子设备和可读介质，其中，网络模型压缩方法包括：根据待压缩的原始网络模型的指定矩阵的奇异值确定对应的低秩分解矩阵组；基于原始网络模型对应的矩阵蒸馏损失函数对低秩分解矩阵组进行压缩。通过本公开实施例，降低了网络模型的体量，在保证网络模型的计算准确性的前提下，提升了网络模型的计算速率。
- 零样本学习深度模型的量化方法-202310487616.5
- 胡海峰;方成圆 - 南京邮电大学
- 2023-05-04 - 2023-09-01 - G06N3/0495
- 本发明提供了一种零样本学习深度模型的量化方法，主要包括以下步骤：获取已经训练完毕的全精度预训练模型；利用知识匹配生成器从全精度预训练模型的批归一化层BN层中获取原始训练数据的分类和分布信息；使用所述校准数据集驱动所述全精度预训练模型的量化；生成新的伪数据驱动知识匹配生成器的优化；持续交替对抗地优化量化模型和知识匹配生成器，直到模型量化性能稳定收敛。相较于现有技术，本发明提出对权重和量化参数进行逐层联合迭代优化，能够使模型每层量化层输出与全精度层输出之间的误差最小化。
- 极值算法的配置方法、电子设备、程序产品及介质-202211302946.4
- 卢鹏 - 荣耀终端有限公司
- 2022-10-24 - 2023-09-01 - G06N3/0495
- 本申请实施例提供一种极值算法的配置方法包括：根据待量化的神经网络节点数值序列和K个极值算法生成K个量化数值序列，将每个量化数值序列反量化为候选数值序列，再根据待量化的神经网络节点数值序列和每个候选数值序列计算出K个误差组；从K个误差组中选取目标误差组，然后从K个极值算法中确定与目标误差组对应的目标极值算法；将神经网络节点数值序列的极值算法设置为目标极值算法。该方法能够自动设置神经网络节点数值序列的极值算法，提高配置极值算法的效率。本申请实施例还提供能够实现上述方法的电子设备、程序产品及计算机可读存储介质。
- 基于Ray的云边协同数据分析工作流优化方法及系统-202310526213.7
- 杜文青;赵志刚;王春晓;耿丽婷;吕甜甜;肖玉坤 - 山东省计算中心（国家超级计算济南中心）;齐鲁工业大学（山东省科学院）
- 2023-05-06 - 2023-09-01 - G06N3/0495
- 本发明属于深度学习的数据分析工作流领域，提供了一种基于Ray的云边协同数据分析工作流优化方法及系统。该方法包括，获取数据集，基于Ray，采用数据集在终端设备上训练第一学生模型和第一教师模型，得到蒸馏训练方法；将数据集和蒸馏训练方法上传至云端，设置并行工作器的数量和超参数，采用数据集和蒸馏训练方法在云端上训练第二学生模型和第二教师模型，得到训练好的第二学生模型，并将训练好的第二学生模型部署到终端。本发明采用优化的模型压缩方法对云端训练好的大模型进行压缩操作获得小模型，将小模型一键部署到资源受限的终端设备上。
- 基于逆时针逐块知识蒸馏的神经网络模型压缩方法及系统-202310628289.0
- 何为凯;曾亚琳;王伟;高建永;张肖;刘存根;杨富春 - 山东开泰抛丸机械股份有限公司;山东开泰智能抛喷丸技术研究院有限公司
- 2023-05-29 - 2023-08-29 - G06N3/0495
- 本公开提供了基于逆时针逐块知识蒸馏的神经网络模型压缩方法及系统，涉及机器学习技术领域，包括获取构建并训练好的教师模型，并保存训练教师模型时所使用的损失函数；将所述教师模型由浅到深划分N个子网块，并以N‑1个子网块为基础分别构造N‑1个学生模型子网块；利用所述损失函数，将获得的N‑1个学生模型子网块按照自顶向下的顺序依次替换教师模型中最浅层子网块之外的N‑1个子网块获取到中间模型；利用损失函数将中间模型进行训练至收敛得到压缩后的目标学生模型。有利于减少学生模型对教师模型的依赖性并使得学生模型找到更适合自己的参数分布；使学生模型关注教师模型中更高级的信息从而缓解学生模型和教师模型之间的代沟问题。
- 基于知识蒸馏和量化的预训练模型压缩方法及系统-202310610091.X
- 俞凯;邵航;王巍;刘贝;龚勋;王浩宇;钱彦旻 - 思必驰科技股份有限公司
- 2023-05-26 - 2023-08-22 - G06N3/0495
- 本发明实施例提供一种基于知识蒸馏和量化的预训练模型压缩方法及系统。该方法包括：将预训练模型确定为教师模型，对教师模型的预测层和中间隐层进行量化操作，确定出教师模型与用于表示压缩后模型的学生模型的量化损失；通过量化损失确定教师模型至学生模型的隐层匹配映射函数，基于隐层匹配映射函数从教师模型中动态选择学生模型需要学习的蒸馏层，并确定对应的蒸馏损失；至少基于量化损失以及蒸馏损失对学生模型进行量化训练。本发明实施例在知识蒸馏和量化互相指导的过程中通过量化损失来指导蒸馏层的选取，选取对学生模型最适合量化的层来进行蒸馏，通过蒸馏损失来指导量化层的选取，选取最适合量化的层来进行量化，保证性能没有损失。
- 基于CNN卷积核张量分解的稀疏阵列波达方向估计方法-202310477525.3
- 郑航;周成伟;史治国;汪清;陈积明 - 浙江大学
- 2023-04-28 - 2023-08-22 - G06N3/0495
- 本发明公开了一种基于CNN卷积核张量分解的稀疏阵列波达方向估计方法，主要解决现有基于卷积神经网络的稀疏阵列波达方向估计方法所存在的网络训练成本高、效率低问题，其实现步骤是：构建二维嵌套互质平面阵列；嵌套互质平面阵列的稀疏张量信号建模与互相关张量推导；构造卷积神经网络的虚拟域张量输入；CNN卷积核canonical polyadic分解与压缩卷积计算；基于压缩卷积神经网络快速训练的二维波达方向估计。本发明通过对高维CNN卷积核进行张量分解，设计相应的稀疏张量统计量压缩卷积计算方式，加速了卷积神经网络的训练过程，实现了兼顾高性能与高效率需求的稀疏阵列二维波达方向估计，可用于目标测向。
- 一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片-202310599401.2
- 郑乾;潘纲;胡扬帆 - 浙江大学
- 2023-05-25 - 2023-08-22 - G06N3/0495
- 本发明公开了一种基于量化ANN的脉冲神经网络转化训练方法、装置及芯片，其中，训练方法包括：(1)采用量化训练的方法来训练量化ANN；(2)构建量化ANN和脉冲神经网络SNN之间的等价映射，通过量化ANN训练对阈值和权重的优化来最小化ANN到SNN转化过程中的量化误差；(3)构建有符号IF神经元模型，对错误发放的脉冲进行检测并以负脉冲的形式进行补偿，以降低ANN到SNN转化过程中每层的序列误差；(4)使用逐层微调方法，以降低ANN到SNN转化过程中逐层传递累积的序列误差。利用本发明，在保证SNN精度与ANN精度相当的前提下大幅降低SNN的推断延迟，提高了潜在SNN应用的实时性以及能效。
- 一种神经网络模型的量化方法、数据处理方法及相关装置-202310640797.0
- 李陈浩文;鲁路;冯博;陈洛宇;薛盛可 - 阿里巴巴（中国）有限公司
- 2023-05-31 - 2023-08-08 - G06N3/0495
- 本说明书实施方式提供了一种神经网络模型的量化方法、数据处理方法及相关装置，通过在原始损失函数中引入正则化项，以最小化损失函数为目标函数，以优化期望为约束条件，在多次迭代过程中，将所述多个第一权重中的部分第一权重稀疏为第二权重的方式，在保障目标神经网络模型的损失函数和正则化项之和最小的情况下，实现了将部分第一权重稀疏为第二权重的目的，从而使得目标神经网络模型可以兼顾运行效率和计算精度，即在扩展目标神经网络模型可以应用的场景的基础上，保障了目标神经网络模型具有良好的精度。
- 基于L0范数的人工神经网络模型压缩方法及装置-202310831532.9
- 王浩;陈恩豪;何志权;曹文明 - 深圳大学
- 2023-07-07 - 2023-08-08 - G06N3/0495
- 本发明涉及模型压缩技术领域，揭露了一种基于L0范数的人工神经网络模型压缩方法及装置，具体实现方案为：获取预构建的基于L0范数约束的剪枝模型，判断剪枝模型的剪枝率是否为预先设定的目标剪枝率；若剪枝率为目标剪枝率，则对剪枝模型中的参数进行第一求解，得到目标求解参数；若剪枝率不为目标剪枝率，则对剪枝模型中的上层剪枝模型及下层剪枝模型中的参数进行第二求解，得到目标求解参数；基于目标求解参数对剪枝模型进行更新及剪枝处理，得到稀疏网络模型。本发明通过对特征图的通道进行剪枝，而非针对单个神经元或者权重参数，从而能够有效减少网络参数量，并使得剪枝后的模型可直接用于一般终端设备。
- 用于压缩神经网络的方法和装置-201711478743.X
- 张刚 - 百度在线网络技术（北京）有限公司
- 2017-12-29 - 2023-08-08 - G06N3/0495
- 本申请实施例公开了用于压缩神经网络的方法和装置。该方法的一具体实施方式包括:获取待压缩的经训练后的神经网络；从该神经网络的各层中选取至少一层作为待压缩层；按照待压缩层在该神经网络中所处的层级的层级数由大到小的顺序，依次对每个待压缩层执行以下处理步骤：基于指定数目，对该待压缩层中的参数进行量化，并利用机器学习方法，基于预置的训练样本对经量化后的神经网络进行训练；将对选取出的各个待压缩层进行该处理步骤后所得的神经网络确定为经压缩后的神经网络，并存储经压缩后的神经网络。该实施方式实现了对神经网络的有效压缩。
- 专利分类
