“权重量化”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1307370个，建议您升级VIP下载更多相关专利

[发明专利]统计感知权重量化-CN201910509429.6在审
发明人： Z.王;崔正旭;K.戈帕拉克里什南;庄逸仁 -专利权人：国际商业机器公司
申请日： 2019-06-13 - 公布日： 2019-12-20 - 主分类号： G06N3/02 文献下载
摘要：呈现了用于统计感知权重量化的技术。为了促进降低权重的比特精度，对于权重集，量化器管理组件可以根据权重的权重值的平方的平均值和该权重值的绝对值的平均值的线性或非线性函数来估计量化标度值以应用于权重，其中量化标度值被确定为具有比与其它量化标度值相关联的所有或至少几乎所有其它量化误差更小的量化误差量化器组件应用量化标度值以对称和/或均匀地量化权重集的层的权重，从而生成量化的权重，权重使用舍入来量化。相应的量化的权重可以用于促进深度学习系统的训练和推理。
权重量化标度量化量化误差量化器权重集非线性函数管理组件权重量化学习系统组件应用舍入推理感知对称关联应用统计

[发明专利]一种神经网络权重量化方法和神经网络权重量化装置-CN201710656027.X在审
发明人：南楠;叶丽萍;李晓会 -专利权人：珠海全志科技股份有限公司
申请日： 2017-08-03 - 公布日： 2019-02-26 - 主分类号： G06F17/16 文献下载
摘要：本发明公开了一种神经网络权重量化方法和装置，所述方法包括：步骤1，获取待量化矩阵集合；步骤2，将所述待量化矩阵集合中的待量化权重值量化至对数空间，得到所述待量化权重值的权重量化值，并得到量化矩阵集合；步骤3,根据所述权重量化值与所述权重量化值对应的所述待量化权重值的差值，对所述权重量化值进行补偿量化，得到所述权重量化值的补偿量化值，并得到补偿量化矩阵集合；步骤4，将所述量化矩阵集合和所述补偿量化矩阵集合，作为所述待量化矩阵集合的量化结果存储在神经网络中等待使用。本发明中的补偿量化通过给较重要权重叠加偏移项，使其量化采样间隔更加稠密，从而减小了量化误差所带来的神经网络模型的性能损失。
权重量化量化矩阵量化集合神经网络权重神经网络模型方法和装置采样间隔对数空间量化结果量化误差性能损失偏移减小稠密存储

[发明专利]一种神经网络量化训练方法、装置及相关产品-CN202011641679.4在审
发明人：不公告发明人 -专利权人：安徽寒武纪信息科技有限公司
申请日： 2020-12-31 - 公布日： 2022-07-01 - 主分类号： G06N3/08 文献下载
摘要：本申请公开了一种神经网络量化训练方法，包括：从第一存储区域中读取目标量化单元的输入数据及权重；然后分别量化输入数据及权重，得到输入数据量化结果及权重量化结果，并将输入数据量化结果及权重量化结果存储在第二存储区域；再基于输入数据量化结果及权重量化结果,对目标量化单元执行正向传播计算，得到输出数据；从第二存储区域中读取输入数据量化结果及权重量化结果；基于从第二存储区域中读取的输入数据量化结果、权重量化结果和输出数据，对目标量化单元执行反向传播计算，得到权重梯度；基于权重梯度及优化器算法，更新权重。本申请实施例能够避免重复量化，加快神经网络的训练速度，减小内存开销。
一种神经网络量化训练方法装置相关产品

[发明专利]用于对深度神经网络的权重进行转换的方法和系统-CN202010849845.3有效
发明人：卡加泰·迪基奇;保罗·布拉塞特;穆罕默德·阿萨德;史蒂芬·莫菲特 -专利权人：畅想科技有限公司
申请日： 2020-08-21 - 公布日： 2022-07-08 - 主分类号： G06N3/04 文献下载
摘要：本公开涉及用于对深度神经网络的权重进行转换的方法和系统。第二数字格式的精度低于第一数字格式的精度。该方法包括：针对多个权重中的每一个权重，确定与根据第一量化方法将权重量化为第二数字格式相关联的量化误差；基于多个权重的量化误差来确定多个权重的总量化误差；基于多个权重的总量化误差来标识待根据第二量化方法量化为第二数字格式的多个权重的子集；以及生成表示第二数字格式的多个权重的一组量化权重，多个权重的子集中每一个权重的量化权重基于根据第二量化方法将权重量化为第二数字格式，并且多个权重中其余权重中的每一个权重的量化权重基于根据第一量化方法将权重量化为第二数字格式
用于深度神经网络权重进行转换方法系统

[发明专利]一种宽度学习系统量化方法-CN202110629940.7在审
发明人：褚菲;王光辉;陆宁云;何大阔;陈俊龙;王雪松 -专利权人：中国矿业大学;南京航空航天大学
申请日： 2021-06-07 - 公布日： 2021-09-07 - 主分类号： G06N3/08 文献下载
摘要：本发明公开了一种宽度学习系统量化方法，属于神经网络量化方法技术领域。本发明包括以下步骤：首先获得输入输出数据，其次提供量化权重的选择标准，然后结合搜索方法获得随机权重被量化后的最佳模型，最后对输出权重量化，最终获得一个轻量化的宽度学习系统模型。本发明使用了动态的权重量化方式，通过在训练过程中设置权重量化时可选择的最大比特，从而动态选择出和浮点权重最优匹配的整型权重；最后，交替进行输出权重的分组量化和浮点权重再训练直到全部权重量化同时模型收敛为止
一种宽度学习系统量化方法

[发明专利]基于模型量化的任务处理方法、装置、设备及存储介质-CN202211186183.1在审
发明人：蓝朝祥;李哲暘;张凯 -专利权人：杭州海康威视数字技术股份有限公司
申请日： 2022-09-27 - 公布日： 2023-03-28 - 主分类号： G06N3/048 文献下载
摘要：本申请提供一种基于模型量化的任务处理方法、装置、设备及存储介质，该基于模型量化的任务处理方法包括：依据Transformer模型中优化单元的第一量化输出和第一浮点输出之间的差异，对优化单元的权重量化系数和激活量化系数进行更新；依据优化单元的第二量化输出和第二浮点输出之间的差异，对优化单元的权重量化增量进行更新；依据目标量化系数对优化单元的权重参数进行量化，并依据目标权重量化增量确定优化单元的权重量化取整方向；依据优化单元的目标量化权重参数对优化单元的输入数据进行前向推理计算，并依据优化单元的目标激活量化系数对优化单元的输入/输出进行量化。
基于模型量化任务处理方法装置设备存储介质

[发明专利]量化参数更新方法、装置、电子设备及可读存储介质-CN202310066250.4在审
发明人：陈腊梅;王凡祎 -专利权人： OPPO（重庆）智能科技有限公司
申请日： 2023-01-16 - 公布日： 2023-05-16 - 主分类号： G06F18/214 文献下载
摘要：本申请公开了一种量化参数更新方法、装置、电子设备及可读存储介质,方法包括：获取待量化模型；对待量化模型的权重插入具有待更新权重量化参数的第一伪量化节点；对待量化模型的激活层插入具有已更新的激活量化参数的第二伪量化节点；将设置有第一伪量化节点和第二伪量化节点的待量化模型，作为目标待量化模型，并通过目标待量化模型获取对样本数据的计算结果，作为第一数据；基于第一数据与目标数据的差异，对待更新权重量化参数进行更新，得到目标权重量化参数本申请实施例中对激活层插入具有已更新的激活量化参数的第二伪量化节点，从而仅需对待更新权重量化参数进行更新，减少了内存需求。
量化参数更新方法装置电子设备可读存储介质

[发明专利]卷积神经网络在量化过程前向推理降低精度损失的方法-CN202010020803.9在审
发明人：周飞飞;于晓静 -专利权人：北京君正集成电路股份有限公司
申请日： 2020-01-09 - 公布日： 2021-07-09 - 主分类号： G06N3/04 文献下载
摘要：本发明提供一种提供卷积神经网络在量化过程前向推理降低精度损失的方法，所述方法包括：在进行权重量化反量化过程中，提取batchnorm值，避免batchnorm值异常值对权重量化影响；卷积之后32bit反量化输出与所述的量化过程是直接对权重进行量化，不对权重合并任何batchnorm参数值。
卷积神经网络量化过程推理降低精度损失方法

[发明专利]基于神经网络计算的数据处理方法和装置-CN201910517485.4在审
发明人：陈超;徐斌;谢展鹏 -专利权人：华为技术有限公司
申请日： 2019-06-14 - 公布日： 2020-12-15 - 主分类号： G06N3/063 文献下载
摘要：本申请提供了基于量化的神经网络的数据处理方法以及装置。本申请实施例基于重量化系数对第一计算结果进行重量化处理，其中，重量化系数等于所述第一数据量化系数乘以所述第一权重量化系数再除以所述第二数据量化系数。即通过重量化处理将传统的第一反量化操作以及第二量化操作合并，使得第一反量化操作以及第二量化操作中的数据以及权重的多次加载过程，合并为重量化操作对应的一次数据加载过程以及一次重量化系数加载过程，有利于减少加载数据以及权重所占用的时间
基于神经网络计算数据处理方法装置

[发明专利]用于卷积神经网络的自适应量化的方法-CN202010278258.3在审
发明人：王祚官;周天;顾群 -专利权人：黑芝麻智能科技（重庆）有限公司
申请日： 2020-04-10 - 公布日： 2020-10-23 - 主分类号： G06N3/08 文献下载
摘要：一种用于卷积神经网络的自适应量化的方法，包括如下中的至少一个：接收网络中的层的预定可接受模型准确度；基于浮点值权重和浮点值输入确定层的浮点值乘积累加；以多个权重量化精度量化浮点值权重；以多个输入量化精度量化浮点值输入；基于多个权重量化精度和多个输入量化精度，以多个乘积累加量化精度确定乘积累加；基于浮点值乘积累加与多个乘积累加量化精度之间的差确定多个量化误差；以及基于层的预定可接受模型准确度和多个量化误差选择多个权重量化精度中的一个、多个输入量化精度中的一个和多个乘积累加量化精度中的一个。
用于卷积神经网络自适应量化方法

[发明专利]模型的量化训练方法、装置及存储介质-CN201910875016.X在审
发明人：谢思敏 -专利权人：普联技术有限公司
申请日： 2019-09-17 - 公布日： 2019-12-24 - 主分类号： G06N3/08 文献下载
摘要：本申请属于模型量化技术领域，提供了一种模型的量化训练方法、装置及存储介质，用于对计算机视觉深度学习模型量化，该方法包括：在每一次模型迭代训练时，根据所述模型权重或激活值的数值分布特点确定量化参数；所述激活值表示由像素点组成的特征图；根据所述量化参数量化所述模型的每一层权重和激活值，得到权重量化值和激活量化值；采用所述权重量化值和所述激活量化值进行前向运算，以进行图像分析输出下一所述激活值；根据所述权重量化值和所述激活量化值反向计算所述模型的梯度，以通过所述梯度调整所述模型权重。本申请实施例通过在每次模型迭代训练时均根据模型的权重或激活值的数值分布动态更新量化参数，解决模型的性能损失问题。
激活量化量化参数权重量化权重迭代训练计算机视觉存储介质反向计算分布动态分布特点梯度调整图像分析性能损失权重和特征图像素点前向申请运算输出更新学习

[发明专利]一种基于权重归一化的深度神经网络压缩方法-CN201910575103.3在审
发明人：李武军;蔡文朴 -专利权人：南京大学
申请日： 2019-06-28 - 公布日： 2019-09-24 - 主分类号： G06N3/08 文献下载
摘要：本发明公开了一种基于权重归一化的深度神经网络压缩方法，权重的量化可以分解为三个步骤，首先对权重进行归一化，然后基于最小量化误差把权重量化至极低的比特，最后进行反归一化得到量化的权重，使用量化的权重进行神经网络的正向传播为了训练量化权重的神经网络，本发明对阶跃形式的量化函数的导数进行近似，从而使得神经网络的梯度可以进行反向传播，梯度累加在浮点权重上。基于权重归一化的权重量化在一定程度上避免了权重的长尾分布，从而减小了量化误差，进而提高了模型的性能。本发明可以把现在的一些主流神经网络的权重压缩至2比特、3比特，同时保证模型的性能没有较大的损失。
权重神经网络归一化量化权重量化压缩最小量化误差反归一化反向传播量化误差三个步骤正向传播累加长尾导数对阶浮点减小近似分解主流保证

[发明专利]用于量化神经网络的权重和输入的训练方法-CN202080062073.7在审
发明人：瓦希德·帕托维·尼亚;瑞安·拉扎尼 -专利权人：华为技术有限公司
申请日： 2020-09-24 - 公布日： 2022-07-15 - 主分类号： G06N3/08 文献下载
摘要：训练神经网络以选择性地将所述神经网络的滤波器的权重量化为二进制权重或三进制权重。执行多个训练迭代，每个训练迭代包括：量化滤波器的一组实值权重，以生成对应一组量化权重；基于输入特征张量与所述一组量化权重的矩阵乘法，生成输出特征张量；基于所述输出特征张量，计算基于正则化函数的损失，所述正则化函数用于在以下任一种情况下使所述损失接近最小值：(i)所述量化权重接近二进制权重，或者(ii)所述量化权重接近三进制权重；计算梯度，以最小化所述损失为目标；基于所述计算的梯度，更新所述实值权重。当所述训练迭代完成时，将根据所述更新的实值权重量化的一组权重存储为一组二进制权重或一组三进制权重。
用于量化神经网络权重输入训练方法

[发明专利]一种优化int8的量化方法及系统-CN202010863091.7在审
发明人：谢远东 -专利权人：云知声智能科技股份有限公司;厦门云知芯智能科技有限公司
申请日： 2020-08-25 - 公布日： 2020-11-17 - 主分类号： G06N3/04 文献下载
摘要：本发明提供了一种优化int8的量化方法及系统，所述方法执行以下步骤：获取训练神经网络后保存的浮点模型；计算神经网络各层中各通道中的权重量化缩放因子；采用KL散度算法计算神经网络各层中的激活值量化缩放因子；根据余弦距离确定神经网络各层中的最优权重量化缩放因子和最优激活值量化缩放因子；基于最优权重量化缩放因子和最优激活值量化缩放因子，得到int8的整型结果。根据本发明的方法，根据最优权重量化缩放因子和最优激活值量化缩放因子，自动进行微调，得到int8的整型结果，可以避免极端值的影响；同时，采用KL散度计算激活值量化缩放因子，并利用余弦距离自动地进行微调，可以减小量化误差
一种优化 int8 量化方法系统

[发明专利]一种机器学习模型的压缩方法、压缩装置和可读存储介质-CN202210675517.5在审
发明人：殷俊;韩建强;陈波扬;吴立;周祥明 -专利权人：浙江大华技术股份有限公司
申请日： 2022-06-15 - 公布日： 2022-07-15 - 主分类号： G06N3/08 文献下载
摘要：本申请公开了一种机器学习模型的压缩方法、压缩装置和可读存储介质，该机器学习模型的压缩方法包括：获取机器学习模型的多个权重数据；对多个权重数据进行等间隔划分，得到至少两个权重划分区间；统计每个权重划分区间中的权重数据的数量；对每个权重划分区间对应的权重数据的数量进行调整，得到权重划分区间对应的校准数量数据；基于每个权重划分区间对应的校准数量数据，对多个权重数据重新进行划分，得到至少两个权重量化区间；对权重量化区间中的权重数据进行量化处理，以使量化后的所有权重数据的比特数之和小于量化前的所有权重数据的比特数之和。
一种机器学习模型压缩方法装置可读存储介质

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条