[发明专利]卷积运算方法、装置、存储介质及电子设备在审
申请号: | 202210972093.9 | 申请日: | 2022-08-12 |
公开(公告)号: | CN115310596A | 公开(公告)日: | 2022-11-08 |
发明(设计)人: | 李路长 | 申请(专利权)人: | OPPO广东移动通信有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06F17/15;G06F17/16 |
代理公司: | 深圳翼盛智成知识产权事务所(普通合伙) 44300 | 代理人: | 陈晓真 |
地址: | 523860 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 卷积 运算 方法 装置 存储 介质 电子设备 | ||
本申请实施例公开了一种卷积运算方法、装置、存储介质及电子设备,其中,本申请实施例获取原始输入矩阵在winograd域的第一输入矩阵,以及对应的原始权重矩阵在winograd域的第一权重矩阵;根据第一缩放系数矩阵对第一输入矩阵中的输入数据进行缩放处理,得到第二输入矩阵,根据第二缩放系数矩阵对第一权重矩阵中的权重数据进行缩放处理,得到第二权重矩阵;然后再进行矩阵乘法运算,得到winograd域的第一输出矩阵;根据第三缩放系数矩阵对输出矩阵进行缩放处理,得到winograd域的第二输出矩阵。本申请降低了矩阵转换产生的舍入误差,同时降低了整数量化过程中产生溢出误差,从而降低Winograd卷积的精度损失。
技术领域
本申请涉及人工智能技术领域,具体涉及一种卷积运算方法、装置、存储介质及电子设备。
背景技术
在人工智能技术领域,神经网络算法是最近非常流行的一种机器学习算法,在各种领域中都取得了非常好的效果,比如图像识别,语音识别,自然语言处理等。随着神经网络算法的发展,算法的复杂度也越来越高,为了提高识别度,模型的规模也在逐渐增大。
winograd卷积是一种基于winograd变换和矩阵乘法的卷积加速实现方式,能够提高卷积的运算速度。
对于winograd的卷积运算,在整数量化时,变换后的矩阵需要转换到量化使用的整数数据类型,这使得变换矩阵中的计算公式包含了两种误差从而导致精度损失:一种是除法导致的舍入误差;另一种是溢出误差。这两种误差的存在导致Winograd卷积的精度损失增大。
发明内容
本申请实施例提供一种卷积运算方法、装置、存储介质及电子设备,能够降低Winograd卷积的精度损失。
第一方面,本申请实施例提供一种卷积运算方法,包括:
获取原始输入矩阵在winograd域的第一输入矩阵,并获取所述第一输入矩阵对应的原始权重矩阵在winograd域的第一权重矩阵;
根据第一缩放系数矩阵对所述第一输入矩阵中的输入数据进行缩放处理,得到第二输入矩阵,根据第二缩放系数矩阵对所述第一权重矩阵中的权重数据进行缩放处理,得到第二权重矩阵;
对所述第二权重矩阵和所述第二输入矩阵进行整数量化处理,将整数量化处理后的第二权重矩阵与整数量化处理后的第二输入矩阵进行矩阵乘法运算,得到winograd域的第一输出矩阵;
根据第三缩放系数矩阵对所述第一输出矩阵的每一输出数据进行缩放处理,得到winograd域的第二输出矩阵;
将winograd域的所述第二输出矩阵转换为实际输出矩阵。
第二方面,本申请实施例还提供一种卷积运算装置,包括:
获取模块,用于获取原始输入矩阵在winograd域的第一输入矩阵,并获取所述第一输入矩阵对应的原始权重矩阵在winograd域的第一权重矩阵;
第一缩放模块,用于根据第一缩放系数矩阵对所述第一输入矩阵中的输入数据进行缩放处理,得到第二输入矩阵,根据第二缩放系数矩阵对所述第一权重矩阵中的权重数据进行缩放处理,得到第二权重矩阵;
运算模块,用于对所述第二权重矩阵和所述第二输入矩阵进行整数量化处理,将整数量化处理后的第二权重矩阵与整数量化处理后的第二输入矩阵进行矩阵乘法运算,得到winograd域的第一输出矩阵;
第二缩放模块,用于根据第三缩放系数矩阵对所述第一输出矩阵的每一输出数据进行缩放处理,得到winograd域的第二输出矩阵;
转换模块,用于将winograd域的所述第二输出矩阵转换为实际输出矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司,未经OPPO广东移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210972093.9/2.html,转载请声明来源钻瓜专利网。