[发明专利]用于数据处理的卷积神经网络加速器在审
申请号: | 202111162366.5 | 申请日: | 2021-09-30 |
公开(公告)号: | CN114065908A | 公开(公告)日: | 2022-02-18 |
发明(设计)人: | 张川;王辉征;张琪;杨敏华;黄永明;尤肖虎 | 申请(专利权)人: | 网络通信与安全紫金山实验室 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/063;G06V10/30;G06V10/82 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 陈新生 |
地址: | 211111 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 数据处理 卷积 神经网络 加速器 | ||
本发明提供一种用于数据处理的卷积神经网络加速器,包括:数据处理单元和加法器阵列单元;数据处理单元包括第一预设数量个随机处理阵列模块,每个随机处理阵列模块用于基于快速有限脉冲响应FIR算法和双线性随机计算对第一待处理数据进行处理,获取第一输出结果;加法器阵列单元用于对第一输出结果进行累加求和,获取目标卷积结果。本发明通过基于快速有限脉冲响应FIR算法和双线性随机计算对待处理数据进行处理,由于快速有限脉冲响应FIR算法仅包括简单的乘加计算,而且双线性随机计算具有低复杂度和高容错率的优点,两者的结合有效降低了神经网络中卷积计算的复杂度,从而降低了卷积计算带来的硬件消耗,提高了硬件效率。
技术领域
本发明涉及人工智能技术领域,尤其涉及一种用于数据处理的卷积神经网络加速器。
背景技术
随着深度学习技术的迅猛发展,卷积神经网络逐渐在物体检测、图像分类和视频监控等领域取得了广泛应用。然而,随着处理的任务变得越来越复杂,卷积神经网络的尺寸和深度也在急剧增大,随之而来的功耗与面积的增长限制了其在一些移动设备与小型嵌入式设备上的实际应用。
目前已有大量的工作尝试将随机计算(Stochastic Computing,SC)应用至卷积神经网络的硬件实现中。随机计算是一种利用0-1随机比特流中1出现的概率表示数值的近似计算方式,具有低复杂度和高容错率的优点,因此,其在卷积神经网络专用硬件加速器设计方面具有巨大潜力。而且,由于卷积计算导致了卷积神经网络中超过90%的计算功耗以及主要的计算时间,故现有的一些研究尝试着将快速卷积算法与SC结合,来降低卷积计算的复杂度。
尽管现有的基于快速卷积算法的SC卷积神经网络加速器的确能够降低计算代价,但是这些算法通常需要较为复杂的预处理操作,例如除法和求余数,这些运算都不利于硬件的实现。
发明内容
本发明提供一种用于数据处理的卷积神经网络加速器,用以解决现有的卷积神经网络存在巨大的硬件消耗的问题,实现在保证神经网络识别性能基本不变的前提下,有效地降低卷积计算带来的硬件消耗,提高硬件效率。
本发明提供一种用于数据处理的卷积神经网络加速器,包括:
数据处理单元和加法器阵列单元;
所述数据处理单元包括第一预设数量个随机处理阵列模块,每个所述随机处理阵列模块用于基于快速有限脉冲响应FIR算法和双线性随机计算对第一待处理数据进行处理,获取第一输出结果;
所述加法器阵列单元用于对所述第一输出结果进行累加求和,获取目标卷积结果。
可选地,根据本发明提供的一种用于数据处理的卷积神经网络加速器,所述随机处理阵列模块的输入模式为并行输入模式,所述并行输入模式表征所述随机处理阵列模块可以并行接收至少两个所述第一待处理数据。
可选地,根据本发明提供的一种用于数据处理的卷积神经网络加速器,所述随机处理阵列模块包括第二预设数量个并行模块;
其中,不同的所述并行模块对应不同的延迟线,一个所述并行模块对应至少一个所述延迟线,所述一个所述并行模块对应的所述至少一个所述延迟线用于并行接收至少一个所述第一待处理数据,获取经过所述至少一个所述延迟线传输的所述至少一个所述第一待处理数据作为第一数据,并将所述第一数据输入至对应的所述并行模块。
可选地,根据本发明提供的一种用于数据处理的卷积神经网络加速器,所述并行模块包括第一随机转换模块和数据预处理模块;
所述第一随机转换模块用于将所述第一数据转换为第二数据,所述第二数据的形式为随机比特流形式;
所述数据预处理模块用于对所述第一随机转换模块输出的所述第二数据进行缩放加法,获取第二输出结果。
可选地,根据本发明提供的一种用于数据处理的卷积神经网络加速器,所述第一随机转换模块包括第一序列生成器和第一比较器;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网络通信与安全紫金山实验室,未经网络通信与安全紫金山实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111162366.5/2.html,转载请声明来源钻瓜专利网。