[发明专利]一种低成本低功耗脉冲神经网络加速器在审
申请号: | 202111538761.9 | 申请日: | 2021-12-15 |
公开(公告)号: | CN116266278A | 公开(公告)日: | 2023-06-20 |
发明(设计)人: | 李玉泽;杨永魁;郭伟钰;王峥;陈超;喻之斌 | 申请(专利权)人: | 中国科学院深圳先进技术研究院 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/049;G06N3/0499;G06F15/173;G06F15/78 |
代理公司: | 北京市诚辉律师事务所 11430 | 代理人: | 岳东升;杨帅峰 |
地址: | 518055 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 低成本 功耗 脉冲 神经网络 加速器 | ||
本发明涉及一种低成本低功耗脉冲神经网络加速器,在保证加速器具有可扩展性的情况下,进一步通过优化神经元的脉冲数据包,从而简化片上网络的路由器设计,可以达到减少硬件开销的目的。此外,通过设计高效的脉冲神经网络向加速器映射的部署方法,使得所有物理神经元并行工作且通过片上网络进行通信。本发明的脉冲神经网络加速器在降低硬件开销的优选实施方式下,更适用于对成本功耗敏感的嵌入式设备等。
技术领域
本公开涉及电子信息技术,具体涉及一种低成本低功耗脉冲神经网络加速器。
背景技术
近年来随着网络层数的增加对目前硬件的计算能力和存储器件提出了很大挑战。功耗高是人工智能在嵌入式视觉设备应用中的一大痛点与难点,其中一个重要因素是传统处理器的能效低。
相比传统人工神经网络(Artificial Neuron Network),脉冲神经网络(SNN)处理的是离散的脉冲序列,所以加权和的计算是通过加法而不是乘法来完成的。这大大降低了计算能力和时间。此外,脉冲神经网络只有在有输入脉冲时才会进行加法,而实际上,这是非常稀疏的,而人工神经网络对所有输入的所有神经元进行乘法运算。所以脉冲神经网络能够同时模拟人脑神经网络的时空特性,具有更高的生物真实性,可以达到更好的性能功耗比。有望取代传统处理器实现高能效的人工智能。
当前脉冲神经网络加速器面临规模可扩展性与硬件资源能耗开销之间的矛盾,即规模可扩展的SNN加速器其硬件与能耗开销较大,而开销较小的脉冲神经网络加速器其集成的神经元数目难以扩展。
发明内容
本发明的主要目的在于解决当前脉冲神经网络加速器面临规模可扩展性和硬件资源能耗开销之间的矛盾,即规模可扩展的脉冲神经网络加速器其硬件与能耗开销较大,而开销较小的SNN加速器其集成的神经元数目难以扩展。
传统的片上网络架构目的在于减小传输延迟和路由器堵塞,而时分复用的神经元和异步神经元特征使得脉冲神经网络中神经元之间的传输延迟不是主要的瓶颈,本发明在保证加速器可扩展性下,进一步通过优化神经元的脉冲数据包,从而简化片上网络的路由器设计,达到减少硬件开销的目的。此外,通过设计高效的脉冲神经网络向加速器映射的部署方法,使得所有物理神经元并行工作且通过片上网络进行通信。
一方面,本发明提出了一种低成本低功耗脉冲神经网络加速器的具体结构如下,所述脉冲神经网络加速器包括神经核、路由器;多个神经核通过片上网络集成,神经核之间通过路由器传输脉冲数据包;所述神经核包括路由器接口模块、脉冲数据输入缓存、控制模块、存储模块、物理神经元模块、输出端口和编码模块;所述路由器接口模块用于从路由器接收脉冲数据包,并对脉冲数据包进行解封装和组合,或者对脉冲数据包进行封装并向路由器进行发送;所述脉冲数据输入缓存用于接收并缓存脉冲数据包;所述控制模块根据脉冲数据包信息,采用时分复用方式,对存储模块中的神经元状态信息以流水线方式更新;所述神经元模块基于存储模块中神经元的状态信息,更新物理神经元状态;所述输出端口和编码模块,将存储模块中更新的神经元的状态信息,生成脉冲数据包。
优选地,所述脉冲数据包只包括时间戳信息和源神经元地址;所述源神经元是接收脉冲数据包的神经核上所部署的神经元的上一层神经元。
优选地,所述存储模块包括神经元存储单元和突触存储单元;所述神经元存储单元用于存储目标神经元的状态信息;所述目标神经元是接收脉冲数据包的神经核上所部署的神经元;所述突触存储单元用于存储目标神经元与源神经元的权重。
优选地,所述物理神经元采用泄露积分点火模型实现。
进一步地,所述神经元的状态信息包括神经元膜电势、上次神经元更新时间以及神经元不应期结束时间。
优选地,所述部署包括下述步骤:
S100、计算全连接脉冲神经网络每一层的神经元个数;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院,未经中国科学院深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111538761.9/2.html,转载请声明来源钻瓜专利网。