[发明专利]一种支持抑制型脉冲神经网络的事件驱动加速器有效
申请号: | 202210010882.4 | 申请日: | 2022-01-06 |
公开(公告)号: | CN114139695B | 公开(公告)日: | 2022-06-03 |
发明(设计)人: | 张弛;罗旺;韩睿;陈骏;钱平;邵先军;王超;宫磊;李曦;周学海;徐华荣;郝运河;张永;戴哲仁;温典 | 申请(专利权)人: | 国网浙江省电力有限公司电力科学研究院 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06N3/04;G06N3/08 |
代理公司: | 浙江翔隆专利事务所(普通合伙) 33206 | 代理人: | 许守金;张建青 |
地址: | 310014 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 支持 抑制 脉冲 神经网络 事件 驱动 加速器 | ||
1.一种支持抑制型脉冲神经网络的事件驱动加速器,其特征在于,
应用一种脉冲神经网络加速方法,
一种脉冲神经网络加速方法,构建近似计算模型,以消除脉冲神经网络在不同时间步上的计算依赖关系,其构建过程,包括以下步骤:
第一步,将粗粒度时间段内的所有脉冲信号搜集到同一个时间步内;
第二步,根据第一步中的脉冲信号,计算出神经元在一个时间段内的膜电压增益;
第三步,通过第二步中的膜电压增益,计算脉冲发放频率;
第四步,利用第三步中的脉冲发放频率,得到脉冲神经网络的计算结果;
所述第二步中,神经元在某一时间段内的膜电压增益,取决于该时间段内突触前神经元所带来的脉冲刺激强度,其具体的计算公式如下:
其中,表示t时刻神经元j的膜电压增益,τ表示时间常数,Wi,j表示神经元i和神经元j之间连接权重,表示神经元i在t时刻是否发射脉冲信号,leak表示泄露项,freqi表示神经元i在该时间段内的脉冲发放频率;
所述第三步中,神经元的脉冲发放频率近似正比于该时间段内的膜电压增益,膜电压增益除以脉冲发射阈值,得到近似脉冲发放频率;其具体的计算公式如下:
其中,Vthrd表示神经元的脉冲发放阈值;
支持抑制型脉冲神经网络的事件驱动加速器包括脉冲输入模块、控制模块、状态模块、计算模块以及脉冲输出模块;
脉冲输入模块,用于负责加速器的输入输出,其设有一条队列,用来存储脉冲输入包;
控制模块设有图控制器和调度器;
所述图控制器,用于负责查找脉冲信号的突触后神经元以及相应连接权重,其能根据脉冲输入包中神经元标号,查找偏移量以及数目,之后再从外存中取出所有后继边;
所述调度器,用于负责将突触后神经元的相关数据调度至特定计算单元,其采用组相联的策略进行调度,即每个计算单元负责一组特定突触神经元状态的更新;
状态模块设有一组神经元状态存储单元SU,每个神经元状态存储单元SU保存一组神经元的状态信息,所述状态信息包括膜电位水平、脉冲发射阈值;
计算模块设有一组神经计算单元构成,每个神经计算单元CU包括一个乘加器和一个比较器;
脉冲输出模块设有一组去重队列,其能根据神经元是否是输出神经元,将输入包写入到不同的位置,并将输出神经元封装为脉冲输入包,传输给脉冲输入模块;
所述去重队列包括一个输出队列、一个位示图、一个用于计算脉冲频率的计算子模块;
所述输出队列,用来保存所有中间状态膜电位超出阈值的神经元标号;
所述位示图,用来标识神经元是否已经存在于输出队列,以避免神经元被重复压入队列;当脉冲输入模块中的所有数据都已经被处理完成,计算子模块结合神经元最终膜电压状态,判断输出队列中神经元是否发射脉冲信号以及脉冲信号的频率。
2.如权利要求1所述的一种支持抑制型脉冲神经网络的事件驱动加速器,其特征在于,
所述脉冲输入包为二元组结构,其包括神经元标号、脉冲激活频率;
所述神经元标号,用以指明该脉冲信号来源;
所述脉冲激活频率,用以反应神经元在粗粒度时间段内被激活的次数,以实现对近似计算模型的支持。
3.如权利要求1所述的一种支持抑制型脉冲神经网络的事件驱动加速器,其特征在于,
所述神经计算单元CU和神经元状态存储单元SU存在一一映射关系,当神经计算单元CU收到突触后神经元的脉冲输入时,其首先更新神经元状态存储单元SU中保存的神经元的状态信息,然后判断是否向脉冲输出队列发送脉冲输出包。
4.如权利要求1所述的一种支持抑制型脉冲神经网络的事件驱动加速器,其特征在于,
所述去重队列利用位示图标识神经元是否已经存在于输出队列;推迟脉冲信号的发射时机,结合神经元最终膜电压状态,计算脉冲发放频率,实现脉冲抖动问题的解决。
5.如权利要求1-4任一所述的一种支持抑制型脉冲神经网络的事件驱动加速器,其特征在于,
所述支持抑制型脉冲神经网络的加速器计算过程分为两阶段:
第一阶段是根据脉冲输入包,进行脉冲路由,更新突触后神经元的过程;
第二阶段是脉冲输出模块根据输出队列中神经元最终膜电位,计算脉冲发放频率的过程。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网浙江省电力有限公司电力科学研究院,未经国网浙江省电力有限公司电力科学研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210010882.4/1.html,转载请声明来源钻瓜专利网。