[发明专利]基于脉冲神经网络的端到端功能性脉冲模型的实现方法在审
申请号: | 201910957935.1 | 申请日: | 2019-10-10 |
公开(公告)号: | CN110659730A | 公开(公告)日: | 2020-01-07 |
发明(设计)人: | 刘贵松;解修蕊;张鸿杰;蔡庆;陈述;肖涛 | 申请(专利权)人: | 电子科技大学中山学院 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 51230 成都弘毅天承知识产权代理有限公司 | 代理人: | 许志辉 |
地址: | 528402 *** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 脉冲模型 脉冲神经网络 损失函数 二元组 轮数 脉冲响应函数 人工智能技术 分类准确率 反向传播 更新参数 函数构建 计算训练 时间顺序 输出脉冲 输入脉冲 初始化 传统的 端到端 构建 算法 突触 收敛 测试 输出 期望 学习 | ||
本发明公开了一种基于脉冲神经网络的端到端功能性脉冲模型的实现方法,涉及人工智能技术领域,本发明包括定义输入脉冲二元组Di和期望输出脉冲二元组Dd;基于功能性脉冲响应函数和动态突触函数构建功能性脉冲模型,初始化功能性脉冲模型参数,并设置训练轮数epochmax;构建功能性脉冲模型的损失函数,根据损失函数计算训练损失值L;当训练损失值L不等于零且当前训练轮数小于epochmax时,利用反向传播算法对功能性脉冲模型进行训练,更新参数,直至功能性脉冲模型收敛,完成训练;对训练完成的功能性脉冲模型进行测试,若符合要求,则输出该训练好的功能性脉冲模型,本发明在时间顺序学习任务上明显优于传统的脉冲神经网络,提高了模型的分类准确率和训练速度。
技术领域
本发明涉及人工智能技术领域,更具体的是涉及一种基于脉冲神经网络的端到端功能性脉冲模型的实现方法。
背景技术
脉冲神经网络(Spiking Neural Network,SNN)属于第三代神经网络模型,实现了更高级的生物神经模拟水平。除了神经元和突触状态之外,SNN还将时间概念纳入了操作之中。SNN旨在弥合神经科学和机器学习之间的差距,使用最拟合生物神经元机制的模型来进行计算。脉冲神经网络与目前流行的神经网络和机器学习方法有着根本上的不同。SNN使用脉冲——这是一种发生在时间点上的离散事件——而非常见的连续值。每个峰值用生物过程的微分方程表示出来,其中最重要的是神经元的膜电位。本质上,一旦神经元达到了某一电位,脉冲就会出现,随后达到电位的神经元会被重置。
脉冲神经网络采用精确定时的脉冲序列来编码神经信息。神经网络内部的信息传递是由脉冲序列完成的,脉冲序列是由离散的脉冲时间点组成的时间序列,因此,在进行脉冲神经网络的模拟与计算时,包含以下步骤:
(1)当输入数据或神经元受到外界刺激时,经过特定的脉冲序列编码方法,可将数据或外界刺激编码成特定的脉冲序列;
(2)脉冲序列在神经元之间传递并经过一定的处理,处理之后将输出的脉冲序列通过特定的解码方法进行解码并给出具体的响应。
对于神经信息的脉冲序列编码问题,借鉴生物神经元的信息编码机制,目前有许多脉冲神经网络的脉冲序列编码方法。例如,首脉冲触发编码方法、延迟相位编码方法、群体编码方法等。
简化的脉冲响应模型(Simplifiedspike Response Model,SRM0),是脉冲神经网络中最常用的模型之一。在SRM0模型中,每个神经元整合来自所有突触前神经元脉冲的潜在贡献,并在其电位达到阈值θ时发出脉冲。让tj表示第j个脉冲的输入时间,εj表示第j个输入脉冲的响应函数,那么突触后神经元在时间t的电位是:
其中是突触后神经元最新的输出脉冲时间,是不应期函数,Γj包含所有突触前神经元的输入脉冲,uext是突触后神经元的外部电压,wj是发射第j个输入脉冲的突触前神经元的权重。
脉冲响应函数定义为:其中sj=t-tj,H(sj)是Heaviside阶跃函数,当sj≥0时设置为1,否则为0,τ1和τ2是常数参数。
尽管目前脉冲神经网络在学术界取得了很多成就,但是由于复杂的脉冲时间编码需要很多的专业知识或经验,导致现有的脉冲神经网络模型并不易于使用。
现有的脉冲神经网络在应用上存在以下问题:
1、一般脉冲神经网络中对输入数据编码困难;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学中山学院,未经电子科技大学中山学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910957935.1/2.html,转载请声明来源钻瓜专利网。