[发明专利]神经形态突触电路和神经形态系统有效
| 申请号： | 201580053374.2 | 申请日： | 2015-10-13 |
| 公开（公告）号： | CN106796669B | 公开（公告）日： | 2019-06-14 |
| 发明（设计）人： | E·S·伊莱夫舍利欧;A·潘塔兹;A·塞巴斯蒂安;T·图马 | 申请（专利权）人： | 国际商业机器公司 |
| 主分类号： | G06N3/10 | 分类号： | G06N3/10 |
| 代理公司： | 中国国际贸易促进委员会专利商标事务所 11038 | 代理人： | 李玲 |
| 地址： | 美国*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 神经 形态 突触 | ||
神经形态突触(11)包括在具有第一和第二输入端(21、22)的电路系统中连接的电阻性记忆单元(15)。这些输入端(21、22)在使用中分别接收前神经元和后神经元动作信号，每个动作信号具有读部分和写部分。该电路系统还具有用于提供依赖于记忆单元(15)的电阻的突触输出信号的输出端(23)。该电路系统可操作，使得响应于在第一输入端(21)处施加前神经元动作信号的读部分而在输出端(23)处提供突触输出信号，并且使得响应于分别在第一和第二输入端(21、22)处同时施加前神经元和后神经元动作信号的写部分而将用于编程记忆单元(15)的电阻的编程信号施加到单元(15)。突触(11)能够适于与完全相同的前神经元和后神经元动作信号一起操作。
技术领域
本发明一般而言涉及神经形态突触(neuromorphic synapse)。 提供了基于电阻性记忆单元的神经形态突触，连同结合这种突触的突 触阵列和系统。
背景技术
神经形态(neuromorphic)技术涉及受神经系统的生物体系架 构启发的计算系统。传统的计算体系架构正变得越来越不能满足对现 代计算机系统的不断扩大的处理需求。与人脑相比，经典的冯诺依曼 (von Neumann)计算机体系架构在功耗和空间要求方面效率非常低 下。人脑占用不到2升并且消耗大约20W的功率。利用最先进的超 级计算机模拟5秒的大脑活动需要大约500秒并且需要1.4MW的功 率。这些问题已推动重要的研究努力，以了解人脑的高效计算范例并 创造具有前所未有的计算能力的人工认知系统。
神经元和突触是大脑中的两个基本计算单位。神经元可以集成来 自其它神经元的输入，在一些情况下与进一步的输入(例如来自感觉 受体的输入)集成，并且生成被称为“动作电位”或“尖峰”的输出 信号。作为神经元活动的结果，突触改变它们的连接强度。附图中的 图1示出了位于两个神经元2之间的突触1的示意性表示。突触1接 收由前突触神经元(“前神经元”)N1生成的动作电位并且向后突 触神经元(“后神经元”)N2提供输出信号。前神经元动作电位经 由神经元N1的轴突3传送到突触1。结果所得的突触输出信号是依 赖于突触的电导的分级突触电位(也称为“突触权重”或“强度”)。 突触权重可以通过神经元活性增强或减少，并且突触的这种“可塑性” 对记忆和其它大脑功能是至关重要的。这种效应在图1中通过后神经 元动作电位(即，由神经元N2生成的尖峰)经由神经元N2的树突 4向后传播到突触1来指示。
生物系统中的动作电位在神经元激发(尖峰生成)的所有情况下 都具有相同的形状。在尖峰形状中没有信息，而是仅在激发时间中有 信息。特别地，可以依赖前神经元和后神经元动作电位的相对定时来 修改突触权重。在这里的简单模型中，如果前和后神经元一起激发， 则突触变得越来越强(更具导电性)。突触权重的变化还可以依赖于 前和后神经元尖峰的定时的轻微差异。例如，如果后神经元在前神经 元之后紧接着激发，则突触权重可以增加，并且如果后神经元趋向于 在前神经元之前激发，则突触权重可以减小。这些相对定时效应一般 被称为依赖尖峰定时的可塑性(STDP)。
突触通常数目超过神经元显著的因子(在人脑的情况下大约 10000)。神经形态计算技术中的一个关键挑战是开发模仿生物突触 的可塑性的紧凑的纳米电子设备。
电阻性记忆单元已被认为是用于实现神经形态突触的候选。诸如 相变记忆(PCM)单元的电阻性记忆单元是可编程电阻设备，其依 赖部署在一对电极之间的一定体积的电阻性材料的可变电阻特性。单 元电阻可以通过向电极施加控制信号来控制。这些单元表现出阈值开 关效应，借此可以通过施加高于阈值电平的控制信号而在高和低电阻 状态之间切换单元。通过适当地调整控制信号，可以将单元编程到一 定范围的中间电阻值。在PCM单元中，例如，通过加热一定体积的 硫族化物(chalcogenide)材料以便改变硫族化物体积中的(高电阻) 非晶相与(低电阻)结晶相的相对比例来实现可编程电阻。为了改变 单元电阻，将高于相变所需的阈值电压的编程(或“写”)信号经由 电极施加到单元。可以通过向电极施加低电压读信号并测量流经单元 的结果所得的电流来测量(或“读”)单元电阻。读电压电平足够低， 以确保读电压不干扰经编程的单元状态。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国际商业机器公司，未经国际商业机器公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201580053374.2/2.html，转载请声明来源钻瓜专利网。
- 同类专利
- 利用强化学习的设备布局优化-201880011282.1
- S.本吉奥;M.诺鲁齐;B.斯坦纳;J.A.迪安;H.H.范;A.米霍塞尼;Q.V.勒;N.库马;Y.周;R.M.拉森 - 谷歌有限责任公司
- 2018-03-23 - 2019-09-20 - G06N3/10
- 描述了一种用于确定跨多个硬件设备的机器学习模型操作的布局的方法。该方法包括接收指定将被布局用于在多个硬件设备上进行分布式处理的机器学习模型的数据；从数据生成操作嵌入序列，序列中的每个操作嵌入表征执行机器学习模型的处理所需的相应操作；根据布局递归神经网络的多个网络参数的第一值，使用布局递归神经网络处理操作嵌入序列，以生成定义由序列中的操作嵌入表征的跨多个设备的操作的布局的网络输出；以及通过根据由网络输出定义的布局在多个设备上布局操作，来调度机器学习模型以供多个硬件设备处理。
- 神经形态突触电路和神经形态系统-201580053374.2
- E·S·伊莱夫舍利欧;A·潘塔兹;A·塞巴斯蒂安;T·图马 - 国际商业机器公司
- 2015-10-13 - 2019-06-14 - G06N3/10
- 神经形态突触(11)包括在具有第一和第二输入端(21、22)的电路系统中连接的电阻性记忆单元(15)。这些输入端(21、22)在使用中分别接收前神经元和后神经元动作信号，每个动作信号具有读部分和写部分。该电路系统还具有用于提供依赖于记忆单元(15)的电阻的突触输出信号的输出端(23)。该电路系统可操作，使得响应于在第一输入端(21)处施加前神经元动作信号的读部分而在输出端(23)处提供突触输出信号，并且使得响应于分别在第一和第二输入端(21、22)处同时施加前神经元和后神经元动作信号的写部分而将用于编程记忆单元(15)的电阻的编程信号施加到单元(15)。突触(11)能够适于与完全相同的前神经元和后神经元动作信号一起操作。
- 面向医用X射线探测器的能谱校正方法-201811401156.5
- 史再峰;谢向桅;曹清洁;李金卓;罗韬 - 天津大学
- 2018-11-22 - 2019-03-26 - G06N3/10
- 本发明涉及医疗器械尤其计算机断层扫描(CT)技术领域，为对单光子计数和能量积分型探测器，输出更加精确的解析结果，降低因为随机噪声、射束硬化等造成的解析误差，本发明，面向医用X射线探测器的能谱校正方法，在能量解析的初步结果后，通过神经网络进行校正；对神经网络进行训练；产生数据集包含七个步骤：第一步，构建虚拟体模数据库；第二步，建立X射线能谱探测过程的计算机仿真模型；第三步，记录数据；第四步，完成能谱解析；第五步，整理数据；第六步，更换入射方向，返回第三步；第七步，选定数据库中的其他体模，返回第三步，若数据库中所有体模信息均已采集则数据集的生成部分完成。本发明主要应用于CT设备设计制造场合。
- 一种基于ARMA模型的SDN流量预测方法-201811336349.7
- 蒋定德;王键;王雨晴;齐盛 - 电子科技大学
- 2018-11-12 - 2019-03-22 - G06N3/10
- 该发明公开了一种基于ARMA模型的SDN流量预测方法，属于无线通信网络技术领域，特别是涉及一种适用于网络的性能分析和网络规划方法。针对现有技术存在的缺点，本发明够准确预测SDN的流量变化趋势。该算法利用抽样从OpenFlow交换机中的计数器上获取仿真数据，对数据进行平稳化处理，利用平稳化后的数据训练ARMA模型，获得ARMA模型参数，包括自回归系数、滑动平均系数以及模型的阶数等。获得参数后建立ARMA预测模型，利用建立后的模型预测SDN流量变化趋势。
- 一种基于钙浓度的神经突触可塑性计算方法-201811083069.X
- 曹立宏;王晔 - 中国传媒大学
- 2018-09-17 - 2019-02-12 - G06N3/10
- 一种基于钙浓度的神经突触可塑性计算方法涉及大脑模拟仿真领域，尤其是针对大脑模拟仿真中脉冲神经网络的神经突触可塑性的计算问题。首先是钙离子浓度的计算，针对需要计算的突触，根据初始时刻t0的突触前神经元和突触后神经元的膜电位值，以及突触的初始连接权重w0，分别计算下一时刻t1的树突和树突棘中的钙离子浓度；其次，根据树突棘中的钙离子浓度，通过和钙离子浓度阈值Ca0s及Ca1s对比得到权重变化的方向，根据突触状态标签Tag和可塑性相关蛋白质PRP浓度，计算突触权重的变化，得到t1时刻的新权重。重复以上过程，计算模拟时间内的突触连接强度。本发明应用于构建类脑神经网络，完成类脑智能所需的学习和记忆过程的仿真，实现通用强人工智能，并应用于智能传媒、医疗等方面。
- 基于混合径向基神经网络的黑箱系统设计优化方法-201810914539.6
- 龙腾;唐亦帆;史人赫;武宇飞 - 北京理工大学
- 2018-08-13 - 2019-01-01 - G06N3/10
- 本发明公开的基于混合径向基神经网络的黑箱系统设计优化方法，属于工程设计中的优化技术领域。本发明采用混合径向基神经网络对黑箱系统进行近似建模，并代替原始系统模型进行设计优化；通过求解单个径向基神经网络RBFNN中的参数，使得单个RBFNN的近似性能最优；构建求解权重系数的二次规划问题，对目标函数中的每个权重系数增加惩罚项，提高混合径向基神经网络ERBFNN的近似精度。本发明通过挖掘和利用不同RBFNN的优势，并利用拉格朗日乘子法求解单个代理模型的权重系数，能够避免繁琐优化过程，对于黑箱系统的高精度、高效率近似建模以及提高黑箱系统设计优化质量具有重要意义。本发明适用于包含高精度分析模型或存在黑箱系统的工程设计优化领域。
- 基于自动编码器和多层感知器网络的黄河主溜光谱建模方法-201610224971.3
- 张艳宁;刘学工;张磊;严杭琦;丁晨;魏巍;韩琳;佘红伟;季万才 - 西北工业大学
- 2016-04-12 - 2018-08-03 - G06N3/10
- 本发明公开了一种基于自动编码器和多层感知器网络的黄河主溜光谱建模方法，用于解决现有建模方法自适应性差的技术问题。技术方案是综合考虑水分子的吸收系数和散射系数，泥沙颗粒的吸收系数和散射系数，光的入射角，水层向上散射角等诸多因素；采用自动编码器后接多层感知器形成的神经网络结构，利用训练数据进行学习，最终获得黄河主溜光谱模型。自动编码器具有去除冗余信息，对噪声鲁棒的特点，因此有利于获得鲁棒的参数估计结果。本发明建立的黄河主溜光谱模型结合主溜成因，综合考虑了水体、泥沙、光照等方面的因素，采用自动编码器和多层感知器网络作为模型参数估计方法，能够更具数据自动获得具体模型参数，具有良好的可扩展性和自适应性。
- 采用神经网络的局部放电信号处理方法及装置-201380076458.9
- A·迪斯特法诺;R·坎德拉;G·菲丝赛丽;G·C·吉阿考尼亚 - 普睿司曼股份公司
- 2013-05-10 - 2018-07-13 - G06N3/10
- 局部放电信号处理方法(1100)，包括：设置(1000)以下标准当中的第一判别标准：放电信号采集、放电信号噪声滤波、放电信号分类；提供(1002)与检测到的局部放电波形信号关联的多个脉冲波形；根据第一标准定义(1001)至少第一参照脉冲波形(RF)；基于所述至少第一参照脉冲波形来执行神经网络模块(800；900)的第一训练(1005)，以产生适于选择性地假定第一个值和第二个值的相似性指标，第一个值和第二个值分别代表输入脉冲波形与至少第一参照脉冲波形(RF)的相似性/不相似性；借由神经网络模块比较(1006)所述多个脉冲波形与至少第一参照脉冲波形，以获得第一相似性指标值；基于所获得的第一相似性指标值并且基于第二判别标准，记忆/拒绝(1008；1009)每个经比较的脉冲波形。
- 处理系统以及程序-201580078814.X
- 筒井多圭志;朝长康介;三平悠磨 - 情感爱思比株式会社
- 2015-04-17 - 2018-04-17 - G06N3/10
- 一种处理系统，对构成神经网络的多个人造神经元以及多个人造突触的参数进行处理，包括存储部，存储对于多个人造神经元的各人造神经元定义了控制对象的状态的定义信息；处理部，使用在每个人造神经元能够以批量的数据单位访问的数据访问构造，对多个人造神经元的各人造神经元的参数值以及被连接于各人造神经元的输入的一个以上的人造突触的参数值进行处理；动作确定部，基于通过多个人造神经元中的至少一部分人造神经元的参数值确定的所述至少一部分人造神经元的活性状态和由所述至少一部分人造神经元定义的状态，确定所述控制对象的动作。
- 一种基于鲁棒随机权神经网络的多元铁水质量软测量方法-201610118914.7
- 周平;吕友彬;王宏 - 东北大学
- 2016-03-02 - 2018-03-20 - G06N3/10
- 一种基于鲁棒随机权神经网络的多元铁水质量软测量方法属于高炉冶炼自动化控制领域，特别涉及一种基于Cauchy分布加权M估计随机权神经网络(M‑RVFLNs)的高炉炼铁过程多元铁水质量参数动态软测量方法。本发明运用主成分分析(PCA)方法筛选出影响高炉铁水质量的最主要参数作为模型输入变量，构造出一个具有输出自反馈结构且考虑不同时刻输入输出数据的铁水质量多元动态预测模型，可同时对表征高炉铁水质量的主要参数Si含量、P含量、S含量和铁水温度进行多元动态软测量。本发明包括以下步骤(1)辅助变量选择与模型输入变量确定；(2)M‑RVFLNs软测量模型的训练和使用。
- 一种基于自适应变异粒子群优化的潮汐智能实时预报方法-201610255994.0
- 尹建川;张泽国;柳成 - 大连海事大学
- 2016-04-22 - 2018-02-06 - G06N3/10
- 本发明公开了一种基于自适应变异粒子群优化的潮汐智能实时预报方法，包括以下步骤载入潮汐实测数据；构建SAPSO‑BP网络预报模型；计算误差函数；循环迭代寻优；设置BP神经网络的网络参数。本发明借鉴遗传算法GA中的变异思想，在PSO算法中引入变异操作，拓展了在迭代过程中不断缩小的种群搜索空间，从而使粒子能够跳出先前搜索到的最优位置，在更大的搜索空间中展开搜索，同时又保持了种群的多样性，提高了算法寻找到更优值得可能性。因此，本发明相对于传统的PSO‑BP算法具有较高的搜索精度和搜索效率，相对于传统的PSO‑BP模型和调和分析模型具有更高的预测精度。
- 一种新型神经元振荡器-201510507029.3
- 刘强;商成宇;张金学 - 淮海工学院
- 2015-08-18 - 2018-01-26 - G06N3/10
- 本发明是一种新型神经元振荡器通过建立了一个神经元模型，然后将两个神经元之间通过抑制性突触相互连接，构成一个振荡器模型；所述的神经元模型，在具有疲劳特性的漏积分器神经元模型基础上，增加输出饱和和自兴奋性特性后，形成了一个神经元模型；其中，所述神经元模型的输出，采用非线性函数表示，且该非线性函数满足当时，输出具有饱和特性，当时，神经元没有输出。本发明振荡器模型与Matsuoka振荡器模型相比，鲁棒性更强，而且保证了由此振荡器构成运动控制神经网络在添加兴奋性连接后的稳定性。
- 基于协同训练极限学习机模型的半监督软测量方法-201710551675.9
- 葛志强;李浩;宋执环 - 浙江大学
- 2017-07-07 - 2017-12-12 - G06N3/10
- 本发明公开了一种基于协同训练极限学习机半监督软测量的方法，它是由协同训练算法和极限学习机模型组成；协同训练算法迭代调用极限学习机模型最终实现软测量模型的建立；本发明可以有效的解决有标签样本少、无标签样本多导致的软测量建模不准的问题，从而建立准确的半监督软测量模型。
- 混沌背景中基于改进教学优化算法的检测回声状态网络微弱信号的方法-201710276937.5
- 行鸿彦;沈洁 - 南京信息工程大学
- 2017-04-25 - 2017-09-08 - G06N3/10
- 本发明公开了一种本发明提供一种混沌背景中基于改进教学优化算法的检测回声状态网络微弱信号的方法，本方法采用改进优化教学算法（ITLBO）算法来优化回声状态网络模型参数，首先要确定优化参数的个数，储备池规模N和稀疏度SD的值，对其余的参数进行编码；其次通过ITLBO的教授阶段、学习阶段、反馈阶段找到最优的回声状态网络模型参数组合并对这些参数进行建模、训练和预测，对单步预测误差进行分析并从中判断混沌背景噪声中是否存在微弱目标信号，用该方法对Lorenz混沌背景和实际的海杂波信号进行仿真实验，准确快速地检测出微弱信号；克服了回声状态网络模型参数选取困难的缺点，提高了工作效率。
- 远程地控制和监视神经模型执行的方法和装置-201480055755.X
- E·M·霍尔;T·R·沙阿;J·S·霍希;A·查克拉博蒂;R·金特达 - 高通股份有限公司
- 2014-09-16 - 2016-05-25 - G06N3/10
- 本公开的各方面提供了用于诸如经由因特网远程地控制和监视神经模型执行(例如，诸如上述神经模型的执行)的方法和装置。根据某些方面，远程位置处的客户机(例如，web客户机)可建立与神经模型正在其上运行(或至少能够控制和监视该执行)的服务器的连接。
- 基于视觉仿生的超分辨率图像信息获取方法-201410662684.1
- 代少升;刘劲松;向海燕;刘琴;常静敏 - 重庆邮电大学
- 2014-11-17 - 2015-02-18 - G06N3/10
- 本发明公开了一种基于视觉仿生的超分辨率图像信息获取方法，属于图像处理领域。本发明受人眼在微动模式下能够获取超分辨率图像信息的启发，结合人眼固视微动和超分辨率特性，提出一种基于视觉仿生的超分辨率图像信息获取方法。该方法建立了超分辨率图像信息获取的模型，揭示了人眼固视微动与超分辨率图像信息获取之间的定量关系，并通过实际图像数据进行仿真验证。本发明方法获取的图像细节大幅增加，视觉效果显著改善，即获取了超分辨率的图像信息，具有应用和推广价值。
- 一种基于改进人工鱼群算法的供水管网改扩建优化方法-201310177391.X
- 徐哲;车栩龙;杨洁;孔亚广;薛安克 - 杭州电子科技大学
- 2013-05-13 - 2013-08-21 - G06N3/10
- 本发明公开了一种基于改进人工鱼群算法的供水管网改扩建优化方法。本发明首先由EPANET对改扩建后的供水管网运行过程进行模拟仿真，得出的模拟数据通过BP神经网络方法建立供水管网模型，然后对改扩建后管网运行时的供需压差、改扩建费用作为评价指标，建立一个优化模型，采用改进人工鱼群算法分别对管径和供水量进行优化计算。本发明充分发挥了EPANET的水力计算能力和BP神经网络的非线性拟合能力，建立的模型简单易实现，随着训练数据的增加，模型的精确度也能进一步的提高，而且通过改进的人工鱼群算法用于供水管网的优化，可以克服局部极值的缺点，收敛速度快。
- 小型认知突触运算电路-201180052460.3
- D·S·莫德哈 - 国际商业机器公司
- 2011-08-03 - 2013-07-03 - G06N3/10
- 本发明具体实施例涉及使用在交叉式(crossbar)阵列网络中互连的电子神经元以产生脉冲时序相依可塑性。交叉式阵列网络包含多个交叉式阵列。每一交叉式阵列包含多个轴突(axons)及多个树突(dendrites)，使得轴突与树突彼此横贯，以及包含多个突触(synapse)装置，其中每一突触装置位于耦合在树突及轴突间的交叉式阵列的交叉点。交叉式阵列在空间上位于交错(staggered)图案中，其提供突触装置的交错交叉式布局。
- 基于分级时间记忆的系统的结构-200780007274.1
- 杰弗里·霍金斯;苏卜泰·艾哈迈德;迪利普·乔治;弗兰克·阿斯铁尔;罗纳德·马里亚内蒂二世 - 努门塔公司
- 2007-02-08 - 2009-03-25 - G06N3/10
- 可将基于分级时间记忆(HTM)的系统提供作为软件平台。所述软件平台包括：运行时引擎，其经布置以运行HTM网络；第一接口，其可由一组工具接入以配置、设计、修改、训练、调试且/或部署所述HTM网络；以及第二接口，其可被接入以扩展所述运行时引擎的功能性。
- 专利分类
