[实用新型]实现液体状态机的脉冲神经网络数模混合电路系统

说明书

本实用新型公开了一种实现液体状态机的脉冲神经网络数模混合电路系统，包括A2S编码输入层、SNN计算层、S2A解码层、在线学习与输出控制器和超参数控制器。SNN计算层包括N个脉冲神经元电路，通过神经元间可重构互连网络连接，A2S编码输入层与SNN计算层之间通过输入输出可重构互连网络连接，A2S编码输入层包括M个A2S编码单元；S2A解码层通过输入输出可重构互连网络与SNN计算层及A2S编码输入层连接，S2A解码层包括M+N个S2A解码单元。所述混合电路系统结合了模拟电路计算速度快和数字电路计算灵活性高的优势，使其具有计算效率高、实时性强和在线学习的特点，从而推动ANN技术在物联网应用场景中的应用。

技术领域

本实用新型涉及模仿生物神经元网络实现人工智能的神经形态工程，尤其涉及一种实现液体状态机的脉冲神经网络数模混合电路系统。

背景技术

神经科学研究表明，生物神经系统是由大量的神经元相互连接而成的高复杂性、强非线性的网络信息系统。科学家们对生物神经网络的结构与功能进行观测、试验与建模，试图通过模仿其表达、传递、处理以及记忆信息的机制来探索其工作原理，建立类脑信息处理系统，以期实现真正的人工智能。因此，产生了人工神经网络（ANN）技术。第一代ANN采用阶跃函数作为激活函数,采用浅层前馈连接网络结构，典型代表包括M-P模型、感知器模型、Adaline模型等。第一代神经网络难以应对线性不可分的问题，科学家将阶跃函数替换为更平滑的非线性函数（如Sigmoid函数、ReLU函数）等，同时在新型学习算法的帮助下（如梯度下降算法），发展出第二代ANN，典型代表包括多层感知器、深度神经网络、霍普菲尔德网络、自组织网络、卷积神经网络以及支持向量机等。目前，成熟的人工智能技术主要使用第二代ANN技术，使用图形加速卡（GPU）阵列在大量的已标注数据集中对ANN的网络参数进行训练，这对硬件系统的计算能力和已标注数据的数量要求很高，其计算能耗也很大。因此，此技术应用于物联网场景时，通常需要将物联网传感器采集的数据通过信息网络上传到服务器端，对其进行离线学习和处理后再将结果回传到物联网的执行终端，产生响应动作。因此，ANN技术应用于物联网场景，面临着降低功耗、提高计算效率和实现在线学习等方面的技术挑战。

针对此问题，学术界提出了第三代ANN技术，即脉冲神经网络（SNN）。它是将连续的模拟传感信号编码成离散脉冲信号（神经电生理领域称为动作电位）的时空分布信息；使用生物神经元电生理模型（例如HH模型，FHN模型，LIF模型等）作为信息处理单元，它能对脉冲序列进行非线性整合；使用神经突触模型（如化学突触、电突触等）作为网络连接单元，能够模拟突触后电势的传递和神经递质作用效果（如兴奋性突触的EPSP、抑制性突触的IPSP）；进而结合无尺度、小世界等拓扑属性组成复杂网络结构；在监督学习机制（如梯度下降、线性回归等）或非监督学习可塑性机制（如Hebb学习机制、STDP可塑机制、E-I平衡机制等）的控制下优化网络权重参数，实现类脑智能信息处理的功能。

液体状态机（Liquid State Machine,LSM）是SNN的典型代表，它的液体层（隐含层）使用SNN计算模型。LSM可以将低维的脉冲序列输入信号转换成高维状态，在高维空间提取信号特征。其最大的特点是，在计算的过程中液体层的连接权值保持不变，只对隐含层与输出层的连接权值进行训练，具有简便的计算过程和丰富的动态特性，液体状态因而拥有强大的计算能力。因此，实现支持液体状态机计算模型的电路系统有望解决ANN在物联网应用场景中遇到的功耗、计算效率和在线学习的问题，具有重要的应用前景。

实用新型内容

本实用新型所要解决的技术问题是如何提供一种计算效率高、实时性强并可在线学习的实现液体状态机的脉冲神经网络数模混合电路系统。