[发明专利]一种基于忆阻交叉阵列的Q学习系统

说明书

技术领域

本发明涉及一种存储矩阵和智能学习算法。

背景技术

强化学习是一种高级的智能学习算法，近年来被广泛的应用于智能机器人领域，成为研究的热点。1954年，Minsky提出了SNARCs的强化学习计算模型。接着，Sutton在其博士论文中提出了AHC算法和TD学习算法。后来，Watkins等人在TD学习算法的基础上，提出了目前强化学习算法中的经典算法-Q学习算法，Q学习算法是强化学习发展过程中的一个重要里程碑。Q学习算法提出后，很多研究者将Q学习算法应用于移动机器人的导航，机器人足球系统和智能I/O的调度。但是强化学习也有其自身的局限性，当问题较为复杂时，它需要大量的状态-动作存储空间。1971年，Chua根据电路的完备性理论，提出了第四种电路元件-忆阻器(L.O.Chua.Memristor-the missing circuit element.IEEE Trans.Circuit Theory.1971，18(5)：507-519.)。

2008年，HP实验室成功制造了第一个物理实现的忆阻器，此后忆阻器引起了广泛的关注。忆阻器具有纳米尺寸、非线性特性，其阻值随着输入激励的变化而变化，并且这种变化是非易失性的，因此忆阻器非常适合用来设计大规模存储器。忆阻器交叉阵列是忆阻器存储器中的一种，它的结构简单，设计方便。胡小方等人利用忆阻器交叉阵列实现了图像的存储(胡小方，段书凯，王丽丹，等.忆阻器交叉阵列及在图像处理中的应用.中国科学F辑：信息科学.2011，41(4)：500-512.)。由于忆阻器具有纳米尺寸，因此忆阻器交叉阵列能够做成大规模存储器，可以解决强化学习在解决复杂问题时，需要大量的状态-动作存储空间的问题，因此，利用忆阻交叉阵列来实现Q学习是一种好的选择。

HP忆阻器的物理模型如图1所示，忆阻器由掺杂区和非掺杂区两部分组成。其中w和D分别表示忆阻器中掺杂区域的宽度和忆阻器的总宽度。其数学模型如下：

M(t)=RONw(t)D+ROFF(1-w(t)D)]]>

其中，R_OFF和R_ON分别表示w等于0和D时，忆阻器的阻值。

dw(t)dt=μVRONDi(t)]]>

这里，μ_v表示平均离子的移动，单位为cm²s^-1V^-1。