[发明专利]基于免疫耐受机制的强化学习算法

说明书

技术领域

本发明涉及一种基于免疫耐受机制的强化学习算法。

背景技术

强化学习是一类介于监督学习和非监督学习之间的机器学习算法，源于行为心理学，从80年代发展起来，目前被广泛地应用于游戏比赛、控制系统、调度管理、机器人领域中，是机器学习研究领域的热点。

强化学习可以在未知模型的条件下，根据确定性或非确定性回报对环境进行学习。比较典型的强化学习算法有：Sarsa学习算法、Q学习算法、TD(λ)学习算法。其中，TD(λ)学习算法包括表格型TD(λ)和基于值函数逼近的TD(λ)。在Sarsa学习算法、Q学习算法、表格型TD(λ)中，需要使用大量的存储空间对学习知识进行存储，而当环境空间非常大或者连续时，很有可能引发维数灾难。因此，基于值函数逼近的TD(λ)越来越受到关注，但是该算法易陷入局部极值并且不是收敛的。

发明内容

本发明的目的在于提供一种基于免疫耐受机制的强化学习算法，克服TD(λ)的易陷入局部极值和发散的问题。

为了达到以上目的，本发明的技术方案如下：

首先，设计TD(λ)的基函数向量及权值向量；

然后，根据浮点数对权值向量进行编码，当系统与真实环境的误差大于一定阈值时，看成是人工免疫系统中的初次应答，初次碰到该环境，使用免疫耐受机制进行优化，并使用记忆体即抗体，对环境知识进行记忆；接着根据当前系统参数选择最优策略，根据环境的回馈奖赏值r来更新系统参数，继续下一次迭代；当系统与真实环境的误差小于该阈值时，则认为遇到了相似环境，将之看成是人工免疫系统中的二次应答，直接根据系统参数，由系统判断动作选择，选择最优策略。

本发明的特点还在于：

具体步骤如下，

步骤1：初始化参数；设置种群规模，折算率，修正参数，免疫概率，变异概率，学习率采用如下公式；

其中L_initial=0.01，常数C=1000；

值函数逼近采用两层前向回馈的神经网络，第一层采用tansig函数，第二层采用purelin函数，权值W为一组随机值；

步骤2：初始化动作集；设置起始状态，适应度轨迹；

步骤3：当学习系统与真实环境的误差大于一定阈值E_max时，使用免疫来优化学习系统，跳转到步骤4，否则跳转到步骤9；

步骤4：对已有的个体，按照如下公式进行克隆选择，即通过高斯变异的方式来进行克隆，扩展种群至种群规模为N；

W_population(i)＝W_current(i)+N(μ,σ)

其中，W_population为种群中的个体权值，W_current为当前个体的权值，i表示个体的基因位置，μ为均值，σ为标准差；

步骤5：从种群中选择最优个体，并将该最优个体整体看成疫苗；最优个体的判定是通过误差最小进行判断的；

步骤6：以一定的免疫概率，对种群中的个体执行免疫操作，进行疫苗注射，具体如下所述：

1)取初始个体，设置popu=1；

2)若随机数rand<免疫概率p_m，并且该个体不是最优个体，跳转到3），否则跳转到4）；

3)将最优个体整体看成疫苗，分别对该个体的每个基因位进行疫苗注射；如果该基因位共有n位，则用疫苗对每一个基因位分别进行替换，得到n个被疫苗注射后的个体；从该n个个体中选择最优个体，如果该个体优于原始个体，则替换原始个体；否则，保持原始个体不变；

4)取下一个个体，popu=popu+1；

5)如果popu<种群规模N，则跳转到2），否则结束步骤6，进入步骤7；

步骤7：以一定的变异概率，对种群中的个体执行高斯变异，具体如下所述：

1)取初始个体，设置popu=1；

2)若随机数rand<变异概率p_v，则跳转到3)，否则跳转到4)；

3)在随机基因位进行高斯变异操作，即在该位的权值加上一个高斯分布值，如下公式所示，

W_population(i_rand)＝W_population(i_rand)+N(μ,σ)