[发明专利]一种基于社会力模型群优化算法的极限学习机的学习方法

摘要

一种基于社会力模型群优化算法的极限学习机的学习方法。解决了现有极限学习机随机给定输入权值和偏差，ELM通常需要较多隐含层节点才能达到理想精度的问题。包括1、初始化种群的N个个体；2、计算每个个体的输出权重和适应度值；3、个体选择目标和种群分类；4、对种群Gk中的个体进行分类并执行相应搜索机制；5、更新非自由个体的速度和位置；6、更新个体历史记忆；7、个体间的协作；8、终止条件判断。本发明较好的克服了原有ELM随机给定权值和偏差的缺点，与PSO‑ELM，IPSO‑ELM，DE‑ELM和SaE‑ELM等算法相比，应用于分类和回归问题时，本算法获得的结果更精确，提高了ELM的稳定性和泛化能力。

主权项

一种基于社会力模型群优化算法的极限学习机的学习方法，给定N个不同的样本(xi,yi)，i＝1,2,...,N，xi,yi分别表示第i个样本的输入值和输出值，xi＝(xi1,xi2,...,xin)T∈Rn，yi＝(yi1,yi2,...,yim)T∈Rm，其中T表示转置，R为实数集合，m和n表示样本的特征维数；隐层神经元的激活函数为g(·)，隐层节点数目为L；其特征是包括下述步骤：步骤1：初始化种群的N个个体行人的位置代表着优化问题的一个解，对N个行人在搜索空间进行初始化；行人具有如下信息：速度v、当前位置p、历史记忆h、行人的社会力F；行人的初始速度、历史记忆以及社会力在初始化时均设置为零向量；其中行人α的当前位置pα＝(pα,1,pα,2,...,pα,D)按照如下公式进行初始化：pα,i＝li+rand·(ui‑li)  (1)式中pα,i为pα的第i维分量，i＝1,2,…D，其中D为搜索空间的维度，rand为[0,1]之间的随机数，ui和li分别为搜索空间第i维分量的上下限；将初始化后的种群作为第一代种群，每个个体的编码方式如下所示：θi,G＝[w1,(i,t),...,wL,(i,t),b1,(i,t),...,bL,(i,t)]  (2)其中wj和bj分别代表个体的第j维输入权重和隐含层偏置，j＝1,…,L；wj和bj通过式(1)随机产生；i＝1,2,…N；t表示迭代代数；步骤2：计算输出权重和适应度值在极限学习机算法中：Hwo＝Y  (3)其中H为网络的隐含层输出矩阵，wo为输出权重矩阵，Y表示网络输出矩阵，H=g(w1·x1+b1)...g(wL·x1+b1).........g(w1·xN+b1)...g(wL·xN+bL)N×L,wo=wo1T...woLTL×m,Y=y1T...yLTN×m]]>其中g(·)为激活函数，wj和bj分别代表个体的第j维输入权重和隐含层偏置，j＝1,…,L；L为隐层节点数目，N为样本个体数目，m表示样本的特征维数，T表示转置；由于输入权重和隐含层偏置可以随机给定，隐层输出矩阵H就变成一个确定的矩阵,这样前馈神经网络的训练就可以转化成一个求解输出权重矩阵的最小二乘解的问题，只需要求出输入权重的最小二乘解就能完成网络的训练，得到输出权重矩阵；对每个个体，根据等式(4)计算相应的最小输出权重矩阵；wo＝H+Y  (4)其中H+表示隐含层输出矩阵H的Moore‑Penrose广义逆，Y表示网络输出矩阵；如果是分类问题，采用式(5)计算每个种群的适应度值；回归问题则采用均方根误差如式(6)作为种群的适应度；f()=MisclassCountnv---(5)]]>f()=Σj=1nv||Σi=1Hwoig(wi·xj+bj)-yj||22nv---(6)]]>公式(5)中MisclassCount是用检验数据集测试后实际分类结果与真实分类结果不相等的个数，nv是检验集样本数量；步骤3：个体选择目标和种群分类1)采用概率选择机制从历史记忆中选择行人目标，行人的历史记忆被选入目标集T的概率如下：probα=0.9·(fitness(hα)-min(fitness(h)))max(fitness(h))-min(fitness(h))+0.1---(7)]]>式中fitness(hα)为行人α历史记忆的适应度值，max(fitness(h))，min(fitness(h))分别为行人历史记忆适应度值的最大值和最小值；2)当rand≤probα时，将行人α的历史记忆hα选入目标集T中，其中rand为[0,1]之间的随机数；目标集T确定后计算行人α与目标集中每个目标之间的距离，选择其中距离最短的一个目标作为α的目标Tα，并将相同目标的行人归类到一个种群Gk,k＝1,2,...,T；步骤4：对种群Gk中的个体进行分类并执行相应搜索机制1)依据公式(8)求出种群Gk中行人成为自由个体的概率：ρα=(RDisα2)3.6---(8)]]>式中ρα为行人α成为自由个体的概率，RDisα为行人α与目标的相对距离；当随机数rand≤ρα时，行人α成为自由个体，否则为非自由个体，rand为[0,1]之间的随机数；2)群体分类完成后，分别执行不同的搜索机制对解空间进行搜索，成为自由个体的行人α会放弃当前位置pα并按公式(1)执行随机搜索，随机搜索能提高算法的全局搜索能力；而非自由个体则会在社会力的驱动下朝着选定的目标进行搜索；步骤5：更新非自由个体的速度和位置根据公式(9)、(10)来更新每个行人受社会力后的速度和位置；每个行人每一维的位置限制在[‑1,1]之间,对个体进行边界检查，并对超出[‑1,1]边界的个体按(1)式重新进行赋值；1)行人α的速度更新公式如下：vα(t+Δt)=vα(t)+Fαd(t)Δt+Fαβγ(t)Δt---(9)]]>式中，vα(t+Δt)与vα(t)分别为行人α在t+Δt和t代的速度，和分别为行人在t代所受期望力和排斥力，t表示当前迭代代数，Δt为1；2)行人α的位置更新公式如下：pα(t+Δt)＝pα(t)+vα(t)Δt  (10)式中pα(t+Δt)和pα(t)分别是行人α在t+Δt和t代的位置，vα(t)是行人α在t代的速度；3)社会期望力期望速度行人β对α的排斥力以及半径r的定义：①行人α的期望力由下式定义：Fαd(t)=vαd(t)-vα(t)τ=eα(t)vα0(t)(1+Vfac(u-l))-vα(t)τ---(11)]]>式中为第t代行人α的期望速度，vα(t)为第t代行人α实际速度，τ为松弛时间；eα(t)、分别为第t代行人α的期望运动方向和无向期望速度(标量)，由式(12)、(13)给出，u、l为解空间的上下限，Vfac为速度因子；eα=Tα-Pα|Tα-Pα|---(12)]]>式(12)中Tα为行人α的目标位置，Pα为行人α的位置；式(13)中ρ为缩放因子，θ为速度范围的控制参数；为行人α距目标Tk的距离，为子群体中个体到目标距离的最大值；②行人β对α的排斥力由下式给出：Fαβγ(T)=A·exp(rαβ-disα,βB)n→α,β---(14)]]>式中A、B是常数，分别表示行人α与其他行人的相互作用强度和作用范围；rαβ＝rα+rβ为相互作用的两个行人的半径和；disα,β为行人α和β之间的距离；是行人β指向行人α的单位向量；③行人自身的半径r采用加权的形式进行更新：rt+1＝(1‑μ)rt+μ·rλ  (15)式中rt为第t代的行人半径，rλ为半径调整因子，μ为权重因子；rλ的大小与行人历史记忆位置和当前位置的标准差δh、δc有关，半径调整因子rλ按公式(16)进行更新：rλ=min(δht20,0.3)·(δhtδct),ifδhtδh0>0.5max(δht20,5)·(δhtδct),ifδhtδh0≤0.5,δht>δctmin(δht20,1)·(δhtδct),ifδhtδh0≤0.5,δht≤δct---(16)]]>式中为第t代当前种群位置、历史记忆位置和初代的历史记忆位置的标准差；标准差采用加权的方式进行更新，如式(17)、(18)：δc(t+1)=(1-μ)δct+μ·std(p(t+1))---(17)]]>δh(t+1)=(1-μ)δht+μ·std(h(t+1))---(18)]]>式中p(t+1))和h(t+1)分别为第(t+1)代的行人当前位置和历史记忆，std(·)为求标准差运算；步骤6：更新历史记忆行人经过位置与速度更新之后，使用检验集的适应度和输出权重的范数来共同决定行人历史记忆hg的更新；hg=hα(f(hg)-f(hα)>γ·f(hg))or(|f(hg)-f(hα)|)<γ·f(hg)and||wohα||<||wohg||hgelse---(19)]]>式中f(hα)，f(hg)分别代表第α个行人最好位置的适应度值和种群中全局最好位置的适应度值；γ是容差率，γ＞0；分别代表第α个行人最好位置所对应的输出权值向量和种群中全局最好位置的输出权值向量；步骤7：协作阶段1)为了加强行人间的信息共享，采用两种协作方式共同更新历史记忆，即单维协作与多维协作；单维协作与多维协作分别由(20)、(21)给出：hα,i′=hα,i+φ·(hα,i-pβ,i),η<0.3andψ<0.5hβ,j,η<0.3andψ≥0.5hα,i+φ·(hα,i-hβ,i),η≥0.3---(20)]]>hα′=hα+φ·(hα-pβ),η<ψhα+φ·(hα-hβ),η≥ψ---(21)]]>式(20)、(21)中，i，j代表随机选择的维数，h'α,i为行人α单维协作后第i维分量更新的历史记忆，h'α为行人α多维协作后更新的的历史记忆，hα,i和hβ,i分别为行人α和β新生成的的第i维分量，pβ,i为行人β的当前位置的第i维分量，hα表示行人α新生成的历史记忆，pβ为行人β的当前位置，hβ表示行人β新生成的历史记忆，φ是[‑1,1]之间的随机数，η和ψ为[0,1]之间的随机数；2)给定两个随机数a,b，且a,b∈[0,1]，如果a＜b，则按公式(20)进行单维协作，否则按式(21)进行多维协作；完成后对个体进行边界检查，若更新后的历史记忆小于‑1则取‑1，大于1则取1；最后采用精英保留的策略更新历史记忆；步骤8：终止条件判断重复步骤2～7，直到满足最大迭代次数或达到最优解；输出具有最小适应度值的个体的位置与对应的输出权重，然后将最优的ELM应用到测试集。