[发明专利]一种基于超限学习机与稀疏表示分类的改进方法

摘要

本发明公开了一种基于超限学习机与稀疏表示分类的改进方法。本发明步骤如下：1、随机产生隐层节点参数；2、计算出隐层节点输出矩阵，3、根据L和N的大小关系，采用不同的公式计算出连接隐层节点和输出神经元的输出权重4、计算出查询图片y的输出向量；5、对ELM输出向量ο中的极大值ο_f和次大值ο_s的差值进行判断，如果差值大于设定值，则求出输出向量中最大值对应的索引即为查询图片所属类别；否则进入步骤6；6、采用输出向量ο中k个最大值所对应的的训练样本，构造子字典，采用系数重构算法计算图片y的线性表示系数，计算残差并根据残差所对应的的类别确定查询图片的所属类。本发明计算量就会大大减少，实现较高的识别率，也能够大大降低计算复杂度。

主权项

1.一种基于超限学习机与稀疏表示分类的改进方法，其特征在于包括如下步骤：步骤1、随机产生隐层节点参数(wi,bi),i＝1,2,…,L，其中wi是连接第i个隐层节点和输入神经元的输入权重，bi是第i个隐层节点的偏差，L是隐层节点个数；步骤2、计算出隐层节点输出矩阵H(w1,…wL,x1,…,xN,b1,…bi,…,bL)，且其中w是连接隐层节点和输入神经元的输入权重，x1，…，xN是训练样本输入，N是训练样本个数，bi是第i个隐层节点的偏差，g()表示激活函数；步骤3、根据L和N的大小关系，分别采用不同的公式计算出连接隐层节点和输出神经元的输出权重步骤4、计算出查询图片y的输出向量步骤5、对ELM输出向量ο中的极大值οf和次大值οs的差值进行判断，并求出输出向量中最大值对应的索引即为查询图片所属类别；如果ELM输出向量ο中的极大值οf和次大值οs的差值大于预先设定的阈值σ，即οf‑οs＞σ，则直接采用超限学习机(ELM)已训练好的神经网络，求出输出向量中最大值对应的索引即为查询图片所属类别；如果输出向量中的极大值οf和次大值οs的差值小于我们预先设定的阈值，即οf‑οs＜σ，则认为图片包含的噪声较高，采用稀疏表示分类算法进行分类；所述的步骤3中，如果L和N的大小为L＜＝N，即隐层节点个数小于等于样本数，则为了提高计算效率，对隐层节点输出矩阵进行奇异值分解，具体的：3‑1.奇异值分解H＝UDVT，其中D＝diag{d1,…di,…dN}是对角矩阵，di是矩阵H的第i个奇异值，则HHT＝VD2VT；其中U是n阶酉矩阵，V是n阶酉矩阵；并且UUT＝UTU＝I，VVT＝VTV＝I；3‑2.设定好调整参数λ的上限λmax和下限λmin，在λi∈[λmin,λmax]范围内,分别计算出正交投影矩阵HAT的每层分解矩HATr，HATr＝HV(D2+λnI)‑1VTHT，其中HAT＝HH+＝H(HTH)‑1HT；3‑3.在λi∈[λmin,λmax]范围内计算不同调整参数λ对应的统计均方误差，计算公式为：其中tj是期望的输出，而οj是实际的输出；3‑4.计算出的最小统计均方误差对应的λ，即λ_opt；此时能够取得较好的泛化性能，并且也能够最大化分类边界；3‑5.计算出连接隐层节点和输出神经元的输出权重所述的步骤3中，如果L和N的大小为L＞N，即隐层节点个数大于样本数，则为了提高计算效率，对隐层节点输出矩阵进行奇异值分解，具体的：3‑6.奇异值分解H＝UDVT，其中D＝diag{d1,…di,…dN}是对角矩阵，di是矩阵H的第i个奇异值，则HHT＝UD2UT，并且UUT＝UTU＝I，VVT＝VTV＝I；3‑7.设定好调整参数λ的上限λmax和下限λmin，在λi∈[λmin,λmax]范围内,分别计算出正交投影矩阵HAT的每层分解矩HATr＝HHTU(D2+λiI)‑1UT，其中HAT＝HH+＝H(HTH)‑1HT；3‑8.在λ_i∈[λ_min,λ_max]范围内,计算不同调整参数λ对应的统计均方误差计算公式为：其中tj是期望的输出，而οj是实际的输出；3‑9.计算出的最小统计均方误差对应的λ，即λ_opt；此时能够取得较好的泛化性能，并且也能够最大化分类边界；3‑10.计算出连接隐层节点和输出神经元的输出权重