[发明专利]一种基于增量学习的鲁棒非负矩阵分解方法

摘要

本发明涉及图像识别领域，具体为一种基于增量学习的鲁棒非负矩阵分解方法。本发明在传统鲁棒非负矩阵分解方法基础之上，提出了一种通用的具有增量性质的鲁棒非负矩阵分解方法，并应用于图像识别特征提取。作为一种增量非负矩阵分解方法，IRNMF在保有增量性质，使得图像识别具有自主更新的能力，避免重复训练，提高了识别效率的同时，其时间代价仅为传统INMF特征提取时间的53.7％。同时，作为一种特征提取方法，IRNMF较之于INMF、NMF等传统特征提取方法，其特征提取结果更具稳定性。

主权项

1.一种基于增量学习的鲁棒非负矩阵分解方法，其特征在于，包括以下步骤：步骤1、对现有的图像样本训练数据进行RNMF初始化，得到初始的投影矩阵W、编码矩阵H以及对角元素矩阵D；具体为：在RNMF中，对于一个样本矩阵V∈Rm×n，每一列代表一个具有m个像素点的训练样本，共计n个训练样本，将其分解为基矩阵W∈Rm×r、编码矩阵H∈Rr×n，并得到对角元素矩阵D∈Rr×r，即：Vmn＝WmrHrnD＝diag(D11,...,Dii,...,Drr)其中W≥0_,H≥0,r代表降维后的维度，D_ii为对角元素矩阵的对角元素，即：RNMF的目标函数定义为：||·||2，1代表一种新定义的2‑1范数形式，采用梯度下降法，得到RNMF迭代规则为：其中，i＝1,…,m,j＝1,…,n；按迭代式所示，迭代至收敛即得到初始的投影矩阵的每一个元素Wmr、编码矩阵的每一个元素Hrm，从而计算得出对角元素矩阵D；步骤2、当新的训练样本加入模型训练时，通过新样本信息实现增量学习的鲁棒非负矩阵分解算法的计算，完成对编码矩阵H的局部更新、对角矩阵D的局部更新以及投影矩阵W的全局更新以实现增量学习；当新加入一个训练样本vk+1，即训练样本数目为k+1时，其代价函数为：可知：其中，Fk+1代表k+1个训练样本的代价函数，Wk+1代表k+1个训练样本的投影矩阵，Hk+1代表k+1个训练样本的编码矩阵，hk+1为H的第k+1列，代表编码矩阵中的新增样本，vk+1为V的第k+1列，代表新增训练样本，fk+1为增量部分的代价函数；采用梯度下降法，首先求解编码矩阵新增样本hk+1，其每一个元素(hk+1)α的迭代规则为：其中，步长μα选择如下：迭代至收敛即得到新的编码矩阵Hk+1，完成H对单样本的局部更新；随后，实现对对角矩阵最后一个对角元素dk+1的更新：令Dk+1,k+1＝dk+1，从而完成对角矩阵Dk+1对单样本的局部更新；得到新的投影矩阵每一个元素(Wk+1)iα的迭代规则为：其中，新的投影矩阵每一个元素(Wk+1)iα梯度下降所选用的步长为：迭代至收敛即得到新的投影矩阵Wk+1，完成W对单样本的更新；步骤3、投影矩阵W更新完成后，进行训练样本和待识别样本在特征空间中的投影；将所有训练样本重新投影：V′train＝(WTW)‑1WTVtrain其中，V′train∈Rr×n为训练样本矩阵Vtrain∈Rm×n在特征空间W的投影；对待识别样本进行投影：h′test＝(WTW)‑1WThtest其中，h′test∈Rr为识别样本向量htest∈Rm在特征空间W的投影；步骤4、特征提取之后进行分类识别，对训练样本的特征V‘train进行训练，对待识别样本h‘test进行分类识别。