[发明专利]一种基于深度矩阵字典的字典学习方法

摘要

本发明公开了一种基于深度矩阵字典的字典学习方法，该方法提出深度矩阵字典学习模型，与传统字典学习方法不同的是，避免数据向量化而引发的数据结构信息被破坏问题，而是直接将矩阵数据表示作为字典训练集，并采用深度多层字典训练方式，提高模型对数据的表达能力。该模型具有多层字典结构和数据矩阵表示形式，能够更好表示矩阵数据全局信息和局部信息，最大程度恢复数据空间结构特性。字典训练阶段，进行深度矩阵字典训练，采用贪婪优化算法优化，得到深度矩阵字典及对应稀疏表示系数。直接利用数据的矩阵表示，提出深度矩阵字典学习模型，通过字典训练得到深度矩阵字典，既考虑矩阵数据自身结构特征信息，又使该模型具有更高效的数据表达能力。

主权项

1.一种基于深度矩阵字典的字典学习方法，其特征在于：该方法提出深度矩阵字典学习模型，该模型具有多层字典结构和数据矩阵表示形式，能够更好表示矩阵数据全局信息和局部信息，最大程度恢复数据空间结构特性；字典训练阶段，进行深度矩阵字典训练，采用贪婪优化算法优化，得到深度矩阵字典及对应稀疏表示系数；首先，需要建立深度矩阵字典学习模型，利用贪婪算法进行优化，再利用深度矩阵字典和相应稀疏表示系数进行重建；与传统字典不同的是，需要求解的深度矩阵字典是直接通过图像矩阵数据学习到的，并且具有一定的内部结构；给定观测样本集合X_i(i＝1，2，...，I)表示集合中矩阵形式样本，共包含I个样本P，Q为样本X_i的维度，由此，提出深度矩阵字典学习模型如下：其中，为非线性激活函数，{D⁽¹⁾，…，D^(N)}为多层矩阵字典，N为字典层数，Z是稀疏表示系数；因为式(1)中的模型为多层结构，不能直接应用矩阵字典求解方法，层与层之间联系与深度学习类似，采用非线性激活函数进行数据传递；第n层字典D⁽ⁿ⁾(n＝1，2，…，N)，n为代表字典层数的数字，由两个较小字典U⁽ⁿ⁾(n＝1，2，…，N)∈R^P×r和V⁽ⁿ⁾(n＝1，2，…，N)∈R^Q×r的Kronecker积得到，即V⁽ⁿ⁾(n＝1，2，…，N)∈R^Q×r；所以N层矩阵字典记为故公式(1)转化为如下形式：而当训练得到N层深度矩阵字典，数据由N层深度矩阵字典及相应稀疏系数由公式(3)得到；深度矩阵字典学习模型的多层字典结构及矩阵表示，能够更好地获取数据的自身结构特征，这些特征对于信号的重建恢复起到重要作用，在图像处理等领域，深度矩阵字典学习模型有广泛应用；具体地，求解深度矩阵字典学习模型，借助辅助变量Z1，即令则式(2)的模型简化得出第一层字典学习模型：利用交替方向乘子算法ADMM对模型(5)进行求解，分解为求解两个子问题；首先，固定U⁽¹⁾，V⁽¹⁾，求解得到然后，固定求解U⁽¹⁾，V⁽¹⁾，得到为便于求解模型(6)(7)，将(3)式转化为如下形式：由此得出第一层矩阵字典：其中，为第一层矩阵字典U⁽¹⁾的第j列，为矩阵的第j行；同样，得到其中，为第一层矩阵字典V⁽¹⁾的第j列，为矩阵的第j行；式(9)、(10)模型均转化为有解析解的子模型形式，采用已有求解方法如KSVD进行字典更新，迭代求解，得到第一层矩阵字典及相应稀疏表示系数；深度矩阵字典模型的中间层即除去第一层和最后一层，将作为第N层的输入，中间层矩阵字典模型表示为：应用交替方向因子方法ADMM求解，得到其中，其中，同样，式(12)(13)均转化为有解析解的子模型形式，采用已有求解方法如KSVD进行字典更新，迭代求解；深度矩阵字典的最后一层中，稀疏表示系数Zi由l1范数约束，故最后一层矩阵字典学习模型表示为：式(14)的模型分解为两个子问题(15)(16)求解，转化为:以及应用类似的字典求解方法进行字典更新，迭代求解。