[发明专利]一种基于深度矩阵字典的字典学习方法

说明书

本发明公开了一种基于深度矩阵字典的字典学习方法，该方法提出深度矩阵字典学习模型，与传统字典学习方法不同的是，避免数据向量化而引发的数据结构信息被破坏问题，而是直接将矩阵数据表示作为字典训练集，并采用深度多层字典训练方式，提高模型对数据的表达能力。该模型具有多层字典结构和数据矩阵表示形式，能够更好表示矩阵数据全局信息和局部信息，最大程度恢复数据空间结构特性。字典训练阶段，进行深度矩阵字典训练，采用贪婪优化算法优化，得到深度矩阵字典及对应稀疏表示系数。直接利用数据的矩阵表示，提出深度矩阵字典学习模型，通过字典训练得到深度矩阵字典，既考虑矩阵数据自身结构特征信息，又使该模型具有更高效的数据表达能力。

技术领域

本发明属于字典学习及深度学习领域，尤其涉及一种基于深度矩阵字典学习的方法。

背景技术

随着科学技术的发展，研究学者经常面临海量数据的挑战，例如复杂的多维度互联网信息等。数据爆炸式激增，高维和多模态数据在现代计算机视觉的研究中随处可见。如何挖掘这些数据的内在属性以及分析这些数据成为非常棘手的难题。数据的高维度不仅增加了算法的复杂性和存储的开销，也大大降低了算法在实际应用中的广泛性。

基于字典学习的研究已成为人工智能及模式识别等领域的热点问题[1][2] [3]，在常见的数据处理与分析中，传统方法一般将矩阵形式表示的数据，转化为向量进行处理，而经过向量化处理的数据，其内在结构特性遭到严重破坏并会产生维度灾难的问题，导致数据结构信息缺失等问题。基于此，矩阵字典的引入可以直接对矩阵数据进行分析处理。矩阵字典学习方法直接对矩阵数据进行相应处理，既避免了向量化后内在结构的破坏，又避免了维度灾难的问题。同时，借鉴深度学习网络结构，增加字典层数[4]，利用多层(大于等于三层)字典中的原子作为网络参数，从而构建深度多层矩阵字典模型，对于矩阵数据具有更强的表达能力。

目前比较成熟的字典训练方法包括，最优化方向法(Method of OptimalDirections,MOD)[5]、KSVD[6]、高效稀疏编码算法(Efficient Sparse CodingAlgorithm，ESCA)[7]、在线字典学习算法(Online Dictionary Learning，ODL) [8]以及递归最小二乘字典学习方法(Recursive Least Square Dictionary Learning, RLS-DLA)算法[9]等。

KSVD字典[6]主要通过两阶段分块松弛方法(Two phase block coordinaterelaxation approach)交替迭代训练完成，其两阶段包括:1)稀疏重建：给定字典的情况下，利用OMP算法求解信号在当前字典下的稀疏系数并重建信号；2)字典更新：逐列更新字典基元。具体地，首先找到该基元所能够表达的样本集合，求解在不使用该基元时重建样本集合所产生的误差，对误差信号进行奇异值分解，利用最大奇异值对应的特征向量更新该字典基元，相应地更新稀疏系数。逐列更新完字典的所有基元则完成一次字典更新过程。字典的训练通过稀疏重建和字典更新交替迭代实现，直到达到迭代终止条件为止。K-SVD字典的构造过程在稀疏度约束下结合了K均值(KMeans)聚类的思想。

Lee等学者提出的ESCA算法[7]通过迭代求解两个凸规划问题：由特征搜索(feature-sign search)解决l₁范数约束的最小二乘问题来求解稀疏系数；利用拉格朗日对偶法求解的l₂范数约束的优化问题更新字典[7]。

ESCA算法对于求解字典训练问题起到加速作用，而且能够训练较大尺寸的字典。ODL算法利用随机逼近算法，每次处理一个样本不断更新字典，解决了训练样本足够大的字典训练问题[8]。

RLS-DLA算法针对每个新的训练样本，采用递推方式更新一次字典，对于大样本的情况会有很大的优势[9]。随着迭代次数的增多，该方法尽可能地减少训练字典过程中连续两次迭代过程误差的l₂范数。