[发明专利]一种基于自适应Dropout非负矩阵分解的特征学习模型

权利要求书

1.一种基于自适应Dropout非负矩阵分解的特征学习模型(Adaptive Dropout Non-negative Matrix Factorization)，简称ADNMF模型，其特征在于所述ADNMF模型主要包括：

1)：采用矩阵来表示输入数据中的所有样本和特征；

所述数据包括文本、图像或网络数据；对输入的数据集，根据数据类型进行不同的预处理，构建样本的特征表示矩阵，作为ADNMF模型的输入；

1.1)、数据预处理

指对数据进行特征抽取，将样本表示成相同维度的向量；对文本数据，需要进行分词和词汇统计，再使用词频或tfidf算法得到每一篇文本在相同的字典空间中的向量表示；对于图像数据，需要对图片进行剪切、拉伸和缩放处理，使图片具有相同的维度，然后采取灰度值或RGB值来将图片表示成相同维度的特征向量；对于网络数据，需要统计网络中包含的节点数量和节点之间的连接权重，得到每个节点的基于连接权重的表示；最后，对所有样本的特征表示进行非负处理，筛选出符合非负性要求的特征；

1.2)、数据格式化；

在数据预处理之后，需要将数据表示成矩阵，作为ADNMF模型的输入；因此，所有样本的特征表示将进一步格式化为相同维度的向量，向量的每一维表示样本在该维特征上的权值，并将所有样本的特征向量组合为特征表示矩阵，矩阵的每一行表示一维特征，每一列表示一个样本；

2)：基于特征表示矩阵，建立ADNMF模型的优化目标，采用自适应Dropout算法学习特征之间的关系，并进行优化求解，得到样本的隐藏特征表示，作为模型的输出；

所述ADNMF模型的优化目标包括3个方面：(1)能够最大可能的降低每个样本从原始特征空间映射到隐藏特征空间中的重构损失；(2)采用自适应Dropout算法降低隐藏特征之间的语义相似性；(3)保证输出矩阵的非负特性，使得到的样本的隐藏特征表示具有较好的可解释性；

所述ADNMF模型优化目标的求解算法应当满足三个基本条件：(1)算法能够在可接受的时间内收敛，(2)算法对存储空间的需求要控制在合理范围内，(3)算法能够并行执行，以提高计算效率。

2.根据权利要求1所述的基于自适应Dropout非负矩阵分解的特征学习模型，其特征在于模型在优化目标求解过程采用了自适应Dropout算法，所述的自适应Dropout算法的具体处理过程是：

在迭代优化过程中，自适应Dropout算法根据隐藏特征的语义表达能力来进行Dropout，而每个隐藏特征的语义表达能力被形式化为该隐藏特征本身与所有其他隐藏特征之间的语义相异度；

首先计算所有隐藏特征两两之间的相异度，得到隐藏特征相异度矩阵；

其次对相异度矩阵的每一行进行线性融合，得到对应隐藏特征的语义表达能力；

然后采用Sigmoid函数将隐藏特征的语义表达能力转化为隐藏特征在迭代优化过程中、经过Dropout过程后被保留的概率；

最后求隐藏特征在优化过程中被保留的概率期望值，作为隐藏特征在目标函数中的权值直接进行模型优化求解，从而降低所需的迭代次数。

3.根据权利要求2所述的基于自适应Dropout非负矩阵分解的特征学习模型，其特征在于所述自适应Dropout算法中，对隐藏特征进行Dropout之后，需要采取基于梯度下降的迭代优化算法来求解ADNMF模型的目标函数，具体如下：

所述基于梯度下降的迭代优化算法，能够有效的求解ADNMF模型的目标函数，得到样本的隐藏特征表示；ADNMF模型需要优化求解的参数包括：隐藏特征矩阵、系数矩阵以及隐藏特征相异度的线性融合参数矩阵；在每次迭代过程中：

首先采用所述的自适应Dropout算法，计算隐藏特征在Dropout之后被保留的概率期望值；

然后按步骤分别计算目标函数的各个部分对隐藏特征矩阵、系数矩阵和线性融合参数矩阵的梯度；

最后将梯度矩阵中的正值和负值加以区分，据此分别对隐藏特征矩阵、系数矩阵和线性融合参数矩阵中不同的元素采用不同的步长进行更新，并防止出现负值。