[发明专利]一种联合深度神经网络和成对约束的聚类方法

说明书

本发明公开了一种联合深度神经网络和成对约束的聚类方法，包括下述步骤：给定包括成对约束的数据集；构建两个相同结构的自编码器网络和一个深度神经网络，两个自编码器网络分别输入数据集中的每一个约束对的两个样本，两个自编码器网络的中间输出的差向量，作为深度神经网络的输入；然后训练自编码器网络和深度神经网络；将两个训练过的自编码网络和深度神经网络结合到聚类算法上，使用聚类算法进行聚类任务。本发明联合深度神经网络和数据间的成对约束，通过自编码网络对输入数据进行降维操作和深度神经网络学习特征，同时重构网络模型的损失函数，有效提高了聚类算法的聚类精度。

技术领域

本发明涉及深度神经网络和成对约束的聚类方法领域，具体涉及一种联合深度神经网络和成对约束的聚类方法。

背景技术

聚类是数据挖掘和机器学习中最重要的方法之一，同时具有广泛的应用前景。数据聚类，通过对无标记训练样本的学习，划分为若干个通常是不相交的聚类，以此揭示数据的内在性质及规律。随着技术的发展使得数据的收集越来越容易，导致数据的数量和维度越来越高。但是，因为无监督信息及“维度灾难”的影响，很多在低维数据空间表现良好的聚类方法运用在高维空间往往无法获得好的聚类效果。

随着深度神经网络在有监督学习领域取得突破性进展，深度神经网络也被广泛地用于数据降维等无监督学习中。通过训练一个深度神经网络结构，能够将高维数据转换为低维数据编码，即低维的特征表示。但是目前基于深度神经网络的数据降维都是基于数据的原始特征进行学习，从而无法获得更好地聚类精确度。与此同时，虽然类别的准确标记需要付出的成本较大，但弱监督信息，例如成对约束信息，相对而言要容易获取。

因此，集成弱监督信息的深度学习对于提升聚类效果具有重要的应用价值。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种联合深度神经网络和成对约束的聚类方法，有效提高聚类的精确度。

为实现以上目的，本发明采取如下技术方案：

一种联合深度神经网络和成对约束的聚类方法，包括以下步骤：

给定包括成对约束的数据集；

构建两个相同结构的自编码器网络和一个深度神经网络；其中两个自编码器网络分别输入所述数据集中的每一个约束对的两个样本；所述两个自编码器网络的中间输出的差向量，作为深度神经网络的输入；

训练所述自编码器网络和深度神经网络；

将训练好的自编码器网络的中间输出作为样本的特征，利用聚类算法进行聚类任务。

作为优选的技术方案，使用数据集的每一约束对的两个样本分别作为两个自编码器网络的输入，将两个自编码器网路的中间输出相减，得到的差向量作为深度神经网络的输入，两个样本的成对约束标签作为深度神经网络输出的正确标记。

作为优选的技术方案，使用数据集的每一约束对的两个样本分别作为两个自编码器网络的输入，将两个自编码器网路的中间输出相减，得到的差向量作为深度神经网络的输入，两个样本的成对约束标签作为深度神经网络输出的正确标记，具体方法如下：

构建两个结构相同的自编码器网络，该网络的输入分别为每一个约束对的两个样本，输出分别为重构后的输入样本；将两个自编码器的中间输出相减，得到两个样本的中间输出的差向量，将差向量作为深度神经网络的输入；在深度神经网络的最后一层加上softmax层，从而得到成对约束的预测结果；其中所述softmax层是为了将深度神经网络的输入转变为一个成对约束标签预测的概率分布，选取最大概率的输出作为标签的预测结果；而所述标签的预测结果则是判别两个样本在同一类的概率和不在同一类的概率。

作为优选的技术方案，构建的网络结构中含有自编码器网络AE和深度神经网络DNN，因此训练网络时使用的损失函数公式如下：