[发明专利]一种联合深度神经网络和成对约束的聚类方法

权利要求书

1.一种联合深度神经网络和成对约束的聚类方法，其特征在于，包括以下步骤：

给定包括成对约束的数据集；

构建两个相同结构的自编码器网络和一个深度神经网络；其中两个自编码器网络分别输入所述数据集中的每一个约束对的两个样本；所述两个自编码器网络的中间输出的差向量，作为深度神经网络的输入；

训练所述自编码器网络和深度神经网络；

将训练好的自编码器网络的中间输出作为样本的特征，利用聚类算法进行聚类任务。

2.根据权利要求1所述的联合深度神经网络和成对约束的聚类方法，其特征在于，使用数据集的每一约束对的两个样本分别作为两个自编码器网络的输入，将两个自编码器网路的中间输出相减，得到的差向量作为深度神经网络的输入，两个样本的成对约束标签作为深度神经网络输出的正确标记。

3.根据权利要求2所述的联合深度神经网络和成对约束的聚类方法，其特征在于，使用数据集的每一约束对的两个样本分别作为两个自编码器网络的输入，将两个自编码器网路的中间输出相减，得到的差向量作为深度神经网络的输入，两个样本的成对约束标签作为深度神经网络输出的正确标记，具体方法如下：

构建两个结构相同的自编码器网络，该网络的输入分别为每一个约束对的两个样本，输出分别为重构后的输入样本；将两个自编码器的中间输出相减，得到两个样本的中间输出的差向量，将差向量作为深度神经网络的输入；在深度神经网络的最后一层加上softmax层，从而得到成对约束的预测结果；其中所述softmax层是为了将深度神经网络的输入转变为一个成对约束标签预测的概率分布，选取最大概率的输出作为标签的预测结果；而所述标签的预测结果则是判别两个样本在同一类的概率和不在同一类的概率。

4.根据权利要求3所述的联合深度神经网络和成对约束的聚类方法，其特征在于，构建的网络结构中含有自编码器网络AE和深度神经网络DNN，因此训练网络时使用的损失函数公式如下：

L(AE，PC，CLU)＝L(AE)+L(PC)+L(CLU)

其中L(AE)为自编码器损失，L(PC)为深度神经网络的成对约束预测损失，L(CLU)为聚类损失；

所述自编码器损失的计算公式如下：

L(AE)＝L(X，X′)＝||X-X′||²＝||X-WH||²

深度神经网络的成对约束损失的计算公式如下：

聚类损失的计算公式如下：

对于自编码损失，采用输入自身和经过网络重构得出的结果做最小二乘运算；其中WH代表X通过自编码网络重构出的结果，W是自编码网络中解码网络的权值矩阵，H是自编码网络的解码网络的输入；对于深度神经网络的成对约束损失，采用了交叉熵的计算方法，其中y_i代表预测的成对约束标签，代表真实的成对约束标签；对于聚类损失，采用了k-means聚类方法的损失函数，h_i表示深度神经网络的第i个输入，M代表聚类中心，S_j是一个向量，该向量只有一个值为1，表示该输入属于该聚类；其余为0，表示该输入不属于该聚类。

5.根据权利要求4所述的联合深度神经网络和成对约束的聚类方法，其特征在于，在网络训练阶段，则联合自编码器网络和深度神经网络交替进行；在正向传播过程中，两个自编码器网络中通过正向传播，分别得到重构后样本A的向量X′_A和样本B的向量X′_B；将两个自编码器网络的中间输出相减，得到的差向量作为深度神经网络的输入，通过正向传播，获得成对约束标签；最后将两个自编码网络的中间输出用于聚类；在反向传播过程中，通过计算自编码损失，成对约束损失和聚类损失，更新两个自编码器网络和深度神经网络，更新直到整体损失收敛后停止；在每轮的训练过程中，采用随机梯度下降算法，更新两个自编码器网络和深度神经网络的参数。