[发明专利]基于自编码器的多模态自适应融合深度聚类模型及方法

说明书

本发明公开了基于自编码器的多模态自适应融合深度聚类模型，包括编码器结构、多模态自适应融合层、解码器结构、深度嵌入式聚类层；编码器，用于使数据集X分别通过自编码器、卷积自编码器、卷积变分自编码器三种非线性映射h(X；θ_m)，分别得到自编码器、卷积自编码器、卷积变分自编码器的潜在特征Z_m；多模态自适应特征融合层，用于将自编码器、卷积自编码器、卷积变分自编码器分别得到的潜在特征Z_m通过自适应空间特征融合方式融合到公共子空间中，得到融合特征Z；解码器，用于使用与编码器对称的结构对融合特征Z进行解码，得到解码后的重构数据集深度嵌入式聚类层，用于对融合特征Z进行聚类，通过对比聚类结果与真实标签得到最终准确率ACC。

技术领域

本发明涉及聚类分析技术领域，尤其涉及基于自编码器的多模态自适应融合深度聚类模型及方法。

背景技术

聚类分析是许多领域的基本问题，例如机器学习，数据挖掘，模式识别，图像分析以及生物信息。聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集，这样让在同一个子集中的成员对象都有相似的一些属性，一般把数据聚类归纳为一种非监督式学习。现有技术中也有一些常见的聚类方法，但是由于传统的聚类方法所使用的相似性度量方法效率低下，因此它们在高维数据上的性能通常较差。此外，这些方法通常在大规模数据集上具有较高的计算复杂性。因此，人们广泛研究了降维和特征转换方法，以将原始数据映射到一个新的特征空间中，在该特征空间中，生成的数据更容易被现有的分类器分离。一般而言，现有的数据转换方法包括线性变换(例如主成分分析)和非线性变换(例如核方法和光谱方法)。尽管如此，数据的高度复杂的潜在结构仍在挑战现有聚类方法的有效性。

由于深度学习的发展，由于深度神经网络的高度非线性转换的内在特性，可将其用于将数据转换为更易于聚类的表示形式。近年来，聚类方法还涉及到深度嵌入聚类以及其他新颖的方法，使深度聚类成为流行的研究领域。例如堆叠式自动编码器，可变自动编码器和卷积自动编码器，这是为无监督学习而提出的。基于神经网络的聚类方法在一定程度上击败了传统方法，方法是学习复杂的非线性变换以获得强大的特征的有效的方法。但是通过神经网络获取特征的单一模态方法，即，首先提取模态特征，然后采用传统的聚类，例如K均值或频谱聚类，并没有充分提取数据的全部特征，没有很好地利用多模态特征学习和聚类之间的关系，因此这种单独的学习策略可能会带来不令人满意的聚类结果甚至由于无监督学习的弊端导致结果变化很大。为了解决这个问题，本发明提出了基于自编码器的多模态自适应特征融合深度聚类模型及聚类方法。

发明内容

本发明的目的是针对现有技术的缺陷，提供了基于自编码器的多模态自适应融合深度聚类模型及方法。使用多种不同的深度自编码器来学习原始数据的潜在表示，并约束它们学习不同的特征，对几个自然图像数据集的实验评估表明，与现有方法相比，该方法有显著改进。

为了实现以上目的，本发明采用以下技术方案：

基于自编码器的多模态自适应融合深度聚类模型，包括编码器、多模态自适应融合层、解码器、深度嵌入式聚类层；所述编码器包括自编码器、卷积自编码器、卷积变分自编码器；

编码器，用于使数据集X分别通过自编码器、卷积自编码器、卷积变分自编码器非线性的映射h(X；θ_m)，分别得到自编码器、卷积自编码器、卷积变分自编码器的潜在特征Z_m；

多模态自适应融合层，与所述编码器连接，用于将自编码器、卷积自编码器、卷积变分自编码器分别得到的潜在特征Z_m通过自适应空间特征融合方式融合到公共子空间中，得到融合特征Z；

解码器，与所述多模态自适应融合层连接，用于使用与编码器对称的结构对融合后的特征Z进行解码，得到解码后的重构数据集

深度嵌入式聚类层，与所述多模态自适应融合层连接，用于对融合特征Z进行聚类，通过对比聚类结果与真实标签得到最终准确率ACC。