[发明专利]基于自编码器的多模态自适应融合深度聚类模型及方法

权利要求书

1.基于自编码器的多模态自适应融合深度聚类模型，其特征在于，包括编码器、多模态自适应融合层、解码器、深度嵌入式聚类层；所述编码器包括自编码器、卷积自编码器、卷积变分自编码器；

编码器，用于使数据集X分别通过自编码器、卷积自编码器、卷积变分自编码器三种非线性映射h(X；θ_m)，分别得到自编码器、卷积自编码器、卷积变分自编码器的潜在特征Z_m；

多模态自适应融合层，与所述编码器连接，用于将自编码器、卷积自编码器、卷积变分自编码器分别得到的潜在特征Z_m通过自适应空间特征融合方式融合到公共子空间中，得到融合特征Z；

解码器，与所述多模态自适应融合层连接，用于使用与编码器对称的结构对融合后的特征Z进行解码，得到解码后的重构数据集

深度嵌入式聚类层，与所述多模态自适应融合层连接，用于对融合特征Z进行聚类，通过对比聚类结果与真实标签得到最终准确率ACC。

2.根据权利要求1所述的基于自编码器的多模态自适应融合深度聚类模型，其特征在于，所述编码器中分别得到自编码器、卷积自编码器、卷积变分自编码器的潜在特征Z_m，表示为：

Z_m＝h(X；θ_m)

其中，θ_m表示编码器模型参数；m表示编码器序列，取值范围为{1，2，3}。

3.根据权利要求2所述的基于自编码器的多模态自适应融合深度聚类模型，其特征在于，所述多模态自适应融合层中得到的融合特征Z，表示为：

Z＝ω₁·Z₁+ω₂·Z₂+ω₃·Z₃

其中，ω_m表示第m个模态的特征的重要性权重，由网络自适应的学习，得到自适应特征融合参数；

限制并定义：

其中，ω_m分别通过使用β_m作为控制参数的softmax函数定义；在不同模态特征上分别使用1×1卷积计算权重标量β_m，通过标准反向传播来学习。

4.根据权利要求3所述的基于自编码器的多模态自适应融合深度聚类模型，其特征在于，所述解码器中得到解码后的重构数据集表示为：

其中，表示解码器模型参数。

5.根据权利要求4所述的基于自编码器的多模态自适应融合深度聚类模型，其特征在于，所述深度嵌入式聚类层中对融合特征Z进行聚类具体为：

将n个点分成k个类，每个类的中心用μ_j，j＝1，...，k，初始化聚类中心并计算特征点与聚类中心的软分配q_ij和辅助分布p_i，最终用软分配q_ij和辅助分布p_i的KL散度来定义聚类损失函数，并更新聚类中心μ_j、编码器、解码器参数θ和自适应特征融合参数β。

6.根据权利要求5所述的基于自编码器的多模态自适应融合深度聚类模型，其特征在于，所述编码器中还包括利用重构损失来更新自编码器、卷积自编码器、卷积变分自编码器的网络参数；具体为将编码器输入原始数据x_i和解码器输出重构数据的平方差函数作为重构损失，预训练编码器，得到初始化模型，表示为：

其中，L_R表示重构损失函数。