[发明专利]一种深度对抗多模态数据聚类方法

摘要

一种深度对抗多模态数据聚类方法，构建模态编码网络、模态融合网络、模态生成器和模态融合判别器。首先，模型将数据的每个模态通过对应的模态编码网络映射到深度特征空间，学习各模态私有的深度特征。然后，模态融合网络学习各模态私有特征，获取带有模态扰动的融合特征。最后，模态生成器利用融合特征生成样本，模态融合判别器判断样本的真伪，两者通过生成对抗的策略拟合数据分布。相应设计对抗循环一致聚类损失函数指导模型的训练，其包含循环一致损失函数、跨模态对抗损失函数和聚类嵌入损失函数。本发明中的深度对抗多模态数据聚类方法学习数据的融合特征，挖掘数据的内在规律；能够有效提取多模态数据中隐藏的语义一致性信息，提高多模态数据聚类的性能。