[发明专利]一种基于双向CNN的跨模态语义聚类方法

权利要求书

1.一种基于双向CNN的跨模态语义聚类方法，其特征在于，步骤如下：

步骤1：数据的预处理，对训练集的文本样本进行预训练；

采用现有的数据集，按设定比例将其分为训练集和测试集，对训练集的文本样本进行预训练；

步骤2：构建跨模态检索网络；

跨模态检索网络采用双CNN同时进行；通过ResNet-50网络提取图片样本的特征向量；对于文本样本，先利用Word2Vec预训练词向量，再通过TextCNN提取文本的特征向量；

步骤3：通过训练集训练跨模态检索网络；

步骤4：计算网络的损失函数；进行反向传播，通过选定的优化器和相应参数对连接权重进行优化；训练多轮后得到最终的网络模型；

寻找一个有效的转移矩阵将样本从源空间投射到目标空间；样本转移后，在其类别聚类中心对应的目标空间中进行聚类；定义损失函数为在目标空间中样本和聚类中心的损失，类别在不同模态中的分布差异损失以及判别损失；目标空间中样本和聚类中心的损失即学习了一个维不变矩阵，使类别分布的方差最小；通过最小化类别分布的MMD来缩小不同模态之间的类别分布差异；判别损失即为标签预测损失，应用分类器来预测公共空间种样本的类别标签；

步骤5：对网络模型进行测试：

通过测试集的对训练好的模型进行测试，计算各项评价指标。

2.根据权利要求1所述的一种基于双向CNN的跨模态语义聚类方法，其特征在于，步骤2具体方法如下：

跨模态检索网络采用双层CNN结构，包含ResNet-50网络和文本CNN网络即TextCNN；网络结构采用双CNN同时进行；通过ResNet-50网络提取图片样本的特征向量；对于文本样本，先利用Word2Vec预训练词向量，再通过TextCNN提取文本的特征向量；

采用ResNet-50来进行对图片样本的信息特征向量的提取，然后进行公共表示学习得到每个图片的公共表示；

词嵌入是将文本中的词转换成数字向量的方法；TextCNN包括嵌入层、卷积层、池化层和全连接softmax层；对于每个句子，根据词向量得到一个二维句子矩阵，然后选择不同的大小的过滤器进行卷积操作得到多个特征,然后进行最大池化，并且将其拼接起来，最后经过softmax全连接层进行分类；同样，采用多个完全连通的层来学习文本的公共表示；

用U＝[u₁,u₂,…,u_n],V＝[v₁,v₂,…,v_n]以及Y＝[y₁,y₂,…,y_n]分别表示所有实例的图像表示矩阵、文本表示矩阵和标签矩阵，其中n是类别的数量；表示转移矩阵，表示维不变矩阵，用于优化损失函数,其中，D_S是源空间的维数，D_τ是目标空间的维数。

3.根据权利要求2所述的一种基于双向CNN的跨模态语义聚类方法，其特征在于，步骤3具体方法如下：

通过训练集训练双向CNN网络，使用SGD优化器，其动量为0.9。