[发明专利]跨媒体检索模型的训练方法、跨媒体检索方法及其设备

权利要求书

1.一种跨媒体检索模型的训练方法，其特征在于，包括：

获取跨媒体数据集，其中，每条跨媒体数据包括图像数据、文本数据、时间数据、作者数据及语义标签数据；

获取各条跨媒体数据中图像数据的图像特征向量、文本数据的文本特征向量、时间数据的时间特征向量及作者数据的作者特征向量，并获取相应跨媒体数据中语义标签数据的语义标签向量；

计算跨媒体数据集中两两跨媒体数据的语义标签向量的第一相似度，得到跨媒体数据集对应的第一相似度矩阵；

提取各条跨媒体数据的图像特征向量、时间特征向量及作者特征向量，得到相应跨媒体数据的第一模态数据，提取各条跨媒体数据的文本特征向量、时间特征向量及作者特征向量，得到相应跨媒体数据的第二模态数据；

将各条跨媒体数据的第一模态数据和第二模态数据分别输入至初始特征映射网络，计算得到相应跨媒体数据的第一模态数据对应的第一特征映射向量和第二模态数据对应的第二特征映射向量；

计算跨媒体数据集中一条跨媒体数据的第一特征映射向量和另一条跨媒体数据的第二特征映射向量的第二相似度，得到跨媒体数据集对应的第二相似度矩阵；

计算所述第一相似度矩阵和第二相似度矩阵的差异值，作为语义偏差损失函数的值；

将跨媒体数据集中各跨媒体数据的第一特征映射向量和第二特征映射向量输入至初始模态判别网络，计算得到对抗损失函数的值；

利用语义偏差损失函数的值和对抗损失函数的值计算得到包含所述初始特征映射网络和所述初始模态判别网络的初始跨媒体检索网络的总损失函数的值，并利用总损失函数的值优化初始跨媒体检索网络中的参数，以训练得到对抗性的跨媒体检索网络并利用其得到跨媒体检索模型；

计算所述第一相似度矩阵和第二相似度矩阵的差异值，包括：

利用计算l₂范数或余弦值的方式计算所述第一相似度矩阵和第二相似度矩阵的差异值。

2.如权利要求1所述的跨媒体检索模型的训练方法，其特征在于，获取各条跨媒体数据中图像数据的图像特征向量、文本数据的文本特征向量、时间数据的时间特征向量及作者数据的作者特征向量，包括：

利用VGG16神经网络提取跨媒体数据中图像数据，得到相应的图像数据的图像特征向量；和/或，

利用LDA主题模型提取跨媒体数据中的文本数据，得到相应的文本数据的文本特征向量；和/或，

利用one-hot模型跨媒体数据中的时间数据，得到相应的时间数据的时间特征向量；和/或，

利用one-hot模型跨媒体数据中的作者数据，得到相应的作者数据的作者特征向量。

3.如权利要求1所述的跨媒体检索模型的训练方法，其特征在于，

所述方法，还包括：

计算所述初始特征映射网络的语义标签预测损失函数的值和归一化损失函数的值；

利用语义偏差损失函数的值和对抗损失函数的值计算得到包含所述初始特征映射网络和所述初始模态判别网络的初始跨媒体检索网络的总损失函数的值，包括：

将语义偏差损失函数的值、语义标签预测损失函数的值及归一化损失函数的值加权求和得到嵌入损失函数的值；

利用嵌入损失函数的值减去对抗损失函数的值，得到包含所述初始特征映射网络和所述初始模态判别网络的初始跨媒体检索网络的总损失函数的值。

4.如权利要求3所述的跨媒体检索模型的训练方法，其特征在于，所述归一化损失函数为第一模态数据和第二模态数据中相同模态数据中最小化类内距离、不同模态数据间最小化类中心距离、以及不同模态数据间最小化模态类中心与具有相同语义的另一个模态数据之间的距离的加权和。