[发明专利]图像和语音的跨模态检索分类器模型、检索系统和检索方法

权利要求书

1.图像和语音的跨模态检索分类器模型，其特征在于，所述跨模态检索分类器模型是按照下述步骤构建的：

1)构建图像-语音数据库，该数据库中的每幅图像对应有一条语音；

2)将步骤1)构建的图像-语音数据库划分为图像-语音训练集和图像-语音测试集；

3)构建图像-语音神经网络，所述图像-语音神经网络包括图像深度神经子网络和语音卷积神经子网络；

4)将图像-语音训练集划分为多个训练块，每个训练块中的图像数量相同，以训练块为单位对所述图像-语音训练集进行训练：

4.1)提取图像的高层语义特征

4.1.1)利用ImageNet数据库中的图像对所述图像深度神经子网络进行预训练；

4.1.2)利用预训练好的图像深度神经子网络对所述图像-语音训练集中的图像进行特征提取，得到图像的高层语义特征；

4.2)获取语音的高层语义特征

4.2.1)用梅尔频率倒谱系数MFCCs将所述图像-语音训练集中的每一条原始音频数据转化到频率域进行表示，得到梅尔频率倒谱系数MFCCs特征，包括零阶、一阶、二阶特征；

4.2.2)将步骤4.2.1)得到的梅尔频率倒谱系数MFCCs特征，输入到所述语音卷积神经子网络中进一步表达，得到语音的高层语义特征；

4.3)特征融合

将步骤4.1.2)得到的图像的高层语义特征和步骤4.2.2)得到的语音的高层语义特征进行融合，生成一个包含两种模态信息的融合特征；

4.4)利用分类器对所述融合特征进行分类

将所述融合特征依次输入到全连接层和分类器中，判别输入的图像和语音描述是否匹配，产生匹配或不匹配的二分类结果；

4.5)使用交叉熵损失函数判断步骤4.4)得到的分类结果是否理想，若分类结果不理想，则返回步骤4.1)；若分类结果理想，则训练结束，得到跨模态检索分类器模型；

判断分类结果是否理想的原则是：

当交叉熵损失函数的损失值J大于设定阈值时，表示分类结果不理想；

当交叉熵损失函数的损失值J小于等于设定阈值时，表示分类结果理想。

2.根据权利要求1所述的图像和语音的跨模态检索分类器模型，其特征在于：步骤3)中的图像深度神经子网络采用VGG16；语音卷积神经子网络是一维结构，包括卷积层和池化层；卷积层的卷积核大小不超过10；池化层采用最大池化操作。

3.根据权利要求1所述的图像和语音的跨模态检索分类器模型，其特征在于，步骤4.3)利用下述公式进行特征融合：

h＝tanh(W_I·V_I+W_S·V_S+b_I),

其中：

W_I和W_S是权重；

b_I表示偏置；

V_I为图像的高层语义特征，V_I＝f(I；θ_I)；

I表示图像；

S表示语音；

θ_I表示图像深度神经子网络的参数；

V_S为语音的高层语义特征，V_S＝g(M；θ_S)；

M表示语音的梅尔频率倒谱系数MFCCs特征；

θ_S表示语音卷积神经子网络的参数；

h表示融合特征向量。

4.根据权利要求1或2或3所述的图像和语音的跨模态检索分类器模型，其特征在于，步骤4.4)中采用的分类器为softmax分类器，其模型如下：

p＝softmax(W_hh+b_h)

其中：

W_h是权重；

b_h表示偏置；

h表示融合特征向量；

p表示属于匹配类或不匹配类的概率。