[发明专利]基于多通道自编码器的多模态词汇表示方法与系统

权利要求书

1.一种基于多通道自编码器的多模态词汇表示方法，其特征在于，包括以下步骤：

步骤A10，基于预先构建的向量数据库，查询待表示词汇的三种表示向量：文本模态向量、视觉模态向量、音频模态向量；

步骤A20，若查询结果中缺失视觉模态向量和/或音频模态向量，则基于训练好的向量映射模型，根据所述待表示词汇的文本模态向量，生成所述待表示词汇的视觉模态向量和/或音频模态向量；

步骤A30，基于训练好的多通道自编码器，输入所述三种表示向量，生成所述待表示词汇的多模态词汇表示向量；

所述向量映射模型，包括文本模态向量与视觉模态向量之间的映射函数，以及文本模态向量与音频模态向量之间的映射函数；

所述向量映射模型的训练方法为：

利用既有文本模态向量又有视觉模态向量的词汇作为训练数据集，训练文本模态向量与视觉模态向量之间的映射函数，目标函数为：

利用既有文本模态向量又有音频模态向量的词汇作为训练数据集，训练文本模态向量与音频模态向量之间的映射函数，目标函数为：

其中，

m为用于训练的既有文本模态向量又有视觉模态向量的词汇数量；k为用于训练的既有文本模态向量又有音频模态向量的词汇数量；f为映射函数；T_i为第i个词汇的文本模态向量矩阵，V_i为第i个词汇的视觉模态向量矩阵，A_i为第i个词汇的音频模态向量矩阵。

2.根据权利要求1所述的多模态词汇表示方法，其特征在于，所述多通道自编码器，为基于传统的自编码器，将一个输入通道拓展为多个输入通道而得到的自编码器。

3.根据权利要求2所述的多模态词汇表示方法，其特征在于，所述多通道自编码器的训练方法为：

步骤B10，基于预先构建的向量数据库，输入一个训练词汇，查询所述训练词汇的所述三种表示向量；

步骤B20，若所述训练词汇的查询结果中缺失视觉模态向量和/或音频模态向量，则基于训练好的向量映射模型，根据所述训练词汇的文本模态向量，生成所述训练词汇缺失的视觉模态向量和/或音频模态向量；

步骤B30，将所述训练词汇的所述三种表示向量输入所述多通道自编码器，生成所述训练词汇的多模态词汇表示向量；

步骤B40，判断训练词汇是否已全部输入，若是，则转至步骤B50；否则，转至步骤B10；

步骤B50，计算目标函数：

其中，n为训练词汇的数量；为所述多通道自编码器的输入，分别为文本模态向量、视觉模态向量、音频模态向量；分别为所述多通道自编码器重构的文本模态向量、视觉模态向量、音频模态向量；i为训练词汇的序号；

步骤B60，若目标函数的值不再减小，则停止训练，否则，调整所述多通道自编码器的参数，并转至步骤B10。

4.根据权利要求1所述的多模态词汇表示方法，其特征在于，所述预先构建的向量数据库，包括：文本向量数据库、图片向量数据库和声音向量数据库；

所述文本向量数据库，为基于维基百科语料库和GloVe模型生成的数据库；

所述图片向量数据库，为基于ImageNet数据库和VGGNet模型生成的数据库；

所述声音向量数据库，为基于Freesound网站上爬取到的音频和VGGNet模型生成的数据库。

5.根据权利要求3所述的多模态词汇表示方法，其特征在于，在步骤A30中“生成所述待表示词汇的多模态词汇表示向量”之后，还包括：

预测所述待表示词汇的联想词汇；

相应地，在所述多通道自编码器的训练方法中，还包括对联想词汇预测模块进行训练的步骤：

在步骤B30中“生成所述训练词汇的多模态词汇表示向量”之后，还包括：预测所述训练词汇的联想词汇；

在步骤B50中计算的目标函数为：

在步骤B60中还包括：调整所述联想词汇预测模块的参数；

其中，

所述联想词汇预测模块设置于所述多通道自编码器的解码端；yⁱ为所述训练词汇对应的联想词汇向量；为由所述联想词汇预测模块预测出的联想词汇向量；i为训练词汇的序号。