[发明专利]基于多通道自编码器的多模态词汇表示方法与系统

说明书

本发明涉及自然语言处理领域，具体涉及一种基于多通道自编码器的多模态词汇表示方法与系统，目的在于提高表示结果的准确性。本发明的词汇表示方法，先通过向量数据库查询待表示词汇的文本模态向量、视觉模态向量、音频模态向量；对于没有视觉模态和音频模态的词汇，利用训练好的映射模型去预测缺失的视觉向量以及听觉向量；再计算上述三种向量与对应模态权重的点积；最后将上述加权后的向量作为多通道自编码器模型的输入，对三种模态的信息进行融合，得到多模态的词汇表示向量。本发明利用不同模态间的相关性，融合不同模态的信息，并引入模态权重，有效提高了词汇表示的准确度。为了对不同模态进行更好的融合，还加入了联想词汇预测模块。

技术领域

本发明涉及自然语言处理领域，具体涉及一种基于多通道自编码器的多模态词汇表示方法与系统。

背景技术

多模态词汇表示是自然语言理解的基础任务，直接影响到整个自然语言处理系统的性能。其中，模态是指不同类型的数据来源，如文本数据称为文本模态，图像数据称为视觉模态。多模态词汇表示是融合多个模态的信息，从数据的统计规律中挖掘词汇的含义。与单一模态词汇表示相比，多模态词汇表示能够更加接近人学习词汇概念的过程，在自然语言处理任务中具有更好的表现效果。

大部分现有的多模态词汇表示方法存在下述三个问题。一、现有方法忽略了不同模态间的相关性，这使得模型无法在模态之间传递信息，从而导致无法处理缺失某些模态信息的词汇。二、现有方法大多采用级联的方式对不同模态的语义向量进行融合，这种方法不能很好的融合不同模态的信息。三、现有的多模态词汇表示方法没有考虑到不同类型的词汇对不同模态的依赖不同，这与人的常识不符而且不对词汇进行区分将导致最后的表示结果不准确。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于多通道自编码器的多模态词汇表示方法与系统，提高了表示结果的准确性。

本发明提出一种基于多通道自编码器的多模态词汇表示方法，包括以下步骤：

步骤A10，基于预先构建的向量数据库，查询待表示词汇的三种表示向量：文本模态向量、视觉模态向量、音频模态向量；

步骤A20，若查询结果中缺失视觉模态向量和/或音频模态向量，则基于训练好的向量映射模型，根据所述待表示词汇的文本模态向量，生成所述待表示词汇的视觉模态向量和/或音频模态向量；

步骤A30，基于训练好的多通道自编码器，输入所述三种表示向量，生成所述待表示词汇的多模态词汇表示向量。

优选地，所述向量映射模型，包括文本模态向量与视觉模态向量之间的映射函数，以及文本模态向量与音频模态向量之间的映射函数。

优选地，所述向量映射模型的训练方法为：

利用既有文本模态向量又有视觉模态向量的词汇作为训练数据集，训练文本模态向量与视觉模态向量之间的映射函数，目标函数为：

利用既有文本模态向量又有音频模态向量的词汇作为训练数据集，训练文本模态向量与音频模态向量之间的映射函数，目标函数为：

其中，

m为用于训练的既有文本模态向量又有视觉模态向量的词汇数量；k为用于训练的既有文本模态向量又有音频模态向量的词汇数量；f为映射函数；T_i为第i个词汇的文本模态向量矩阵，V_i为第i个词汇的视觉模态向量矩阵，A_i为第i个词汇的音频模态向量矩阵。

优选地，所述多通道自编码器，为基于传统的自编码器，将一个输入通道拓展为多个输入通道而得到的自编码器。

优选地，所述多通道自编码器的训练方法为：