[发明专利]基于图片和句子的多模态联合事件检测方法

权利要求书

1.基于图片和句子的多模态联合事件检测方法，其特征在于包括如下步骤：

步骤1、文本事件检测模块首先对文本特征进行编码，获取句中单词的特征向量表示序列对于第j个候选触发词，然后将其对应的候选触发词特征向量输入文本事件分类器Softmax_T，获取第j个候选触发词触发的事件类型概率分布，其中文本事件分类器的损失函数定义为L^T；

步骤2、图片事件检测模块对图片特征进行编码，获取图片中描述动作以及多个实体的图片实体特征向量表示序列然后将图片实体特征向量输入图片事件分类器Softmax_I，获取当前图片描述的事件类型概率分布，其中图片事件分类器的损失函数定义为L^I；

步骤3、图片句子匹配模块首先利用跨模态注意力机制CMAM计算每一对图片实体与单词之间的关联权值；

根据第j个单词，CMAM能够定位重要的图片实体并分配权重，通过加权平均聚合与单词相关的图片实体特征，获取单词在图片模态的特征表示

同时对于图片中的第i个实体，首先在待匹配的句子中搜索相关的单词，并为单词分配权重，通过加权平均捕获与图片实体相关的语义信息，从而获取图片实体在文本模态的特征表示

然后将每个待匹配句子与其在图片模态中的特征表示序列的欧氏距离D^T←I，与图片中所有实体与其在文本模态中的特征表示序列的欧氏距离D^I←T进行相加，作为图片和句子的相似度；其中，图片句子匹配模块的损失函数定义为L^m；

步骤4、通过联合优化文本事件检测模块、图片事件检测模块以及图片句子匹配模块，从而获取共享事件分类器；

步骤5、在测试阶段，对于多模态文章，首先利用图片句子匹配模块找出相似度最高的图片和句子，并获取第i个图片实体在文本模态的特征表示以及第j个单词在图片模态的特征表示然后利用门控注意力机制为图片实体特征向量和特征表示分配权重，通过加权平均获取第i个图片实体对应的多模态特征向量；接着利用共享事件分类器获取图片描述的事件类型；同样，利用另外一个门控注意力机制为候选触发词特征向量和特征表示分配权重，通过加权平均获取第j个单词的多模态特征表示，接着利用共享事件分类器获取第j个单词触发的事件类型。