[发明专利]一种基于共注意的多模态融合机制检测虚假信息的方法

权利要求书

1.一种基于共注意的多模态融合机制检测虚假信息的方法，其特征在于，包括如下步骤，

步骤S1.构建提取文本特征的BERT模型；

步骤S2.构建提取视觉特征的R-CNN模型；

步骤S3.构建融合文本与视觉特征的共注意转换器层Co-TRM模型；

步骤S4.将融合后的特征向量输入到域分类器中，将不同信息的多模态特征映射到相同的特征空间，将文本分类为不同的事件，并删除事件特殊的特征；

步骤S5.将融合后的特征向量输入到虚假信息检测器中，利用潜在的多模态特征判断信息的真假。

2.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法，其特征在于，所述步骤S1中，使用Transformer的双向编码器进行文本特征提取，BERT模型由多层双向变压编码器构成，每层均由自我注意和完全连接的神经元组成，每一层编码器的输出，也是下一层编码器的输入，编码器的输入为在一个标记序列中明确地表示单个句子和一对句子，单个句子为一个连续文本的任意跨度，标记序列为输入标记序列，为一个句子或两个句子的组合；

使用WordPiece嵌入方法处理token词汇表，用特殊的分类标记CLS表示每个序列的第一个标记，与此标记对应的最终隐藏状态作为分类任务的聚合序列表示，一对句子被打包成一个单独的序列，用令牌符号SEP分隔句子，再在每个标记中添加一个学习的嵌入，表明所属的句子。

3.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法，其特征在于，所述步骤S1中，采用两个非监督任务来预训练BERT模型，包括两个任务，

任务一：随机屏蔽输入令牌，再根据上下文预测被屏蔽的令牌，与掩码标记对应的最终隐藏向量被输入到词汇表的输出softmax中，训练数据生成器随机选择15％的令牌位置进行预测，若第i个令牌被选择，则第i个令牌80％概率替换为MASK令牌，10％的概率为随机令牌，10％的概率令牌不变，最后对具有交叉熵损失的原始令牌进行预测；

任务二：预测下一个句子，预先训练一个二值化的下一个句子的预测任务，当为每个训练前的例子选择句子A和B时，50％的概率为句子A后面的下一个句子，标记为IsNext，50％的概率为语料库中的随机句子，标记为NotNext。

4.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法，其特征在于，文本特征提取器的输入部分由Token Embeddings、Segment Embeddings和Position Embeddings三部分组成，Token Embeddings为字符对应的索引的词向量，Segment Embeddings为用0和1作为句子之间的划分，Position Embeddings为表明位置信息，文本特征提取器的输入为信息中顺序排列的单词列表，首先将单词嵌入到向量中，将句子中的第i个词的第k维词嵌入到向量中，表示为T_i∈R^k，输入的句子为T＝[T⁰,T¹,...,Tⁿ]，其中，n为句子中单词的数量，T⁰为CLS嵌入到句子的顶部，使用预先训练的BERT_base，BERT_base由12个编码器构成，将BERT_base表示为R_b，输入句子T到R_b，获取输入句子对应的特征向量为对每个单独的特征向量T_f进行平均池化，平均池化后的文本特征记为其中，d_t为BERT模型获取的文本特征维数，再将R_t输入到完全连接层FC，最终输出为R_tf∈R^p，与视觉特征具有相同的维数p，可以表示为：R_tf＝σ_t(W_tf·R_t)，其中，为文本特征提取器中完全连接层的权矩阵，σ_t为文本特征提取器中使用的LeakyRELU激活函数。