[发明专利]一种基于共注意的多模态融合机制检测虚假信息的方法

说明书

一种基于共注意的多模态融合机制检测虚假信息的方法，包括如下步骤，步骤S1.构建提取文本特征的BERT模型；步骤S2.构建提取视觉特征的R‑CNN模型；步骤S3.构建融合文本与视觉特征的共注意转换器层Co‑TRM模型；步骤S4.将融合后的特征向量输入到域分类器中，将不同信息的多模态特征映射到相同的特征空间，将文本分类为不同的事件，并删除事件特殊的特征；步骤S5.将融合后的特征向量输入到虚假信息检测器中，利用潜在的多模态特征判断信息的真假。该方法利用共注意机制，通过使用随机像素采样机制来增强视觉表现的鲁棒性，改善多模态模型结构，分别加强文本特征和视觉特征的提取方法，提高了不同模态之间的信息交流，有利于提高虚假信息检测的准确性。

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于共注意的多模态融合机制检测虚假信息的方法。

背景技术

近年来，随着计算机技术的飞速发展，电子化时代已经来临，这促使着人们每天主动或者被动地接受着大量的信息，我们接受的大多数信息都是图片和文本结合的信息，这些信息更加生动且引人注目。但有些人受利益驱使，会发布一些虚假信息，这些虚假信息往往包含着被篡改或伪造的图片，配合着文字，干扰众人的视野。传播严重的虚假信息，轻则影响一个人的声誉和前途，重则干系着一个国家领导人的选举。大部分时候，人们难以根据常识来判断一个信息是否是虚假的，因此，需要有效的技术来专门识别虚假信息。

早期方法主要从文本内容中提取语言特征来检测虚假信息，后来研究发现图片也包含丰富的信息，能有效提高模型检测准确率。对于仅考虑文本特征的虚假信息检测器，虚假信息发布者可以利用真实的文本配上虚假的图片或与文本无关的图片来骗过检测器。对于仅考虑视觉特征的虚假信息检测器，虚假信息发布者可以利用虚假的文本或者与图片无关的文本配上真实的图片来骗过检测器。以上两种行为都可以误导读取信息的人。因此，文本和视觉特征的融合十分有必要。利用相同信息的多模态特征可以充分挖掘模态与模态之间的关系，可以使检测器读取到更多有用的信息从而变得更强大，可以适用于更多的场景。此外，多模态信息的融合方式尤为重要，良好的融合方式可以使模型更优秀，鲁棒性更强。因此，最近很多研究工作将文本和图片这两种模态信息相结合，采用基于多模态的方法检测虚假信息。现有的用于虚假信息检测的多模态方法一般都有如下缺点：

缺点一：都是单独提取出文本和图像特征，将文本和图像特征进行简单地融合，在进行多模态特征融合之前没有考虑到文本中的信息对于图像有什么影响以及图像中的信息对于文本有什么影响，文本和图像之间的信息没有进行很好的融合。

缺点二：注意力一般都放在了重点图像区域，没有考虑到与文本无关的图像对虚假信息分类的影响。最新的视觉和语言方法，利用从目标检测模型中提取的基于区域的视觉特征来获得更好的性能。然而，基于区域的视觉特征提取器是为特定的视觉任务(如目标检测)而设计的，这将导致语言理解上的信息鸿沟。视觉信息的一些重要因素丢失了，如物体的形状、重叠物体之间的空间关系等。此外，特征表示能力仅限于此类任务特定模型的给定类别，而更广泛语义的视觉信息，如场景和情感，在目标检测模型中丢失。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于共注意的多模态融合机制检测虚假信息的方法，利用共注意机制有效地对文本特征和图像特征进行特征融合，并通过深度多模态变换在像素和文本级别上对齐语义连接，解决了视觉和语言任务中视觉表示的局限性。有利于减轻图像边界框注释的成本，并有望克服视觉任务中语义标签与语言语义之间的不平衡。在统一的端到端框架中共同学习视觉和语言嵌入，利于提高虚假信息检测的效率和准确度。

本发明提供一种基于共注意的多模态融合机制检测虚假信息的方法，包括如下步骤，

步骤S1.构建提取文本特征的BERT模型；

步骤S2.构建提取视觉特征的R-CNN模型；

步骤S3.构建融合文本与视觉特征的共注意转换器层Co-TRM模型；