[发明专利]动态传播特征增强的多模态谣言检测方法及系统

权利要求书

1.一种动态传播特征增强的多模态谣言检测方法，其特征在于，包括以下步骤：

步骤A：在社交媒体中收集多媒体帖子，提取出帖子中的文本、评论、图像和用户资料，并对帖子的真实性标签进行标注，以此构建训练数据集DS；

步骤B：使用训练数据集DS训练具有动态传播特征增强的多模态谣言检测模型M，以利用模型M来分析帖子的真实性，并得出帖子的预测标签；

步骤C：将未检测多媒体帖子的文本、评论、图像和用户资料输入到训练好的多模态谣言检测模型M中，获得多媒体帖子的真实性标签。

2.根据权利要求1所述的动态传播特征增强的多模态谣言检测方法，其特征在于，所述步骤B具体包括以下步骤：

步骤B1：对训练数据集DS中的所有训练样本进行初始编码，得到文本初始表征向量E^t、评论初始表征向量E^r和用户初始表征向量E^u；

步骤B2：将文本初始表征向量E^t和帖子中的图像分别输入到Text-CNN和ResNet50中得到帖子文本特征表征向量F^t和视觉特征表征向量F^v；

步骤B3：对帖子传播过程中的用户、源帖、评论及其相应交互关系进行建模，构建异构传播图G；将异构传播图G输入到多层动态异构图神经网络DyHGN中，DyHGN主要包括符号注意力机制和根节点增强模块，首先通过符号注意力机制得到节点n_i与所有邻接节点的注意力系数向量A，然后将注意力系数作为权重来聚合所有邻接节点的信息，通过根节点增强后得到节点n_i的信息表征向量H^(l)[n_i]，最后经过L层DyHGN后得到节点n_i的动态传播特征表征向量F^g；

步骤B4：将帖子的文本特征表征向量F^t和视觉特征表征向量F^v输入到共同注意力网络中，获得帖子文本和视觉的联合表征向量F^tv；再将帖子的文本特征表征向量F^t和动态传播特征表征向量F^g输入到共同注意力网络中，获得帖子文本和传播图的联合表征向量F^tg；

步骤B5：将步骤B4得到的帖子文本和视觉的联合表征向量F^tv和帖子文本和传播图的联合表征向量F^tg在自监督损失的情况下进行模态对齐操作，得到对齐后的文本视觉的联合表征向量和文本传播图的联合表征向量然后将模态对齐后的文本视觉联合表征向量和文本传播图联合表征向量输入到共同注意力网络中，得到帖子的多模态表征向量F^tvg；

步骤B6：将帖子的多模态表征向量F^tvg输入到全连接层中，获得到帖子的预测结果；然后根据目标损失函数loss，通过利用反向传播方法计算多模态谣言检测模型中各参数的梯度，并利用反向传播迭代更新模型的所有参数；

步骤B7：当多模态谣言检测模型每次迭代产生的损失值变化小于所给定阈值或者达到最大迭代次数时，则终止模型的训练过程。