[发明专利]基于多模态图神经网络的语义分析方法、系统和存储介质

说明书

本发明公开了一种基于多模态图神经网络的语义分析方法、系统和存储介质，方法包括：采集社交数据，社交数据包括用户数据和资源数据；根据社交数据构建多模态交互图；构建语义分析模型，语义分析模型包括门控注意力机制；采用语义分析模型分析多模态交互图的语义信息，并根据语义信息计算用户数据与资源数据交互的可能性。本发明通过先根据采集的社交数据构建多模态交互图，接着采用包括门控注意力机制的语义分析模型分析多模态交互图的语义信息，根据语义信息计算用户数据与资源数据交互的可能性，从而实现模态粒度的用户偏好识别，促进信息在不同模态交互图间的传递，提升语义分析结果的准确性和预测精度。本发明可应用于图神经网络技术领域。

技术领域

本发明涉及图神经网络技术领域，尤其是一种基于多模态图神经网络的语义分析方法、系统和存储介质。

背景技术

在社交网络平台上，每天都会产生海量的社交数据，其中包含极有价值的信息。然而，一方面这些社交数据缺少语义内容描述，另一方面跨平台背景下的社交数据往往不局限于一种形式，涉及文本、图像、视频等多种模态，从而导致用户在浏览、搜索和管理资源的过程中面临巨大挑战。当前社交大数据深度语义分析的手段大多是依托大数据技术来收集社交网络数据，全面分析语义内容并进行语义关联。目前的研究方向主要分为两类，第一类使用外部知识库来丰富语义信息，这类方法通常要消耗大量的时间和成本，且分析对象多为静态数据；第二类则是基于深度学习的语义映射学习方法，研究内容主要包括多模态数据的统一特征表示和语义相似度计算，这类方法只适用于线性表示的数据，过于关注跨模态数据的相关性，忽视了高级的语义信息，如数据的类别标签，弱化特征间关联的问题，且每次最多只能表示两种模态的数据。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于多模态图神经网络的语义分析方法、系统和存储介质，能够提升语义分析结果的准确性和预测精度。

根据本发明第一方面实施例的一种基于多模态图神经网络的语义分析方法，包括以下步骤：

采集社交数据，所述社交数据包括用户数据和资源数据；

根据所述社交数据构建多模态交互图；

构建语义分析模型，所述语义分析模型包括门控注意力机制；

采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息计算用户数据与资源数据交互的可能性。

根据本发明实施例的一种基于多模态图神经网络的语义分析方法，至少具有如下有益效果：

本实施例通过先根据采集的社交数据构建多模态交互图，同时构建包括门控注意力机制的语义分析模型，接着采用语义分析模型分析多模态交互图的语义信息，并根据语义信息计算用户数据与资源数据交互的可能性，从而实现模态粒度的用户偏好识别，促进信息在不同模态交互图间的传递，提升语义分析结果的准确性和预测精度。

根据本发明的一些实施例，所述根据所述社交数据构建多模态交互图，包括：

根据模态类型对所述资源数据进行分类，所述模态类型包括文本模态、图像模态和视频模态；

根据用户数据和分类后的资源数据构建多模态交互图。

根据本发明的一些实施例，所述用户数据包括用户偏好数据和用户ID数据；所述资源数据包括资源特征数据和资源ID数据；将所述用户偏好数据和所述资源特征数据作为单模态交互图中的节点特征。

根据本发明的一些实施例，所述采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息计算用户数据与资源数据交互的可能性，包括嵌入步骤、信息传递步骤和预测步骤；

所述嵌入步骤包括：

嵌入所述用户ID数据和所述资源ID数据；

所述信息传递步骤包括：