[发明专利]基于梯度调节的多模态情绪分析方法、装置、设备及存储

说明书

本公开提供了一种基于梯度调节的多模态情绪分析方法、装置、设备及存储，涉及人工智能、多模态情感分析技术领域。将三种情绪模态数据中的第一情绪模态数据当做第一训练集，进行动态梯度训练，确定第一参数；将三种情绪模态数据中的第二情绪模态数据当做第二训练集，进行动态梯度训练，根据第一参数确定第二参数；将三种情绪模态数据中的第三情绪模态数据当做第三训练集，进行梯度训练，根据第二参数确定第三参数，得到训练完成的多模态情绪分析模型。本公开根据不同模态流的不同信息进行梯度训练，使得模型在进行多模态数据训练时得以自适应地调节梯度，有效地解决了同时训练模态数据不平衡问题。

技术领域

本公开涉及人工智能、多模态情感分析技术领域，尤其涉及一种基于梯度调节的多模态情绪分析方法、装置、设备及存储。

背景技术

随着科技飞速发展，人工智能已经成为当今人机互动中的热门话题。其中，情绪分析是人工智能领域的一个重要分支，是近年来的研究热点。情绪分析通过多种模态数据来挖掘人们对于产品、服务、组织、个人、事件等的观点、情感倾向、态度等。以往情绪分析方法聚焦于单模态分析。其中大部分方法均是利用文本信息挖掘和推理蕴含的情感。然而，多模态数据与单模态数据相比，包含了更丰富的信息，多个模态之间可以互相补充得到真实的情感分类结果。从人机交互角度出发，多模态情绪分析可以使得机器在更加自然的情况下与人进行交互，机器可以基于图像中人的表情和手势，声音中的音调，和识别出的自然语言来理解用户情感，进而进行反馈。综上所述，多模态情绪分析技术的发展源于实际生活的需求，人们自然的表达情感，技术就应有能力进行智能的理解和分析。

现有技术中，多模态情绪分析系统多模态融合方法往往是将多个模态的全部特征融合在一起进行训练，没有根据不同模态流在时间的跨度上表达的不同信息进行训练，导致同时训练模态数据不平衡问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种基于梯度调节的多模态情绪分析方法、装置、设备及存储，至少在一定程度上克服相关技术中多模态训练模型同时训练差异较大的异构模态数据的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种基于梯度调节的多模态情绪分析方法，包括：将三种情绪模态数据中的第一情绪模态数据当做第一训练集，进行动态梯度训练，确定第一参数；将三种情绪模态数据中的第二情绪模态数据当做第二训练集，进行动态梯度训练，根据所述第一参数确定第二参数；将三种情绪模态数据中的第三情绪模态数据当做第三训练集，进行梯度训练，根据所述第二参数确定第三参数，得到训练完成的多模态情绪分析模型。

在本公开的一个实施例中，动态梯度训练包括：获取训练集；将所述训练集采样一个批次作为第一批次；将所述第一批次在多模态情绪分析模型中前向传播，确定所述第一批次的差异比；根据所述第一批次的差异比，确定所述第一批次的调节比；将所述第一批次在多模态情绪分析模型中反向传播，确定梯度；根据所述调节比与梯度，更新所述多模态情绪分析模型的参数。

在本公开的一个实施例中，所述方法还包括：获取同一种情绪的三种时序长度不同模态数据；对所述三种时序长度不同模态数据分别编码，确定第一情绪模态数据、第二情绪模态数据和第三情绪模态数据。

在本公开的一个实施例中，所述方法还包括：对编码后的第一情绪模态数据、第二情绪模态数据和第三情绪模态数据通过平均池化操作进行特征提取。

在本公开的一个实施例中，所述方法还包括：采用注意力机制学习各个模态数据预设的关注部分；对每个模态的数据进行压缩，并与其他模态的信息进行预设信息共享。

在本公开的一个实施例中，其特征在于，所述第一情绪模态数据为文本数据，第二情绪模态数据为音频数据，第三情绪模态数据为视觉数据。