[发明专利]基于梯度调节的多模态情绪分析方法、装置、设备及存储

权利要求书

1.一种基于梯度调节的多模态情绪分析方法，其特征在于，包括：

将三种情绪模态数据中的第一情绪模态数据当做第一训练集，进行动态梯度训练，确定第一参数；

将三种情绪模态数据中的第二情绪模态数据当做第二训练集，进行动态梯度训练，根据所述第一参数确定第二参数；

将三种情绪模态数据中的第三情绪模态数据当做第三训练集，进行梯度训练，根据所述第二参数确定第三参数，得到训练完成的多模态情绪分析模型。

2.根据权利要求1所述的基于梯度调节的多模态情绪分析方法，其特征在于，动态梯度训练包括：

获取训练集；

将所述训练集采样一个批次作为第一批次；

将所述第一批次在多模态情绪分析模型中前向传播，确定所述第一批次的差异比；

根据所述第一批次的差异比，确定所述第一批次的调节比；

将所述第一批次在多模态情绪分析模型中反向传播，确定梯度；

根据所述调节比与梯度，更新所述多模态情绪分析模型的参数。

3.根据权利要求1所述的基于梯度调节的多模态情绪分析方法，其特征在于，所述方法还包括：

获取同一种情绪的三种时序长度不同模态数据；

对所述三种时序长度不同模态数据分别编码，确定第一情绪模态数据、第二情绪模态数据和第三情绪模态数据。

4.根据权利要求3所述的基于梯度调节的多模态情绪分析方法，其特征在于，所述方法还包括：

对编码后的第一情绪模态数据、第二情绪模态数据和第三情绪模态数据通过平均池化操作进行特征提取。

5.根据权利要求1所述的基于梯度调节的多模态情绪分析方法，其特征在于，所述方法还包括：

采用注意力机制学习各个模态数据预设的关注部分；

对每个模态的数据进行压缩，并与其他模态的信息进行预设信息共享。

6.根据权利要求1所述的基于梯度调节的多模态情绪分析方法，其特征在于，所述第一情绪模态数据为文本数据，第二情绪模态数据为音频数据，第三情绪模态数据为视觉数据。

7.一种基于梯度调节的多模态情绪分析方法，其特征在于，包括：

获取第一情绪模态数据、第二情绪模态数据和第三情绪模态数据；

将所述第一情绪模态数据、第二情绪模态数据和第三情绪模态数据输入预先训练好的多模态情绪分析模型，输出情绪分析结果，其中，所述多模态情绪分析模型是将三种情绪模态数据分别进行动态梯度调节训练得到的。

8.一种基于梯度调节的多模态情绪分析装置，其特征在于，包括：

第一梯度训练模块，用于将三种情绪模态数据中的第一情绪模态数据当做第一训练集，进行动态梯度训练，确定第一参数；

第二梯度训练模块，用于将三种情绪模态数据中的第二情绪模态数据当做第二训练集，进行动态梯度训练，根据所述第一参数确定第二参数；

第三梯度训练模块，用于将三种情绪模态数据中的第三情绪模态数据当做第三训练集，进行梯度训练，根据所述第二参数确定第三参数，得到训练完成的多模态情绪分析模型。

9.一种基于梯度调节的多模态情绪分析装置，其特征在于，包括：

数据获取模块，用于获取第一情绪模态数据、第二情绪模态数据和第三情绪模态数据；

多模态情绪分析模块，用于将所述第一情绪模态数据、第二情绪模态数据和第三情绪模态数据输入预先训练好的多模态情绪分析模型，输出情绪分析结果，其中，所述多模态情绪分析模型是将三种情绪模态数据分别进行动态梯度调节训练得到的。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述基于梯度调节的多模态情绪分析方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的基于梯度调节的多模态情绪分析方法。