[发明专利]多模态情感分析方法、装置及电子设备

权利要求书

1.一种多模态情感分析方法，其特征在于，包括步骤：

获取待分析视频数据中的图像数据，对所述图像数据进行特征提取，得到图像特征；

获取所述待分析视频数据中的文本数据，对所述文本数据进行特征提取，得到文本特征；

获取所述待分析视频数据中的语音数据，对所述语音数据进行特征提取，得到语音特征；

根据所述文本特征对所述图像特征进行特征增强，得到图像增强特征；

根据所述文本特征对所述语音特征进行特征增强，得到语音增强特征；

对所述图像增强特征和所述文本特征进行跨模态注意力交互，得到图文交互特征；

对所述语音增强特征和所述文本特征进行跨模态注意力交互，得到音文交互特征；

对所述图像特征进行基于多头自注意力机制的特征提取，得到图像自注意力特征；

对所述文本特征进行基于多头自注意力机制的特征提取，得到文本自注意力特征；

对所述语音特征进行基于多头自注意力机制的特征提取，得到语音自注意力特征；

将所述文本自注意力特征、所述图像自注意力特征、所述语音自注意力特征、所述图文交互特征和所述音文交互特征进行融合，得到多模态视频特征；

对所述多模态视频特征进行情感分类预测，得到情感分类结果。

2.根据权利要求1所述的方法，其特征在于，根据所述文本特征对所述图像特征进行特征增强，得到图像增强特征，包括步骤：

对所述文本特征进行第一自注意力编码，得到第一文本编码向量；

将所述第一文本编码向量与所述图像特征进行多膜态注意力解码，得到图像增强特征。

3.根据权利要求1所述的方法，其特征在于，根据所述文本特征对所述语音特征进行特征增强，得到语音增强特征，包括步骤：

对所述文本特征进行第二自注意力编码，得到第二文本编码向量；

将所述第二文本编码向量与语音特征进行多膜态注意力解码，得到语音增强特征。

4.根据权利要求2所述的方法，其特征在于：通过N个以链式结构连接的第一编码器对所述文本特征进行第二自注意力编码，所述第一编码器用于将所述文本特征或前一第一编码器的输出数据分别作为查询Q、键K和值V进行多头注意力计算，并将计算结果与所述文本特征或前一第一编码器的输出数据进行残差连接并归一化，得到第一多头注意力；对所述第一多头注意力进行前馈神经网络处理，并将处理结果与所述第一多头注意力进行残差连接并归一化，得到所述第一编码器的输出数据；

通过N个以链式结构连接的图文解码器将所述第一文本编码向量与所述图像特征进行多膜态注意力解码，所述图文解码器用于将所述第一文本编码向量分别作为查询Q和键K，将所述图像特征或前一图文解码器的输出数据作为值V进行多头注意力计算，并将计算结果与所述图像特征或前一图文解码器的输出数据进行残差连接并归一化，得到图文多头注意力；对所述图文多头注意力进行前馈神经网络处理，并将处理结果与所述图文多头注意力进行残差连接并归一化，得到所述图文编码器的输出数据。

5.根据权利要求3所述的方法，其特征在于：通过N个以链式结构连接的第二编码器对所述文本特征进行第一自注意力编码，所述第二编码器用于将所述文本特征或前一第二编码器的输出数据分别作为查询Q、键K和值V进行多头注意力计算，并将计算结果与所述文本特征或前一第二编码器的输出数据进行残差连接并归一化，得到第二多头注意力；对所述第二多头注意力进行前馈神经网络处理，并将处理结果与所述第二多头注意力进行残差连接并归一化，得到所述第二编码器的输出数据；

通过N个以链式结构连接的音文解码器将所述第二文本编码向量与语音特征进行多膜态注意力解码，所述音文解码器用于将所述第二文本编码向量分别作为查询Q和键K，将所述语音特征或前一音文解码器的输出数据作为值V进行多头注意力计算，并将计算结果与所述语音特征或所述前一音文解码器的输出数据进行残差连接并归一化，得到音文多头注意力；对所述音文多头注意力进行前馈神经网络处理，并将处理结果与所述音文多头注意力进行残差连接并归一化，得到所述音文编码器的输出数据。