[发明专利]一种多模态信息融合的短视频情感判定装置及方法

权利要求书

1.一种多模态信息融合的短视频情感判定装置，其特征在于，所述装置包括：获取模块、音视频分离模块、音频特征提取模块、图像文字检测模块、文字特征提取模块、特征融合模块、情感分类模块、情感判定结果存储模块、查询模块；

所述获取模块，具体用于接收用户发送的短视频获取请求，采用获取程序以消息队列请求的方式向短视频平台或者短视频网络存储数据库发送短视频获取请求，并接收获取结果；

所述音视频分离模块，具体用于从所述短视频中分离出短视频的多帧图像、该短视频中的音频信息以及该短视频的视频标题；

所述音频特征提取模块，具体用于针对提取的音频文件，提取其中的语音特征；

所述图像文字检测模块，具体用于对视频图像帧使用YOLOV3进行文字检测，使用CRNN结合CTC-loss进行文字识别；

所述文字特征提取模块，具体用于提取和识别短视频的视频标题中的文字信息，将视频帧的文字识别结果和视频标题的识别结果作为文字信息，并利用自然语言处理将文字信息转换为文本词向量空间表示；

所述特征融合模块，具体用于利用基于多注意力模型的融合交互信息的长短时记忆网络对上述语音特征和文本词向量空间进行编解码处理，输出短视频的情感分类特征向量，具体包括：将提取的特征表示为具有时间维度的序列，其中为在时刻t的输入特征，为输入的模态m的数据维度；

构建基于混合交互信息的长短时记忆网络，额外存储多模态数据之间的交互信息，包括：对于给定的第m个模态的输入数据，将交互信息编码Z_t传达到每个上述记忆网络中，以便每个记忆网络利用该交互信息编码Z_t来获取多模态信息之间的相关性；

其中，

其中，W、U、V均为权重矩阵，i_t、f_t、O_t、c_t、分别表示t时刻输入门、遗忘门、输出门、记忆单元和压缩输入的状态，tanh()表示双曲正切函数；

利用多注意力模型网络获取多个交互信息Z_t；步骤6.3具体包括如下步骤：

设定在时刻t有K个交互信息，利用多注意力模型将h_t的结果作为输入，该多注意力模型的输出为K个注意力交互系数的集合，其中，该多注意力模型利用softmax函数分布概率获取K个注意力交互系数k≤K，且

将h_t利用broadcast机制进行维度扩充匹配，保持与上述注意力交互系数维度一致，并且分别与上述系数进行元素点乘，获取K维的交互信息h_t；

将上述交互信息的结果划分为m个片段，每个片段对应于一个模态；

对划分结果利用深度神经网络进行数据降维，获取每个模态下的稠密结果；其中，每个模态最终映射到相同的向量空间；

将上述稠密结果进行拼接融合，并利用深度神经网络进行编码处理，获取t时刻的交互信息Z_t；

所述情感分类模块，具体用于使用分类器对上述情感分类特征向量进行情感分类，得到该短视频的情感判定结果；

所述情感判定结果存储模块，具体用于将上述情感判定结果作为短视频的情感类型与该短视频对应保存到数据库中；

所述查询模块，具体用于接收用户的短视频展示和/或屏蔽请求，向用户展示与其查询请求相符的短视频；其中，用户的请求中包括用户设定的短视频情感类型。