[发明专利]一种多模态信息融合的短视频情感判定装置及方法

摘要

本发明公开了一种多模态信息融合的短视频情感判定方法、装置及存储介质。采用获取程序获取短视频，从所述短视频中分离出音视频，提取语音特征和文字特征，利用基于多注意力模型的融合交互信息的长短时记忆网络对上述特征进行编解码处理，得到短视频的情感分类特征向量，使用分类器进行情感分类，响应于用户的短视频展示和/或屏蔽请求，向用户展示与其查询请求相符的短视频。本发明一方面能够准确提取短视频中蕴含的有效信息，另一方面对这些独立的特征信息进行融合处理，可进一步挖掘其相互之间的内在关系，并能最终提高短视频的情感分类准确度。