[发明专利]一种多模态信息融合的短视频情感判定装置及方法

说明书

本发明公开了一种多模态信息融合的短视频情感判定方法、装置及存储介质。采用获取程序获取短视频，从所述短视频中分离出音视频，提取语音特征和文字特征，利用基于多注意力模型的融合交互信息的长短时记忆网络对上述特征进行编解码处理，得到短视频的情感分类特征向量，使用分类器进行情感分类，响应于用户的短视频展示和/或屏蔽请求，向用户展示与其查询请求相符的短视频。本发明一方面能够准确提取短视频中蕴含的有效信息，另一方面对这些独立的特征信息进行融合处理，可进一步挖掘其相互之间的内在关系，并能最终提高短视频的情感分类准确度。

技术领域

本发明涉及短视频内容理解和短视频情感分类领域，特别涉及一种基于多模态信息融合的短视频情感判定方法、装置及计算机存储介质。

背景技术

随着短视频平台的越来越流行，对短视频内容的监管一直是未解决的难题，有些短视频的内容并不适合未成年人观看，例如带有暴力和色情内容的视频。为了未成年人的健康成长，建立一个良好的网络环境是非常必要的。人们迫切希望可以利用计算机对规模急剧增长的短视频信息加以自动理解，准确识别不同视频的情感内容是建立一个良好的网络环境的基础。如何准确识别不同短视频的情感内容对很多研究者来说是个重要且具有挑战性的话题。目前的这些方法从视频特征及分类模型等不同方面展开了对视频情感分类和识别的研究。

短视频信息通常包括语音、文字、图像背景、颜色、人脸标签、姿势等多种特征数据，但已有的视频情感识别方法只采用图像或语音特征等单一特征，导致视频的情感特征判别性不明显，从而影响了视频分类和识别的准确率。同时，即使采用了短视频中的多种特征，现有技术中也并未给出很好的特征融合算法，都是采用某种规则或模型对最后获得的短视频情感特征数据进行一次简单的融合操作，因此如何更加精准的挖掘短视频中的有效信息，以及如何实现多种信息的有效融合以提高短视频情感的分类准确性，这是本领域中迫切需要解决的技术问题。

发明内容

有鉴于此，本发明提供了一种多模态信息融合的短视频情感判定方法，一方面能够准确提取短视频中蕴含的有效信息，另一方面对这些独立的特征信息进行融合处理，可进一步挖掘其相互之间的内在关系，并将其作为短视频情感的分类特征，提高短视频的情感分类准确度。

本发明提供一种多模态信息融合的短视频情感判定方法，包括如下步骤：

步骤1：接收用户发送的短视频获取请求，以消息队列请求的方式向短视频平台或者短视频网络存储数据库发送短视频获取请求，并接收获取结果；

步骤2：从所述短视频中分离出短视频的多帧图像、该短视频中的音频信息以及该短视频的视频标题信息；

步骤3：针对上述的提取的音频文件，提取其中的语音特征；

步骤4：对视频图像帧使用YOLOV3进行文字检测，使用CRNN结合CTC-loss进行文字识别；

步骤5：提取并识别视频标题中的文字信息，将视频帧的文字识别结果和视频标题的识别结果作为文字信息，并利用自然语言处理将文字信息转换为文本词向量空间表示；

步骤6：利用基于多注意力模型的融合交互信息的长短时记忆网络对上述语音特征和文本词向量空间进行编解码处理，输出短视频的情感分类特征向量；

步骤7：使用分类器对上述情感分类特征向量进行情感分类，得到该短视频的情感判定结果；

步骤8：将上述情感判定结果作为短视频的情感类型标签与该短视频对应保存到数据库中；

步骤9：接收用户的短视频展示和/或屏蔽请求，向用户展示与其查询请求相符的短视频；其中，用户的请求中包括用户设定的短视频情感类型。

本发明还提供了一种多模态信息融合的短视频情感判定装置，所述装置包括：获取模块、音视频分离模块、音频特征提取模块、图像文字检测模块、文字特征提取模块、特征融合模块、情感分类模块、情感判定结果存储模块、查询模块；