[发明专利]基于多模态融合机制的视频语义表征方法、系统及介质

说明书

本公开公开了基于多模态融合机制的视频语义表征方法、系统及介质，特征提取：提取视频自身的视觉特征、语音特征、运动特征、文本特征和领域特征；特征融合：将提取的视觉、语音、运动、文本特征和领域特征，通过构建的多层次的隐含狄利克雷分布主题模型进行特征融合；特征映射：将融合后的特征映射到一个高层语义空间，得到融合后的特征表示序列。模型利用主题模型在语义分析领域的独特优势，在其基础上提出的模型所训练获得的视频表征方式在语义空间具有较理想的区分性。

技术领域

本公开涉及基于多模态融合机制的视频语义表征方法、系统及介质。

背景技术

随着网络时代数据量呈爆炸式增长，加速了媒体大数据时代的到来。其中，视频作为多媒体信息的重要载体，与人们的生活息息相关。海量数据的演化不仅要求对数据的处理方式产生极大的变革，同时也对视频的存储、处理和应用带来很大的挑战。一个亟需解决的问题是如何对数据进行有效的组织和管理。随着数据源源不断地产生，由于硬件条件的限制，使得数据只能被分段或分时进行存储，这不可避免地会造成不同程度的信息缺失。因此为视频提供一种简洁高效的数据表征方法，对视频分析和提高数据管理效率是有意义的。

视频数据具有如下特点：1)在数据形式上，视频数据具有多模复杂的结构，它是一种未完全结构化的数据流。每个视频都是由一系列的图像帧沿时间轴分布的流式结构，在时空多维空间上表现出视觉和运动等多种特性，同时在时间跨度上又融入了音频特性。其表现力强、信息量大，所蕴含的内容具有丰富性、海量性、非结构化等特征。视频中蕴含的这种多模特性给视频表征带来了巨大挑战；2)在内容构成上，视频又具有很强的逻辑性。它是由一系列的逻辑单元组成，蕴含丰富的语义信息，通过连续的若干帧就可以刻画出发生在特定时空环境下的事件，来表达特定的语义内容。视频内容的多样性以及对视频内容理解的差异性和模糊性，使得对表征视频数据的特征提取变得困难，进而使得基于语义信息的视频理解更具挑战性。

传统的数据表征方法，如基于视觉的视频特征学习方法，可以得到视频的简洁表征，然而要想合理构建良好的特征，需要一定的经验和专业领域特征。深度学习方法的运用使视觉任务取得显著进展，但仍存在“语义鸿沟”和“多模异构鸿沟”等问题。目前，通过采用多模态融合技术建立对视频的有效表征，是跨越“多模异构”鸿沟的有效途径。理解视频，最自然的方式就是基于视频中的多模态信息，利用人思维中的高层概念将视频的内容表达出来，这也是跨越“语义鸿沟”的最佳途径。然而，对于特定领域的视频分析，需要综合运用相应的领域特征和现有的多模融合技术挖掘有效的表征模式来完成特定的任务。尽管计算机技术不断发展，如何让计算机准确地理解视频中的语义概念仍是个难题。

发明内容

为了解决现有技术的不足，本公开提供了基于多模态融合机制的视频语义表征方法、系统及介质，它是一个可扩展的通用表征模型，在模型训练和整体优化过程中，不仅对于单模态信息的个数是可扩展的，而且可将任意类型的视频所蕴含的领域特征融入到模型中。模型充分考虑了各模态之间的关系，并将多模态交互过程融入到对整个模型的联合训练和整体优化过程中。模型利用主题模型在语义分析领域的独特优势，在其基础上提出的模型所训练获得的视频表征方式在语义空间具有较理想的区分性。

为了解决上述技术问题，本公开采用如下技术方案：

作为本公开的第一方面，提供了基于多模态融合机制的视频语义表征方法；

基于多模态融合机制的视频语义表征方法，包括：

特征提取：提取视频自身的视觉特征、语音特征、运动特征、文本特征和领域特征；

特征融合：将提取的视觉、语音、运动、文本特征和领域特征，通过构建的多层次的隐含狄利克雷分布主题模型进行特征融合；

特征映射：将融合后的特征映射到一个高层语义空间，得到融合后的特征表示序列。

作为一些可能的实现方式，提取视频的视觉特征的具体步骤为：