[发明专利]一种基于运动信息协助的视频摘要生成方法

摘要

本发明公开了一种基于运动信息协助的视频摘要生成方法，用于自动地从视频中挑选最重要的片段，从而提升视频浏览效率。所提方法首先根据输入视频获取外观帧序列和运动帧序列，并采用神经网络模型分别提取外观特征和运动特征，然后根据镜头分割算法检测视觉变化点，得到子镜头集合，接着利用构建的视频摘要生成模型预测镜头级重要性得分，最后根据预测得分生成动态视频摘要。所提方法在使用静态的外观信息的基础上进一步引入了运动信息，通过实现有效的单模态特征编码以及跨模态特征交互提升了对视频内容的理解能力。在SumMe和TVSum两个基准数据集上的实验结果充分证明了所提方法的有效性和先进性。