[发明专利]基于视觉和语义特征协作与强化学习的视频摘要方法

说明书

本发明提供一种基于视觉和语义特征协作与强化学习的视频摘要方法，包括将视频文件分解成帧序列，按照帧的时间顺序依次使用深度神经网络提取语义特征和视觉显著性特征；经过Bi‑LSTM模型处理预测出各视频帧被选择为关键帧的初始概率；根据视觉显著性特征提取出空间注意力得分，归一化后利用调整因子对Bi‑LSTM模型产生的初始概率进行调制得到调制概率；根据调制概率，确定语义特征与视觉显著性特征均重要的关键帧，实现VSFB模型；将原始视频分为多个独立片段clip，计算选择的关键帧与其他帧之间索引调整的差异性奖励和代表性奖励，依据强化学习奖励机制，动态调整初始概率，加强VSFB模型在视频摘要中的学习，最后得到理想模型，实现从任意待处理视频中的摘要提取。

技术领域

本发明属于视频摘要技术领域，尤其是针对用户的“随手拍”视频，基于视觉和语义特征协作调制与强化学习的无监督视频摘要方法。

背景技术

视频摘要的目的是通过一段简短的剪辑视频来表示原始的视频内容，该技术能够方便视频的预览、存储、检索和管理。自从YouTube、Instagram等自媒体平台快速发展以来，普通用户创建并上传了大量的视频数据。然而，传统的基于人工浏览视频，挑选出关键片段的模式需要耗费大量的人力和时间、效率低下，无法高效及时地处理海量视频。自动视频摘要技术能够自动分析原始视频中的内容，并提炼出关键的片段组成时长更短的视频。便于自媒体平台快速的浏览，存储，检索，传播视频信息，对信息的流通具有重要的意义。

现有的视频摘要方法(文献1，文献2)主要解决特定类别的视频，如监控视频，关注的是在背景不变，或者有额外辅助信息的条件下度量视频帧的关键程度。然而，“随手拍”视频，场景在短时间内频繁变化，大大增加了视频内容的语义信息复杂度，同时干扰信息也更多。因此，传统的方法并不能很好的解决“随手拍”视频的摘要问题。

[1].H.-C.Shih:A novel attention-based key-frame determinationmethod.IEEE Transactions on Broadcasting,vol.59,no.3,pp.556–562(2013)

[2].M.Paul and M.M.Salehin:Spatial and motion saliency predictionmethod using eye tracker data for video summarization.IEEE Transactions onCircuits and Systems for Video Technology,vol.29,no.6,pp.1856–1867(2018)

发明内容

针对现有技术存在的不足，本发明提供了一种基于视觉和语义特征协作调制与强化学习的双向LSTM模型的无监督视频摘要方法。该方法的主要特点是提出将语义信息和视觉信息融合，并以空域关注度模型(SAM)调制双向长短期记忆模型(Bi-LSTM)的形式来细化当前图像被选为关键帧的概率，称为VSFB模型。最后，根据摘要结果计算选中帧和其他帧之间的差异性和代表性，依据强化学习奖励机制，利用一个索引调整的差异性和代表性奖励来调整初始概率，加强VSFB模型在视频摘要中的学习。

本发明提供一种基于视觉和语义特征协作与强化学习的视频摘要方法，包括以下步骤，

步骤1，将视频文件分解成帧序列，按照帧的时间顺序依次使用深度神经网络提取语义特征和视觉显著性特征；

步骤2，语义特征经过Bi-LSTM模型处理预测出各视频帧被选择为关键帧的初始概率；根据视觉显著性特征提取出空间注意力得分，归一化后作为Bi-LSTM模型初始概率的调整因子，利用调整因子对Bi-LSTM模型产生的初始概率进行调制得到调制概率；

步骤3，根据调制概率，确定语义特征与视觉显著性特征均重要的关键帧，实现VSFB模型；