[发明专利]基于深度学习的视频总结方法、装置及终端设备

摘要

一种基于强化学习和深度学习的视频总结和概要方法，包括：将目标视频分段，得到多个视频段落；分别对每个视频段落的各个视频帧提取特征向量；针对每个视频段落，将视频帧的特征向量作为输入投入预训练好的深度神经网络，得到输出的每一帧对应的概率值；针对每个视频段落，根据视频段落所有视频帧对应的概率值计算视频段落的重要性值；在保证选取出的视频段落总时长占目标视频总时长的比例小于或等于预设比例阈值的前提下，从多个视频段落中选取重要性值较大的若干个视频段落；对选取出的视频段落进行整理，得到视频总结；定义关于视频总结代表性和多样性的奖励函数，并利用强化学习方法，实现基于非监督和监督数据的深度网络训练。

主权项

1.一种基于深度学习的视频总结方法，其特征在于，包括：将目标视频分段，得到多个视频段落；采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率；针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。