[发明专利]基于深度学习的视频总结方法、装置及终端设备

说明书

一种基于强化学习和深度学习的视频总结和概要方法，包括：将目标视频分段，得到多个视频段落；分别对每个视频段落的各个视频帧提取特征向量；针对每个视频段落，将视频帧的特征向量作为输入投入预训练好的深度神经网络，得到输出的每一帧对应的概率值；针对每个视频段落，根据视频段落所有视频帧对应的概率值计算视频段落的重要性值；在保证选取出的视频段落总时长占目标视频总时长的比例小于或等于预设比例阈值的前提下，从多个视频段落中选取重要性值较大的若干个视频段落；对选取出的视频段落进行整理，得到视频总结；定义关于视频总结代表性和多样性的奖励函数，并利用强化学习方法，实现基于非监督和监督数据的深度网络训练。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的视频总结方法、装置及终端设备。

背景技术

在现如今网络发达的时代，视频网站上的网络视频层出不穷，同时视频往往时间跨度比较长，给用户的快速浏览造成了一定的障碍，这是因为用户无法在有限的时间内完整浏览大量的网络视频。为了方便用户在观看完整视频之前短时间内了解视频的大概内容，寻找一种对视频快速实现视频总结的方法成为本领域技术人员的重要研究课题。

发明内容

本发明实施例提供了一种基于深度学习的视频总结方法、装置及终端设备，能够实现对视频的快速总结，极大方便用户在观看完整视频之前短时间内了解视频的大概内容。

第一方面，提供了一种基于深度学习的视频总结方法，包括：

将目标视频分段，得到多个视频段落；

采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；

针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率；

针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；

在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；

对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。

可选地，所述深度神经网络通过以下步骤进行预先训练：

采用预训练好的深度卷积网络模型对用于训练的样本视频的各个视频帧提取特征向量；

将所述样本视频所有视频帧对应的特征向量作为输入投入所述深度神经网络，得到输出的所述样本视频每一帧对应的概率值；

基于输出的概率值，采用伯努利分布对所述样本视频的视频帧进行采样，得到采样的行为值；

根据所述采样的行为值将选中的视频帧提取并整理得到所述样本视频的视频总结；

采用预设的奖励函数对所述样本视频的视频总结进行质量评估，得到评估的奖励值，其中，奖励值越大，则代表所述样本视频的视频总结质量越高；

根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求。

可选地，所述奖励函数R表示为：

R＝R_div+R_rep；

所述R_div和R_rep分别为多样性评估函数和代表性评估函数，多样性评估函数R_div表示为：