[发明专利]基于深度学习的视频总结方法、装置及终端设备

权利要求书

1.一种基于深度学习的视频总结方法，其特征在于，包括：

将目标视频分段，得到多个视频段落；

采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；

针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率；

针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，所述重要性值等于所述视频段落所有视频帧对应的概率值的均值；其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；

在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；

对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。

2.根据权利要求1所述的基于深度学习的视频总结方法，其特征在于，所述深度神经网络通过强化学习方法和以下步骤进行预先训练：

采用预训练好的深度卷积网络模型对用于训练的样本视频的各个视频帧提取特征向量；

将所述样本视频所有视频帧对应的特征向量作为输入投入所述深度神经网络，得到输出的所述样本视频每一帧对应的概率值；

基于输出的概率值，采用伯努利分布对所述样本视频的视频帧进行采样，得到采样的行为值；

根据所述采样的行为值将选中的视频帧提取并整理得到所述样本视频的视频总结；

采用预设的奖励函数对所述样本视频的视频总结进行质量评估，得到评估的奖励值，其中，奖励值越大，则代表所述样本视频的视频总结质量越高；

根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求。

3.根据权利要求2所述的基于深度学习的视频总结方法，其特征在于，所述奖励函数R表示为：

R＝R_div+R_rep；

所述R_div和R_rep分别为多样性评估函数和代表性评估函数，多样性评估函数R_div表示为：

代表性评估函数R_rep表示为：

其中，x_t表示每个视频帧的特征向量，t＝1,2,…,T，T表示视频帧的总长度，Y＝{y₁,y₂,…,|Y|}表示选中的视频帧的位置下标集，非相似度函数d表示为：

4.根据权利要求3所述的基于深度学习的视频总结方法，其特征在于，还包括：

在计算非相似度函数d时，若两视频帧之间相距的长度t超过预设的距离阈值，则直接设置所述两视频帧对应的非相似度函数d的计算结果等于1。

5.根据权利要求2至4中任一项所述的基于深度学习的视频总结方法，其特征在于，所述目标函数J表示为：

J(w)＝E[R]；

其中，w是所述深度神经网络里需要训练的参数，R是所述奖励函数计算出来的奖励值；

根据所述目标函数计算相对于w的梯度值为：

其中，N是所述深度神经网络对训练的样本视频模拟的次数，T表示视频帧的总长度，b是由移动平均的R计算得出的基准线，π_w表示所述深度神经网络，a_t表示由伯努利分布生成的行为值，为0或者1；

所述根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求具体为：

根据所述奖励值采用梯度优化算法对所述深度神经网络进行优化训练，以增大所述目标函数J的值。