[发明专利]视频精彩片段检测方法、装置、设备与存储介质

权利要求书

1.一种视频精彩片段检测方法，其特征在于，所述视频精彩片段检测方法包括以下步骤：

获取待检测视频片段；

提取所述待检测视频片段的帧数据；

将所述帧数据输入视频精彩片段检测模型预测所述待检测视频片段的精彩分数，所述视频精彩片段检测模型包括两个互相约束的深度模型；

根据所述精彩分数，确定目标精彩片段。

2.如权利要求1所述的视频精彩片段检测方法，其特征在于，所述将所述帧数据输入视频精彩片段检测模型预测所述待检测视频片段的精彩分数的步骤之前还包括：

获取网络图片，所述网络图片为视频精彩片段检测模型的训练数据；

基于所述网络图片，训练得到所述视频精彩片段检测模型。

3.如权利要求1所述的视频精彩片段检测方法，其特征在于，所述视频精彩片段检测模型包括成对噪声模型和三元组精彩程度模型，所述基于所述网络图片，训练得到所述视频精彩片段检测模型的步骤包括：

基于所述成对噪声模型和所述三元组精彩程度模型，得到所述网络图片的结果噪声分数和结果精彩分数；

基于所述结果噪声分数，分离所述网络图片中的噪声图片；

基于所述分离噪声图片后的网络图片训练得到所述视频精彩片段检测模型。

4.如权利要求3所述的视频精彩片段检测方法，其特征在于，所述基于所述成对噪声模型和所述三元组精彩程度模型，得到所述网络图片的结果噪声分数的步骤包括：

将所述网络图片输入噪声分类器，得到每一张网络图片对应的初始隐形噪声标签，所述初始隐形噪声标签用于标注网络图片是噪声图片还是精彩图片；

根据所述初始隐形噪声标签，将所述网络图片分为相关网络图片和噪声网络图片，并获取所述初始隐性噪声标签对应的初始噪声分数；

将精彩视频帧、非精彩视频帧和所述网络图片输入所述三元组精彩程度模型，得到所述网络图片的初始精彩分数；

将所述初始精彩分数和所述初始噪声分数输入第一公式，得到修正噪声分数；

将所述修正噪声分数、相关网络图片和噪声网络图片输入成对噪声模型训练得到所述网络图片的结果噪声分数。

5.如权利要求3所述的视频精彩片段检测方法，其特征在于，所述基于所述成对噪声模型和所述三元组精彩程度模型，得到所述网络图片的结果精彩分数的步骤包括：

给定所述修正噪声分数，并获取初始精彩分数、精彩片段集合、非精彩片段集合和网络图片集合；

通过所述三元组精彩程度模型获得所述网络图片调整后的结果精彩分数。

6.如权利要求5所述的视频精彩片段检测方法，其特征在于，所述通过所述三元组精彩程度模型获得所述网络图片调整后的结果精彩分数的步骤之后，所述方法还包括：

固定所述三元组精彩程度模型的第一模型参数不变，根据成对深度排序交叉熵铰链损失函数来训练成对噪声模型并更新所述第一模型参数；

固定所述成对噪声模型的第二模型参数不变，根据三元组排序交叉熵铰链损失函数来训练三元组精彩程度模型并更新所述第二模型参数，所述三元组排序交叉熵铰链损失函数包括差额项和排序约束项，所述差额项用于约束精彩片段或网络图片的精彩分数与非精彩片段的精彩分数的差值，所述排序约束项用于约束精彩片段、非精彩片段以及网络图片对应的精彩分数的大小关系；

迭代训练所述三元组精彩程度模型和所述成对噪声模型，直到所述结果噪声分数、所述结果精彩分数、所述第一模型参数和所述第二模型参数都保持不变为止。

7.如权利要求4所述的视频精彩片段检测方法，其特征在于，所述将精彩视频帧、非精彩视频帧和网络图片输入三元组精彩程度模型的步骤之前，所述方法还包括：

获取精彩片段集合和网络图片的深度学习特征向量、精彩片段集合和网络图片集合，所述精彩片段集合和所述网络图片集合标注有类别标签；

计算所述精彩片段集合与所述网络图片集合之间的域间隙；

从所述网络图片中过滤掉所述域间隙高于阈值的类别的网络图片。