[发明专利]视频精彩片段检测方法、装置、设备与存储介质

说明书

本发明公开了一种视频精彩片段检测方法、装置、设备与存储介质，属于视频处理技术领域。本发明通过获取待检测视频片段，并将待检测视频片段的帧数据提取出来，将其输入视频精彩片段检测模型，通过经常视频片段检测模型实现待检测视频片段精彩分数的预测，并根据精彩分数，以实现目标精彩片段的检测。视频精彩片段预测模型包含了两个相互约束的深度模型：成对噪声模型和三元组精彩程度模型，将这两个模型融入到视频精彩片段检测任务中，能够提高精彩片段检测的准确率。

技术领域

本发明涉及计算机技术领域，尤其涉及视频精彩片段检测方法、装置、设备与存储介质。

背景技术

近年来，伴随着互联网带宽的不断扩大与数字信息存储成本的下降，海量的视频被不断地生成、发布、传播与存储，规模如此巨大的视频数据对视频内容分析技术提出了更高的要求。作为一项基础的视频内容分析技术，视频精彩片段检测技术近年来获得了广泛的研究。视频精彩片段检测的目的是在未编辑的完整视频中找到用户最关注或最感兴趣的视频片段。

然而，大多数现有的视频精彩片段检测方法都严重依赖人工标注的数据，而这些数据的获取成本非常高，这就阻碍了现有检测方法在大规模数据集以及未标注视频类别数据上的可扩展性。

发明内容

本发明的主要目的在于提供一种视频精彩片段检测方法、装置、设备与计算机可读存储介质，旨在解决现有检测方法依赖大量人工标注的数据的问题。

为实现上述目的，本发明提供一种视频精彩片段检测方法，所述视频精彩片段检测方法包括以下步骤：

获取待检测视频片段；

提取所述待检测视频片段的帧数据；

将所述帧数据输入视频精彩片段检测模型预测所述待检测视频片段的精彩分数，所述视频精彩片段检测模型包括两个互相约束的深度模型；

根据所述精彩分数，确定目标精彩片段。

优选地，所述将所述帧数据输入视频精彩片段检测模型预测所述待检测视频片段的精彩分数的步骤之前还包括：

获取网络图片，所述网络图片为视频精彩片段检测模型的训练数据；

基于所述网络图片，训练得到所述视频精彩片段检测模型。

优选地，所述视频精彩片段检测模型包括成对噪声模型和三元组精彩程度模型，所述基于所述网络图片，训练得到所述视频精彩片段检测模型的步骤包括：

基于所述成对噪声模型和所述三元组精彩程度模型，得到所述网络图片的结果噪声分数和结果精彩分数；

基于所述结果噪声分数，分离所述网络图片中的噪声图片；

基于所述分离噪声图片后的网络图片训练得到所述视频精彩片段检测模型。

优选地，所述训练成对噪声模型和三元组精彩程度模型，并基于所述成对噪声模型和所述三元组精彩程度模型，得到所述网络图片的结果噪声分数的步骤包括：

将所述网络图片输入噪声分类器，得到每一张网络图片对应的初始隐形噪声标签，所述初始隐形噪声标签用于标注网络图片是噪声图片还是精彩图片；

根据所述初始隐形噪声标签，将所述网络图片分为相关网络图片和噪声网络图片，并获取所述初始隐性噪声标签对应的初始噪声分数；

将精彩视频帧、非精彩视频帧和所述网络图片输入所述三元组精彩程度模型，得到所述网络图片的初始精彩分数；

将所述初始精彩分数和所述初始噪声分数输入第一公式，得到修正噪声分数；

将所述修正噪声分数、相关网络图片和噪声网络图片输入成对噪声模型训练得到所述网络图片的结果噪声分数。