[发明专利]视频场景分割方法、装置、设备及计算机可读存储介质

权利要求书

1.一种视频场景分割方法，其特征在于，包括：

对待处理视频进行抽帧，得到视频帧集合；并对所述视频帧集合中的每个视频帧进行特征提取，得到所述每个视频帧对应的特征向量；

基于所述特征向量，构造帧间相似度矩阵；所述帧间相似度矩阵表征视频帧之间的相似程度；

基于所述帧间相似度矩阵进行场景变化预测，从所述视频帧集合中确定出场景分割帧；

基于所述场景分割帧对所述待处理视频进行场景分割，得到场景分割结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述视频帧集合中的每个视频帧进行特征提取，得到所述每个视频帧对应的特征向量，包括：

对所述每个视频帧进行至少一种方式的特征提取，得到所述每个视频帧对应的至少一个单特征；

对所述至少一个单特征进行特征融合，得到所述每个视频帧对应的特征向量。

3.根据权利要求2所述的方法，其特征在于，所述对所述至少一个单特征进行特征融合，得到所述每个视频帧对应的特征向量，包括：

将至少一个单特征映射到统一的特征维度，得到至少一个映射单特征；

对至少一个映射单特征进行特征拼接与平均池化处理，得到平均特征；

根据所述平均特征，基于注意力机制计算所述至少一个映射单特征中每个映射单特征对应的融合权重；

根据所述每个映射单特征对应的融合权重，对所述至少一个映射单特征进行加权与拼接，得到所述特征向量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述特征向量，构造帧间相似度矩阵，包括：

分别计算所述每个视频帧与所述视频帧集合中全部视频帧的特征向量之间的距离，得到所述每个视频帧对应的至少一个特征距离；

根据所述每个视频帧对应的至少一个特征距离，构造得到特征距离矩阵；

对所述特征距离矩阵进行归一化处理，得到所述帧间相似度矩阵。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述帧间相似度矩阵进行场景变化预测，从所述视频帧集合中确定出场景分割帧，包括：

利用场景分割检测网络，对所述帧间相似度矩阵进行卷积处理与分类预测，得到所述每个视频帧对应的场景分割概率；

根据所述场景分割概率，确定出所述场景分割帧。

6.根据权利要求5所述的方法，其特征在于，所述场景分割检测网络包括:分类模块与至少两个卷积模块；所述利用场景分割检测网络，对所述帧间相似度矩阵进行卷积处理与分类预测，得到所述每个视频帧对应的场景分割概率，包括：

通过所述至少两个卷积模块，对所述帧间相似度矩阵进行多层卷积处理，得到帧嵌入向量；

通过所述分类模块，基于所述帧嵌入向量进行分类预测，得到所述每个视频帧对应的场景分割概率。

7.根据权利要求6所述的方法，其特征在于，所述至少两个卷积模块包括：第一卷积模块与至少一个第二卷积模块，所述第一卷积模块对应的特征维度高于所述第二卷积模块对应的特征维度；所述通过所述至少两个卷积模块，对所述帧间相似度矩阵进行多层卷积处理，得到帧嵌入向量，包括：

通过所述第一卷积模块，对所述帧间相似度矩阵进行卷积处理，得到所述帧间相似度矩阵中每个矩阵元素对应的多维特征向量，从而得到第一特征矩阵；

对所述第一特征矩阵进行维度变换，得到第二特征矩阵；

通过所述至少一个第二卷积模块，对所述第二特征矩阵进行卷积处理，得到所述帧嵌入向量。