[发明专利]一种基于卷积神经网络的视频语义场景分割方法

摘要

本发明公开了一种基于卷积神经网络的视频语义场景分割方法，主要分为两个部分，一部分是在镜头分割的基础上构建卷积神经网络，再利用构造好的卷积神经网络得到视频关键帧的语义特征向量；另一部分是根据语义特征向量，利用前后关键帧的时间连续性，计算两个镜头关键帧之间的语义特征向量的巴氏距离，通过衡量巴氏距离得到镜头关键帧的语义相似度。利用卷积神经网络输出不同语义的概率估计值作为该帧的语义特征向量。考虑到连续时间内场景划分的时序问题，结合两个镜头关键帧的语义特征以及镜头间的时序特征距离，比较镜头相似度，从而得到最后的场景分割结果。本发明方法具有一定的普适性，在训练集足够的情况下，有着较好的场景分割效果。

主权项

一种基于卷积神经网络的视频语义场景分割方法，其特征在于，包括：对待分割视频进行镜头分割得到分割后的镜头，取每个镜头的中间帧作为镜头关键帧；取待分割视频中的部分视频帧作为网络训练样本集，取镜头关键帧作为测试样本集，并对网络训练样本集中的图像以及测试样本集中的图像进行缩小；基于缩小后的网络训练样本集以及缩小后的测试样本集对卷积神经网络进行训练，输出每个镜头关键帧的语义特征向量；利用每个镜头关键帧的语义特征向量以及镜头时序特征，计算镜头之间的距离，然后逐一比较镜头之间的距离，将镜头距离小于预设阈值的镜头作为同一镜头簇，最后将每个镜头簇的末尾镜头的最后一帧作为场景边界，由此完成场景分割。