[发明专利]短视频场景分类方法、系统、电子设备及存储介质

说明书

本发明公开了一种短视频场景分类方法、系统、电子设备及存储介质，短视频场景分类方法包括：短视频图像处理步骤：对短视频图像进行抽帧提取获得多个视频帧，根据多个视频帧获得具有对应多个视频帧的多个图片信息的图像数据集；场景分类识别步骤：通过一经度量学习后的识别网络对图像数据集中的多个图片信息进行识别分类获得每一图片信息的图像概率；图像概率处理步骤：根据每一图片信息的图像概率计算获得短视频的每一场景类别的场景概率。本发明在基于图像级的场景分类的基础上，使用了度量学习的思想解决了同一类别特征层面的差距过大的问题，保证了最后的分类效果。

技术领域

本发明涉及视频处理技术领域，特别涉及一种结合度量学习的短视频 场景分类方法、系统、电子设备及存储介质。

背景技术

随着科学技术的飞速发展，通讯技术得到了飞速的发展，目前的通讯 技术已经发展到了第五代通信---5G。5G技术的飞速发展带来了互联网信息 传播的新途径---短视频。短视频已经成为了目前社会生活下传播信息最丰 富，最快捷，最受欢迎的途径。抖音短视频的月活数已经突破了两亿人次。 各种其他的短视频APP也同样有着丰富的人气。如快手，腾讯微视，微信 视频号等也有着非常丰富的月活人数。在这种丰富的月活人数下，各种短视频平台的数据量急剧上升，如何能够更好的使用丰富的短视频，并提取 出有用的信息，进行数据分析也成为了一个新的技术课题。

与正常的场景分类不同，短视频场景分类主要面临两个问题需要进行 解决：

一是与图像不同，一副图像中只会描述一种场景。如图1中，这幅图 像就只是描述了室内的场景。而对于短视频而言，由于其是一个较长时间 的故事，因此场景会发生切换；如图2所示，其场景由室内切换到室外， 因此对于一个短视频内的场景要尽可能的将所有的场景都识别到；

二是与普通的场景识别不同，短视频场景下，周围环境信息的内容较 为稀少，大部分均是人物占据主要区域，如图3，而且同一场景类别下的信 息差异也比较明显，如同样是直播间的场景，但各个图像之间的差异比较 大，在场景信息已经不多的情况下更难以做到对于分类类别的精准，如图4。

基于以上问题现有技术大都采取以下方案：

1、基于视频级的3D卷积场景分类方法

目前，最为广泛C3D是Facebook的一个工作，它主要是把2D Convolution 扩展到3D。我们知道2D的卷积操作是将卷积核在输入图像或特征图(feature map)上进行滑窗，得到下一层的特征图。例如，在一个单通道的图像上做卷 积，或在一个多通道的图像上做卷积(这里的多通道图像可以指同一张图片的 3个颜色通道，也指多张堆叠在一起的帧，即一小段视频)，最终的输出都是 一张二维的特征图，也就是说，多通道的信息被完全压缩了。而在3D卷积中， 为了保留时序的信息，对卷积核进行了调整，增加了一维时域深度。3D卷积的 输出仍是一个三维的特征图。因此通过3D卷积，C3D可以直接处理视频，同 时利用表观特征和时序特征。但这种方法的缺点是：基于视频的方法，只能给 出这个视频的主题场景，一般会忽略掉短视频中出现时长较为短暂的其他场景， 导致其结果不满足要求。

2、基于图像级的抽帧采样场景分类方法

本技术方法是对于整个短视频先进行帧的提取操作，在提取帧的基础 上使用基于图像的场景分类方法进行分类操作。直接利用现有成熟的网络 架构如ResNet就可以实现图像涉及场所的识别。在对于所有的图像进行识 别后，对于最终的识别结果进行聚合，这样出现频次较高的场景会有相对 较高的结果，出现频次较低的场景会有相对而言较低的结果，但是会包含 所有出现过的场景。但这种方法的缺点是：但由于图像级的条件下，图像 中的主体被人物所遮挡导致周围环境信息较少再加上类别内图像差异较大， 因此识别的准确率可能不高。

因此亟需开发一种克服上述缺陷的结合度量学习的短视频场景分类方 法、系统、电子设备及存储介质。

发明内容