[发明专利]结合显著区域检测的场景分类方法、系统、设备及介质

说明书

本发明公开了一种结合显著区域检测的场景分类方法、系统、设备及介质，场景分类方法包括：短视频图像处理步骤：对短视频图像进行抽帧提取获得多个视频帧，根据多个所述视频帧获得具有对应多个视频帧的多个图片信息的图像数据集；非显著区域获取步骤：通过显著区域检测对每一图片信息的显著区域和非显著区域进行识别并对非显著区域进行增强处理；分类识别步骤：通过resnet‑32网络结构对每一所述图片信息的非显著区域进行分类识别获得每一图片信息的图像场景概率；图像概率处理步骤：根据每一图片信息的图像场景概率计算获得短视频图像的每一场景类别的场景概率。通过本发明能够提高短视频图像的识别准确率及分类性能。

技术领域

本发明涉及视频处理技术领域，特别涉及一种结合显著区域检测的场 景分类方法、系统、设备及介质。

背景技术

随着科学技术的飞速发展，通讯技术得到了飞速的发展，目前的通讯 技术已经发展到了第五代通信---5G。5G技术的飞速发展带来了互联网信息 传播的新途径—短视频。短视频已经成为了目前社会生活下传播信息最丰 富，最快捷，最受欢迎的途径。在这种丰富的月活人数下，各种短视频平 台的数据量急剧上升，如何能够更好的使用丰富的短视频，并提取出有用 的信息，进行数据分析也成为了一个新的技术课题。

与正常的场景分类不同，短视频场景分类主要面临两个问题需要进行 解决：

一是与图像不同，一副图像中只会描述一种场景。如图1中，这幅图 像就只是描述了室内的场景。而对于短视频而言，由于其是一个较长时间 的故事，因此场景会发生切换。如图2所示。其场景由室内切换至室外， 因此对于一个短视频内的场景要尽可能的将所有的场景都识别到。；

二是与普通的场景识别不同，短视频场景下，周围环境信息的内容较 为稀少，大部分均是人物占据主要区域，因此如何在少量信息下进行准确 的场景识别也是一个非常大的挑战。如图3所示，人物占据主要区域，室 内场景只在图像的右上和左上区域。

基于以上问题现有技术大都采取以下方案：

1、基于视频级的3D卷积场景分类方法

目前，最为广泛C3D是Facebook的一个工作，它主要是把2D Convolution 扩展到3D。我们知道2D的卷积操作是将卷积核在输入图像或特征图(feature map)上进行滑窗，得到下一层的特征图。例如，在一个单通道的图像上做卷 积或在一个多通道的图像上做卷积(这里的多通道图像可以指同一张图片的3 个颜色通道，也指多张堆叠在一起的帧，即一小段视频)，最终的输出都是一 张二维的特征图，也就是说，多通道的信息被完全压缩了。而在3D卷积中， 为了保留时序的信息，对卷积核进行了调整，增加了一维时域深度。3D卷积的输出仍是一个三维的特征图。因此通过3D卷积，C3D可以直接处理视频，同 时利用表观特征和时序特征。但这种方法的缺点是：基于视频的方法，只能给 出这个视频的主题场景，一般会忽略掉短视频中出现时长较为短暂的其他场景， 导致其结果不满足要求。

2、基于图像级的抽帧采样场景分类方法

本技术方法是对于整个短视频先进行帧的提取操作，在提取帧的基础 上使用基于图像的场景分类方法进行分类操作。直接利用现有成熟的网络 架构如ResNet就可以实现图像涉及场所的识别。在对于所有的图像进行识 别后，对于最终的识别结果进行聚合，这样出现频次较高的场景会有相对 较高的结果，出现频次较低的场景会有相对而言较低的结果，但是会包含 所有出现过的场景。但这种方法的缺点是：但由于图像级的条件下，图像 中的主体被人物所遮挡因此识别的准确率可能不高。

因此亟需开发一种克服上述缺陷的结合显著区域检测的场景分类方法、 系统、设备及介质。

发明内容

针对上述问题，本申请实施例提供了一种结合显著区域检测的场景分 类方法、系统、设备及介质，以至少解决提高识别的准确率及分类性能的 问题。