[发明专利]视频分割方法、装置及电子设备

说明书

本公开实施例中提供了一种视频分割方法、装置及电子设备，属于图像处理技术领域，该方法包括：接收待处理的原始视频；将所述原始视频输入预设的视频分割模型；调用所述视频分割模型对所述原始视频进行下采样操作，提取所述原始视频中对应不同尺度的网络特征信息；将所提取的不同尺度的网络特征信息进行融合，将融合后的网络特征信息作为所述原始视频的特征信息输出。通过本公开的方案，实现了不同尺度的下采样操作，既能捕捉大尺度上下文特征信息，又能保留原有分辨率的特征信息，提高了视频分割的效率。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种视频分割方法、装置及电子设备。

背景技术

在现有的图片处理技术领域中，为了从视频中分割和追踪感兴趣的对象，自动分割和跟踪视频中感兴趣的对象技术是非常迫切的。视频对象分割和跟踪是计算机视觉领域的两个基本任务。对象分割将视频帧中的像素划分为前景目标和背景区域的两个子集，并生成对象分割，这是行为识别和视频检索的核心问题。对象跟踪用于确定目标在视频图像中的确切位置用于智能监控，大数据视频分析等的必要步骤。

视频分割分为无监督VOS(Video Object Segmentation)，半监督VOS，交互式VOS，弱监督VOS和基于分段的跟踪方法(Video Object Tracking)。无监督 VOS可以通过自下而上的过程产生连贯的时空区域而无需任何用户输入，即没有任何视频专用标签。而交互VOS使用强监督的交互方法，需要对第一帧进行像素级精确分割，人工配置非常耗时，而且人类需要循环纠错系统。而半监督 VOS介于上面两者之间，这需要手动标记前景对象，然后在剩余帧上自动分割该前景对象。

现有的半监督视频分割过程中，由于目标对象可能存在被遮挡情况或者目标对象较为细小，采用固定尺度的下采样方案导致目标对象的分割效率较差的技术问题。

发明内容

有鉴于此，本公开实施例提供一种视频分割方法、装置及电子设备，至少部分解决现有技术中存在的问题。

第一方面，本公开实施例提供了一种视频分割方法，包括：

接收待处理的原始视频；

将所述原始视频输入预设的视频分割模型；

调用所述视频分割模型对所述原始视频进行下采样操作，提取所述原始视频中对应不同尺度的网络特征信息；

将所提取的不同尺度的网络特征信息进行融合，将融合后的网络特征信息作为所述原始视频的特征信息输出。

根据本公开实施例的一种具体实现方式，所述调用所述视频分割模型中的下采样操作，提取所述原始视频中对应不同尺度的网络特征信息的步骤，包括：

调用所述视频分割模型中的不同尺度的池化窗口以及卷积核；

利用不同尺度的池化窗口分别对所述原始视频进行池化处理；

利用卷积核分别对所述原始视频进行卷积处理。

根据本公开实施例的一种具体实现方式，所述利用不同尺度的池化窗口分别对所述原始视频进行池化处理的步骤，包括：

利用对应所述原始视频的原始尺度的池化窗口对所述原始视频进行池化处理，提取对应所述原始视频的原始尺度的特征信息；

利用对应所述原始视频的倍数尺度的池化窗口对所述原始视频进行池化处理，提取小于所述原始视频的原始尺度的特征信息；

利用对应所述原始视频的整体均值尺度的池化窗口对所述原始视频进行池化处理，提取所述原始视频在全局范围内的上下文特征信息。

根据本公开实施例的一种具体实现方式，所述利用对应所述原始视频的倍数尺度的池化窗口对所述原始视频进行池化处理，提取小于所述原始视频的原始尺度的特征信息的步骤，包括：