[发明专利]一种基于语义实例分割算法的视频对象分割方法

说明书

技术领域

本发明涉及视频对象分割领域，尤其是涉及了一种基于语义实例分割算法的视频对象分割方法。

背景技术

随着信息技术的发展，多媒体技术日益受到人们的关注。数字视频是尤为重要的一种多媒体数据形式，它有着广泛的应用空间，是电影、电视、电子出版物等媒体信息进行数字化的重要基础。因此，对于视频类的处理技术就显得越来越重要，其中，视频对象分割技术以其广泛的应用受到研究人员的广泛关注。视频对象分割的原理主要是利用运动信息，同时结合其他颜色、纹理、边缘、区域等信息，把前景对象从背景中分离出来。它已经广泛运用于视频编码、视频检索、多媒体操作、图像处理、模式识别、视频压缩编码和视频数据库操作等，还可以用于交通流视频监控、工业自动化监控、安防以及网络多媒体交互等实际生产生活中。然而在原有的技术中，当物体被遮挡或者一些帧在序列中丢失时，分割结果则不理想，所需时间也较长。

本发明提出了一种基于语义实例分割算法的视频对象分割方法，先利用共享基础网络进行特征提取，三个像素分类器产生语义先验的顶级匹配实例，然后利用语义实例分割算法作为输入估计待分割对象的语义，接着使用完全卷积网络的密集标注通常表达为每像素分类问题，最后训练和测试网络，实现视频对象的分割。本发明利用共享基础网络进行特征提取，从而实现视频对象的有效分割，解决了当物体被遮挡或者一些帧在序列中丢失时分割结果不理想的问题，提高了分割效率和分割精度。

发明内容

针对分割结果不理想、所需时间长的问题，本发明的目的在于提供一种基于语义实例分割算法的视频对象分割方法，先利用共享基础网络进行特征提取，三个像素分类器产生语义先验的顶级匹配实例，然后利用语义实例分割算法作为输入估计待分割对象的语义，接着使用完全卷积网络的密集标注通常表达为每像素分类问题，最后训练和测试网络，实现视频对象的分割。

为解决上述问题，本发明提供一种基于语义实例分割算法的视频对象分割方法，其主要内容包括：

(一)利用共享基础网络(VGG)进行特征提取；

(二)语义选择和语义传播；

(三)使用条件分类器集成网络中的层；

(四)训练和推论。

其中，所述的利用共享基础网络(VGG)进行特征提取，共享基础网络(VGG)作为特征提取器，共同学习了三个像素分类器；

第一个分类器，第一轮前景估计，是原始单次视频对象分割开端，它以外观为基础，并产生了第一个前景估计；该分类器的结果和来自外部语义实例分割系统的信息在语义选择和传播步骤中组合，产生语义先验的顶级匹配实例；

条件分类器中的另外两个分类器对公共基本网络和语义先验的特征进行操作，并且彼此依赖：一个对具有前景的像素负责，而另一个用于后台；最后，将两组预测融入最终预测。

其中，所述的语义选择和语义传播，利用语义实例分割算法作为输入来估计待分割对象的语义；选择多任务网络级联或完全卷积实例感知语义分割作为输入实例分割算法，通过多任务网络级联使用最新和更好的完全卷积实例感知语义分割，可以显著提升视频对象分割的效率。

进一步地，所述的任务网络级联和完全卷积实例感知语义分割，任务网络级联和完全卷积实例感知语义分割都是由三个主要组件组成的多阶段网络：共享卷积层、区域提议网络(RPN)和感兴趣区域(ROI)分类器；使用两种算法的可用模型分别进行预先训练；

实例分割算法的输出给定为一组二进制掩码、掩码的类别以及它们作为实际对象的置信度；在最有把握的掩码池中搜索感兴趣的对象，在整个视频中找到一个具有一致语义的掩码子集作为语义先验。

进一步地，所述的实例分割算法，该过程可以分为语义选择和语义传播两个阶段；语义选择发生在第一帧中，根据给定的标定好的真实数据的掩码来选择匹配对象的掩码；实例数量及其类别在整个视频中实现一致性；有两种语义选择可能失败的情况：

(1)感兴趣的对象不是实例分割器语义词汇的一部分；

(2)通过此步骤选择错误的实例；

结果表明，分类器对这种故障很稳定，在这两种情况下仍能保持高质量的输出；因此，用于选择实例的快速贪婪搜索足以保持高性能。

其中，所述的使用条件分类器集成网络中的层，使用完全卷积网络的密集标注通常表达为每像素分类问题；因此，可以理解为在整个图像上滑动的全局分类器，并且根据单片外观模型将前景或背景标签分配给每个像素；将最终分类之前的语义合并，这将作为当前框架中最好的实例(或一组实例)的掩码；