[发明专利]一种基于大数据记忆存储的轻量型视频对象分割方法

说明书

本发明公开了一种基于大数据记忆存储的轻量型视频对象分割方法，所述方法将视频首帧的图像和真实标签作为记忆编码器的输入，编码得到键和值映射对，并对初始化记忆库；将查询帧的图像作为查询编码器的输入，编码得到键和值映射对，将所述键和值映射对通过核记忆搜索器，对记忆库进行搜索；将核记忆搜索的输出与查询帧的值拼接作为解码器的输入，并为查询帧重建掩码；将查询帧的图像和所述掩码输入变化感知器以计算帧间的差异，自适应地激活对变化帧的记忆库更新。本方法能使网络模型轻量化，并通过局部匹配来缓解相似目标对象的干扰，从而实现高精度、高速度的视频对象分割。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于大数据记忆存储的轻量型视频对象分割方法。

背景技术

视频对象分割是计算机视觉中的一项基本任务，在图像视觉内容分析与理解方面起着重要作用。视频对象分割可以更好地帮助理解视频，有助于完成交互式视频编辑、自动驾驶和机器人导航等任务。视频对象分割是指在视频帧序列中将前景对象与背景分离的过程。目前该领域内已有许多方法解决这种二元分割问题，这些方法可以分为无监督方法和监督方法。前者不需要人工介入，直接输入视频数据；后者则要求人为提供视频首帧的标签数据来进行初始化。虽然人为提供了额外的目标信息，但由于目标物体运动过程中可能出现失真、遮挡和相似物体的干扰，仍然具有挑战性。本发明专利属于半监督视频对象分割技术。

早期的一些方法大都依赖对人为提供的数据进行各种数据增强策略，并利用这些生成的数据在线微调深度神经网络模型来学习目标物体的外观。尽管这些方法具有较高的预测精度和对遮挡的鲁棒性，但在线微调过程需要巨大的时间开销和计算成本，故而其推理过程缓慢，这在很大程度上限制了它们在实际场景中的应用。

最近的方法使用基于匹配的模型来解决上述限制，其基本思想是通过在当前帧和过去帧之间进行全局匹配来获得其目标对象的关联性。它们中的大多数只使用第一帧和前一帧，或统一采样的关键帧。基于时空记忆的方法使用保存在内存中的过去帧和相应的分割结果来指导当前帧的目标掩码预测，这可以有效的处理物体遮挡和漂移。然而，目前这类方法有两个问题：

（1）它们定期对过去的帧进行采样并将其添加到内存中。当视频帧的数量增加时，不加区分的采样可能会错过一些关键帧；也就是说，包含增量物体信息的动态帧会得到较少的关注，或者没有物体变化的静态帧会被反复添加到内存中，导致内存冗余。

（2）视频中要分割的目标对象通常只在场景中的某个地方出现。然而，这些方法使用全局对全局的匹配，即在没有目标对象的区域记忆和匹配特征，这会导致相似物体的误匹配和高计算复杂性。

发明内容

本发明为了解决上述问题，提出了一种基于大数据记忆存储的轻量型视频对象分割方法，所述视频对象分割方法可以缓解相似目标对象的干扰问题，从而实现高精度、高速度的视频对象分割。

本发明公开的一种基于大数据记忆存储的轻量型视频对象分割方法，具体包括：

给定一个带有第一帧注释掩码的测试视频，该视频后序帧中的目标对象的分割过程如下：

将视频首帧的图像和真实标签通过记忆编码器得到键和值映射对，所述键和值映射对用来初始化记忆库，查询帧的图像通过查询编码器得到键和值映射对；

将所述键和值映射对通过核记忆搜索器，对记忆库进行搜索，首先，计算查询帧和记忆帧之间的相似度，得到最匹配的查询位置，其次，以所述最匹配的查询位置为中心计算二维高斯核，最后，使用所述二维高斯核，在局部检索所述记忆库中的值，将检索结果作为核记忆搜索器的输出；

将所述核记忆搜索器的输出与查询帧的值拼接作为解码器的输入，并为查询帧重建掩码，得到预测掩码；

将查询帧的图像和所述预测掩码输入变化感知器以计算帧间的差异，自适应地激活对变化帧的记忆库更新，并忽略静态帧。

进一步的，本发明中的所述变化感知器为：