[发明专利]基于多源显著性和时空榜样适配的弱监督视频目标分割方法

说明书

本发明公开了一种基于多源显著性和时空榜样适配的弱监督视频目标分割方法，属于特征学习和视频目标分割技术领域。该方法首先提取当前视频帧的空间显著性掩码和时间显著性掩码。训练多源显著融合网络对两者进行融合，得到时空显著掩码。随后计算时空契合度并将其进行排序；选择前N个时空契合度结果对应的视频帧作为时空榜样信息。将时空显著掩码作为分割目标伪标签，时空榜样结果作为适配目标，协同优化分割损失和时空榜样适配损失训练目标分割网络。本发明以学习的方法有效融合时空显著性先验知识，通过榜样适配机制提供可靠指导信息，使神经网络学习到相同类别视频中的一致性目标特征，在弱监督视频目标分割任务上取得了更加优秀的效果。

技术领域

本发明涉及深度学习领域和弱监督视频目标分割领域，尤其是涉及到弱监督视频目标分割中的特征表达方法，该方法能够在视频目标分割数据集上得到更加准确的分割结果。

背景技术

随着多媒体监控技术的发展，视频已经成为重要的多媒体信息载体。如何从海量的视频中提取有意义的信息，从而完成动态目标分析和场景解析，已经成为计算机视觉领域的研究热点之一。其中，能够提取视频对应的出色特征表达能够一定程度上帮助计算机对输入场景进行更合理的分析和理解。现有视频目标分割任务给各行各业带来便利的同时，也带来了一定的挑战。由于目前视频数据正在数以万亿级别增长，使用精细标记训练视频目标分割网络会消耗大量资源与时间。例如利用弱标签进行训练完成视频目标分割任务，从而应用于视频监控、场景解析。缺乏精细标签指导的弱监督视频目标分割在过去一些年在相关领域取得了广泛的研究和长足的进展。大量公司和研究机构纷纷投身于该研究方向中，这也意味着该任务已经成为了研究的主流。弱监督视频目标分割任务具有很高的应用价值，在视频监控方面可以帮助筛选显著运动目标；园区巡逻方面可以进行安全监控；在自动驾驶方面可以辅助驾驶。

人类视觉注意力能够被动地被自顶向下的信息所吸引，在视频中该自顶向下信息通常由感知共性目标所指导。与此同时，人类视觉注意力也能够主动的被自底向上的信息所吸引，在视频中该自底向上信息由视差和明显的运动信息所指导。启发于认知心理学，大脑皮层会自动选择相关的刺激信息而过滤不相关的信息。

弱监督视频目标分割旨在只有类别标签的情况下，确认视频序列中存在目标并得到其对应的分割掩码。该任务是视频任务中最为基础也是最为重要的任务之一。该任务遇到最大的挑战在于解决视频任务中出现的遮挡问题，背景杂乱问题以及外观差异性问题。本方法主要解决在仅有类别标签的指导下，进行弱监督视频分割任务。一些相关工作提出使用双路神经网络提取时空信息的方法，将双路网络的输入得分进行加权从而得到最终分割结果。但是上述双路模型在此应用中是分别进行训练的，这导致当空间显著性和时间显著性出现冲突时候模型不能做出正确判断。除此以外，缺少自顶向下的指导会导致当一帧的前景与另一帧的背景特征极为相似的情况下模型不能做出正确判断。其次，一些相关工作提出基于模版匹配的方法解决视频分割问题。虽然模版匹配的方法通过重识别或几种不同的特征匹配的方法解决视频目标分割问题，但是这些方法都需要精细标注为模版的指导才能完成该任务。

基于以上分析，两种对于真实场景的观测驱动了本方法的提出：1)每个源头数据的先验知识都是有选择性有用的。时间和空间数据能够对视频目标分割提供有价值的先验知识。但是直接简单融合时间先验当目标内部区域出现不规则运动时会彰显其其不足之处。2)主要的感兴趣目标会贯穿出现在整个视频序列中。该贯穿视频序列中的共性信息对于模型完成目标分割具有指导意义。因此，本方法所提出的模型启发于生物感受周围环境的感知能力。

发明内容