[发明专利]一种基于多尺度特征选择性融合的指代分割方法

说明书

本发明公开了一种基于多尺度特征选择性融合的指代分割方法，考虑到在指代分割的实际应用中，多模态特征之间的难对齐、难充分交互以及背景特征难抑制的问题没有得到有效解决，造成定位不准和模型精度降低的问题，本发明设计了基于文本引导的融合模块，对解码器的浅层到深层进行多尺度特征选择，初步选择出符合文本内容的特征，通过二次选择机制进一步筛选出只包含目标的视觉特征，并且在此基础上我们设计了注意力对比损失函数，它可以有效地抑制背景特征，提高模型精度，通过后处理分割模块，根据图像分割特性，使用不同的采样率对模型进行全局建模，分割得到最终结果，通过基准数据集的验证，本发明能够较大程度提高分割精度。

技术领域

本发明涉及基于深度学习的端到端指代分割领域，具体涉及一种基于多尺度特征选择性融合的指代分割方法。

背景技术

近些年来，指代分割(Referring Image Segmentation)引起了学术界的极大兴趣并被广泛研究。指代分割的定义是：给定一个图像和一个符合图像情景的文本表达式，将文本所指代的实例目标从图像中分割出来。与传统图像分割不同，指代分割是结合了文本表达式的图像分割，是一种多模态任务。由于多模态数据更符合人类感知世界的方式，因此该任务在现实生活中更具有广泛的工程意义。比如机器人感知与控制领域，人类通过跟机器对话，机器人根据对话的文本信息和对应的视觉图像信息，分割并抓取对应的目标对象，完成人机交互的闭环。还有图像抠图领域，通过一段文字或者语音的形式就可以很方便快速的完成对应目标抠图。

以往的研究方法都是利用卷积神经网络CNN和循环神经网络RNN分别提取出视觉特征和文本特征，然后将这两种特征在通道上进行拼接，紧接着设计一个融合模块提取多模态特征，最后再送入分割模块进行分割，得到目标的分割结果。这些方法都取得了显著的效果，但是有两个主要问题没有得到有效解决。

首先，视觉特征和文本特征是两种不同的表征形式，在融合两种模态数据的时候，需要考虑模态之间的对齐问题，让文本中对应的单词与图像中对应的目标视觉特征进行对齐，才能保证分割效果的准确性。而多模态特征的难对齐问题在之前的方法中一直没有得到有效解决，这个问题会使得视觉特征和文本特征之间交互不充分，导致模型定位不准，准确性降低。其次，由于文本的表达方式具有高度随机性，不同的人表达同一种意思的语言有着很大的差别。而文本中可能会包含与目标不相关的单词，按照之前方法的处理方式，并不能有效抑制掉这些不相关的特征，这些特征会被视作前景分割到结果当中去，使得结果不准确。

发明内容

为了解决现有技术中，多模态特征之间的难对齐、难充分交互以及背景特征难抑制造成定位不准和模型精度降低的问题，本发明的目的在于提供一种基于多尺度特征选择性融合的指代分割方法，旨在较大程度提高分割精度。

根据本发明的第一方面，提供一种基于多尺度特征选择性融合的指代分割方法，其特征在于，分割模型包括DarkNet53主干网络(Redmon J,Farhadi A.YOLOv3:AnIncremental Improvement[J].arXiv e-prints,2018)、双向GRU(双向循环神经网络GateRecurrent Unit)、基于语言主导的特征选择性跳转模块、二次选择模块、图像后处理分割模块。方法包括：

步骤10：视觉特征提取，对于给定的RGB图像，先进行裁剪缩放，通过DarkNet53的编码器得到三种不同尺度的视觉特征F_v1、F_v2、F_v3。

步骤20：文本特征提取，对于给定的文本，先对进行分词并转换成向量的形式，然后使用双向GRU提取初步文本特征，最后基于文本注意力机制根据各个单词的重要性进行加权求和，得到文本特征F_l。