[发明专利]一种用语义分割辅助物体检测的方法

摘要

本发明涉及一种用语义分割辅助物体检测的方法，包括下列步骤：选取主干网络并设定参数：语义分割和物体检测共用主干网络；设计空间信息反馈模块：将语义分割分支后两个模块Block4’，Block5’输出特征与物体检测分支Block4，Block5的输出特征融合，语义分割分支输出特征反馈至物体检测分支，增强物体检测的特征；设计全局注意力机制模块。基于选取的主干网络和设计的空间信息反馈模块和全局注意力机制模块设计语义分割辅助物体检测的结构。

主权项

1.一种用语义分割辅助物体检测的方法，包括下列步骤：(1)选取主干网络并设定参数：语义分割和物体检测共用主干网络，主干网络通常包含5个block块，物体检测和语义分割分支完全共用前3个block，包括Block1，Block2，Block3模块，特征分辨率依次降低1/2，降至1/8；后2个模块Block4，Block5根据任务需求，两个分支设置不同的膨胀率和下采样参数：语义分割分支膨胀率大于1，不进行下采样，最终特征分辨率保持在输入的1/8；物体检测分支膨胀率为1，继续下采样，最终特征分辨率是输入的1/32。(2)设计空间信息反馈模块：将语义分割分支后两个模块Block4’，Block5’输出特征与物体检测分支Block4，Block5的输出特征融合，语义分割分支输出特征反馈至物体检测分支，增强物体检测的特征；Block4’，Block5’和Block4，Block5在卷积网络中的深度相同，融合更彻底；先对Block4’，Block5’进行下采样，下采样倍数一次为2和4，然后将下采样过后的特征再分别与Block4，Block5的输出特征融合，采用逐元素相加的操作。(3)设计全局注意力机制模块：将语义分割分支的特征使用全局池化操作，利用1×1卷积操作压缩信息，sigmoid的函数激活，接着利用1×1卷积操作恢复通道数，最终产生逐通道注意力，即1×1×C的矢量，与用于物体检测的特征逐通道相乘，对其微调，抑制噪声，对物体产生更强的响应。(4)基于选取的主干网络和设计的空间信息反馈模块和全局注意力机制模块设计语义分割辅助物体检测的结构：该网络包含平行的两支，一支负责物体检测，另一支进行语义分割，并且共用主干网络。由于语义分割后端的特征保留丰富的空间信息和语义信息，利用设计的空间信息反馈模块和全局注意力机制模块，将语义分割的特征与物体检测特征融合，加强物体检测特征，加强后的特征输入至后续的网络，产生检测结果。(5)确定网络训练、测试所用的数据集，训练策略，对设计的网络进行训练，训练得到最后的检测模型。