[发明专利]一种基于图结构神经网络的语义分割方法及装置

说明书

本发明公开了一种基于图结构神经网络的语义分割方法及装置。提出了类语义增强模块(CSE)，该模块利用图模型在通道之间创建图结构，并进一步输出“通道”‑“物体”关系矩阵，以重建特征图。此外，基于类语义增强模块创建融合物体先验信息的全卷积网络层，通过粗分割和特征图生成精细分割结果。在上述两个模块的基础上，提出了类语义增强网络(CSENet)，该网络捕获了通道间的相互依赖性和“通道”‑“物体”关系。使用了由粗到精的分割策略，依次堆叠上述CSENet和CPFC层，从而实现对于粗分割结果的逐步优化，最终输出精分割结果作为最终网络输出。经过实验表明，该方法能够有效提升现有语义分割网络性能。

技术领域

本发明涉及深度学习、语义分割等领域，尤其涉及一种基于图结构神经网络的语义分割方法及装置。

背景技术

语义分割是计算机视觉中一项具有挑战性的基本任务，旨在理解和分割场景。在现实世界中，场景中的对象不是独立的，而是相互作用以形成复杂的场景。准确捕捉对象之间的相互依赖关系有助于理解场景语义，从而完成场景中的像素级分割。

自从全卷积网络^[1]出现(Fully convolutional networks，FCN)以来，基于FCN的方法一直是主要的解决方案。最近几项采用多尺度策略的工作成功地利用了对象上下文信息。DeepLab系列方法^[2][3][4]不断探索具有不同空洞率的卷积模块，以扩大感受野并增强对象上下文特征。PSPNet^[5]利用全局平均池来学习全局上下文。作为上述方法的扩展和延伸，一些工作^{[6][7][8][9][10]}通过在多个尺度上聚合特征图，得到了范围更广的语义信息。尽管多尺度方法拓宽了感受野，但其方法使得部分局部信息丢失，且对象之间的相关性被忽略。

基于“关系”的方法近年来表现良好，因为它们不受感受野范围的限制。根据所采用的关系维度，它们可以分为两组。一种是像素关系，用于研究像素之间的相互作用。另一种是区域关系，旨在研究由某些像素组成的特定区域的特性。自适应区域、对象的先验空间分布和通道的每个特征映射是区域的常用定义。对于基于像素关系的方法，DANet^[11]研究了像素之间的相关性，并给出了相似像素的相干特征表示。ACFNet^[12]进一步研究了像素之间的高阶关系，目的是追踪物体间的相互依赖关系。尽管IntersectSSA^[13]提出了一种因式分解的像素级注意以降低计算成本，但在像素之间建立相关性仍然显著增加了模型的复杂性。

尽管基于区域关系的方法可以降低模型的复杂度，但由于图像场景和语义的复杂性和变化性，这些方法的性能在很大程度上取决于区域划分的质量。而自适应区域划分方法由于缺乏关于目标区域的强鉴别信息，因此表现不佳。DANet的注意力模块将通道视为对象的特征表示，并通过通道之间的加权求和来增强每个通道的表示。通道的隐式、不可复制的对象区域特征仍然面临性能差的问题。ACFNet直接使用粗分割作为先验空间分布来增强每个像素的特征。然而，每个通道都从各个方面(局部或全局)描述对象，并且不限于对象的空间分布，这导致不准确的特征优化。

[1].Long J，Shelhamer E，Darrell T.Fully convolutional networks forsemantic segmentation[C]//Proceedings of the IEEE conference on computervision and pattern recognition.2015：3431-3440.