[发明专利]一种基于图结构神经网络的语义分割方法及装置

权利要求书

1.一种基于图结构神经网络的语义分割方法，其特征在于，该方法包括以下步骤：

(1)获取待分割的图像，输入残差网络进行特征提取；并将提取的特征图通过卷积网络生出初步分割结果；

(2)将初步分割结果输入若干个依次连接的类语义增强网络逐步细化分割结果，所述类语义增强网络包括类语义增强模块和融合物体先验信息的全卷积网络层；所述类语义增强模块将上一个类语义增强网络的生成的特征图及分割结果作为输入，输出新特征图和联合概率密度矩阵到融合物体先验信息的全卷积网络层中，进而输出分割结果；

(3)将最后一个类语义增强网络细化后的分割结果恢复为输入图像的原始分辨率，并取置信度最高的类别作为每个像素的最终类别，得到语义分割后的图像。

2.根据权利要求1所述的一种基于图结构神经网络的语义分割方法，其特征在于，所述类语义增强网络中的类语义增强模块将上一类语义增强网络的特征图和分割结果转换成矩阵后相乘，得到物体-通道关系矩阵，利用k个可学习参数对关系矩阵进行线性映射，并对映射后的每维向量两两计算余弦相似度，形成k个邻接矩阵A^k(k＝1，2，3)，A^k中的元素A_i，j的值能够表征特征图通道i和通道j间的相关程度，其值越大，两通道关联性越紧密；利用图神经网络在关联紧密的维度上交互、聚合类语义信息，生成联合概率密度矩阵；关系矩阵和联合概率密度矩阵逐元素相乘后再与分割结果转换的矩阵相乘得到重建后的特征图，与上一个类语义增强网络的生成的特征图融合后，输出融合后的特征图。

3.根据权利要求2所述的一种基于图结构神经网络的语义分割方法，其特征在于，生成联合概率密度矩阵的具体过程如下：定义为P∈R^C*N，其中R^C*N为C*N维实向量空间，其数学表达式如下：

P＝σ(||A^kRψ^k)

其中ψ^k∈R^N*N是第k个图结构的可学习参数矩阵；σ表示sigmoid函数；矩阵P中的元素P_ij表示特征图第i个维度上的特征图F_i中涉及标签编号为j的物体的概率。

4.根据权利要求1所述的一种基于图结构神经网络的语义分割方法，其特征在于，融合物体先验信息的全卷积网络层对特征图和联合概率密度矩阵具体处理过程如下：

其中为精分割结果，C为特征图通道数，p_ji为上述联合概率密度矩阵P中第j行第i列的元素，w_ij为可学习卷积核W中第i行第j列的元素，f_j为特征图的第i个通道，b_i为第i个可学习偏置项。

5.根据权利要求1所述的一种基于图结构神经网络的语义分割方法，其特征在于，类语义增强网络使用交叉熵函数分别计算类语义增强模块和融合物体先验信息的全卷积网络层的损失，最终损失通过对上述两个损失加权求和得到，并通过指数衰减因子控制两个损失在最终损失中的所占比例。

6.根据权利要求1所述的一种基于图结构神经网络的语义分割方法，其特征在于，细化后的分割结果恢复为输入图像的原始分辨率的过程通过双线性插值实现。

7.一种装置，其特征在于，所述装置包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-6中任一项所述的方法。

8.一种计算机可读的存储介质，用于存储一个或多个计算机程序，所述一个或多个计算机程序包括程序代码，当所述计算机程序在计算机上运行时，所述程序代码用于执行上述权利要求1-6任一项所述的基于图结构神经网络的语义分割方法。