[发明专利]选择性像素亲和学习的弱监督语义图像分割方法

权利要求书

1.一种选择性像素亲和学习的弱监督语义图像分割方法，其特征在于，利用亲和关系图，权值图与联合置信度图，在权值图与联合置信度图的共同监督下有选择地训练AffinityNet神经网络，学习并预测像素间亲和性，通过预测的像素亲和性得到带类别标签图像的伪掩码；该方法的步骤包括如下：

(1)生成类别激活图：

(1a)选取至少10000张带有类别标签的自然图像组成基础训练集，其中每张图像的类别标签包含至少一个类别；

(1b)利用特征图生成方法，得到基础训练集中每张图像的特征图；

(1c)利用类别激活图生成方法，得到基础训练集中每张图像的N₁个激活图，其中，N₁的取值与D的取值对应相等，D表示基础训练集中所有图像的类别标签中包含的不同类别的总数；

(2)生成联合置信度图：

(2a)利用下述种子图生成方法，得到基础训练集中每张图像的种子图：

第一步，利用下式，计算每张特征图中位于(x₁,y₁)处像素点的特征向量种子值，其中，f(x₁,y₁)表示该张特征图中位于(x₁,y₁)处所有通道特征值组成的特征向量：

其中，表示第p张特征图中位于(x₁,y₁)处像素点的特征向量的种子值，表示第p张特征图中位于(x₁,y₁)处像素点的特征向量的所有激活值中的最大值，κ表示第p张特征图中位于(x₁,y₁)处像素点的特征向量的所有激活值中最大激活值对应的编号，μ的取值与D的取值对应相等；

第二步，将每张特征图中所有位置的特征向量的种子值组成该张特征图的大小为W_P×H_P的种子图；

第三步，利用条件随机场修正每张特征图的种子图；

(2b)利用亲和关系图生成方法，得到基础训练集中每张图像的共S₁个前景关系图、S₂个背景关系图和S₃个边界关系图，其中，S₁，S₂，S₃均等于152；

所述亲和关系图生成方法的步骤如下：

第一步，为每张特征图构建S₁个值全为0的大小为W_P×H_P的前景关系图，将每张种子图中每个位于(x₃,y₃)处像素点值依次与除该像素点之外其8邻域内所有像素点值进行比较，如果两个像素点值相同且都不等于0或μ+1，则将该张特征图的第m个同类前景关系图中位于(x₃,y₃)处像素点值由0设置为1；

第二步，为每张特征图构建S₂个值全为0的大小为W_P×H_P的边界关系图，将每张种子图中每个位于(x₃,y₃)处像素点值依次与除该像素点之外其8邻域内所有像素点值进行比较，如果两个像素点值不同且都不等于μ+1，则将该张特征图的第n个边界关系图中位于(x₃,y₃)处像素点值由0设置为1；

第三步，为每张特征图构建S₃一个值全为0的大小为W_P×H_P的背景关系图，将每张种子图中每个位于(x₃,y₃)处像素点值依次与除该像素点之外其8邻域内所有像素点值进行比较，如果两个像素点值都等于0，则将该张特征图的第o个背景关系图中位于(x₃,y₃)处像素点值由0设置为1；

(2c)按照下式，计算每张种子图中每个像素点值与8邻域内除该像素点值之外其余每个像素点值的联合置信度：

其中，表示第i张种子图中位于(x₃,y₃)处像素点值与8邻域内除该像素点值之外第j个像素点值的联合置信度，j＝1,2,...,R，R表示每张种子图中位于(x₃,y₃)处像素点的8邻域内除该像素点之外其余所有像素点的总数，表示基础训练集中第r张图像的第c个激活图中位于(x₂,y₂)处像素点8邻域内除该像素点之外第k个位于(x₂,'y₂')处像素点值，(x₂,y₂)的取值与(x₃,y₃)的取值对应相等，k的取值与j的取值对应相等，c的取值与的取值对应相等，表示第i张种子图中位于(x₃',y₃')处像素点值，(x₃',y₃')的取值与(x₂,'y₂')的取值对应相等，r的取值与i的取值对应相等，步骤(2b)中的m、n、o的取值均与j的取值对应相等；

(2d)将基础训练集中每张图像的种子图中所有联合置信度组成该张图像的共S₄个大小为W_P×H_P的联合置信度图，其中，S₄等于152；

(3)生成权值图：

(3a)按照下式，计算基础训练集中每张图像的前景权值图：

其中，表示第p张特征图中位于(x₁,y₁)处像素点的前景权值，表示基础训练集中第r张图像的第u个前景关系图中位于(x₄,y₄)处像素点值，(x₁,y₁)与(x₄,y₄)的取值对应相等，r的取值与p的取值对应相等；

(3b)按照下式，计算每张特征图的边界权值图：

其中，表示第p张特征图中位于(x₁,y₁)处像素点的边界权值，表示基础训练集中第r张图像的第w个边界关系图中位于(x₅,y₅)处像素点值，(x₁,y₁)与(x₅,y₅)的取值对应相等，r的取值与p的取值对应相等；

(4)在权值图与联合置信度图的共同监督下有选择地训练AffinityNet神经网络，学习像素间亲和性：

(4a)将基础训练集中的所有图像每批8张分批输入到AffinityNet神经网络中，输出每张图像的有B_q个通道的大小为W_P×H_P的特征图；

(4b)将每张特征图中每个像素点的所有通道值组成该像素点的特征向量；

(4c)按照下式，计算每个像素点与其8邻域内除该像素点之外两两像素点中间特征向量的亲和性：

其中，表示第q张特征图中第d个像素点与其8邻域内除该像素点之外的第e个像素点中间特征向量的亲和性，g^q(d)表示第q张特征图的第d个像素点的特征向量，表示第q张特征图中第d个像素点8邻域内除该像素点之外的第e个像素点的特征向量；

(4d)将每张特征图中所有两两特征向量的亲和性组成该张特征图的N₅个亲和性图，N₅的取值与D的取值对应相等；

(4e)设定网络的损失函数为：L＝L_bg+L_fg+2×L_neg，L表示网络的损失函数，L_bg表示背景损失函数，L_fg表示前景损失函数，L_neg表示边界损失函数；

(4f)利用随机梯度下降法,迭代更新网络的参数直至网络的损失函数收敛时为止，得到训练好的用于生成亲和矩阵的网络；

(5)预测基础训练集中每张图像中像素间亲和性：

将基础训练集中的每张图像依次输入到训练好的用于生成亲和矩阵的网络中，通过网络预测每张图像中像素间亲和性，输出每张图像的亲和矩阵；

(6)生成基础训练集中每张图像的伪掩码：

将基础训练集中的每张图像依次输入到训练好的用于生成亲和矩阵的网络中，输出每张图像的亲和矩阵，利用该亲和矩阵，在每张激活图中执行随机游走，得到基础训练集中每张图像的伪掩码；

(7)训练用于生成掩码的网络：

将基础训练集中的所有图像每批8张分批输入到DeeplabV2网络中，输出每张图像的掩码，计算每张掩码与其对应的伪掩码的交叉熵损失函数值，利用随机梯度下降法迭代更新网络的参数直至交叉熵损失函数收敛时为止，得到训练好的用于生成弱监督语义图像分割掩码的网络；

(8)对待分割图像的弱监督语义进行分割：

将待分割图像输入到训练好的用于生成弱监督语义图像分割掩码的网络中，输出该张图像的弱监督语义图像分割掩码。