[发明专利]一种特征融合系数可学习的图像语义分割方法

权利要求书

1.一种特征融合系数可学习的图像语义分割方法，其特征在于，该方法包括以下步骤：

步骤(1)：在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；

步骤(2)：将深度卷积神经网络分类模型中的全连接层类型转为卷积层类型，得到全卷积深度神经网络模型，进行像素级别的类别预测；

步骤(3)：将步骤(2)全连接层转化为卷积层的位置的常规卷积转化为扩张卷积，并添加扩张卷积分支，然后在全卷积深度神经网络末端进行特征融合；

步骤(4)：给每一个分支设置一个系数，特征融合层按照系数比重进行融合，将此系数设置为可学习的状态；

步骤(5)：将步骤(4)修改后得到的全卷积深度神经网络，在图像语义分割数据集上进行微调训练，同时进行系数学习，得到语义分割模型；

步骤(6)：经过步骤(1)至(5)得到一组包含2至10个融合系数的组合，由步骤(3)中经过1至20组多尺度分支组合，再经微调训练和融合系数学习，可得到1至20组融合系数；

步骤(7)：在每组中选出系数最大的那个分支，进行最终组合，再次微调训练和系数学习，得到最终的语义分割模型。

2.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤(2)中全连接层类型转为卷积层类型的具体方法为：

a.将全连接层的内积操作类型修改为卷积操作类型；

b.全连接层是将所有的输入元素与全连接层的权值进行内积操作，映射为一维的向量；

c.卷积层则是对输入的元素进行卷积处理，得到的结果是二维的特征图。

3.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤(3)中将常规卷积转化为扩张卷积操作的具体方法为：

常规卷积处理，是取相邻的元素进行卷积，

而扩张卷积取的元素之间有间隔；

当输入为一维向量x(i)时，卷积输出为y(i)，w(s)为核大小为s卷积核，d为扩张系数，扩张卷积的操作定义如下公式所示：

4.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤(4)具体操作方法为：

I.在全连接层转化为卷积层的位置，并列的添加不同扩张系数的扩张卷积层；

II.将这些不同扩张系数的卷积层的特征按融合系数，进行融合；

III.融合操作是特征图对应位置乘以融合系数后相加。

5.根据权利要求1所述的图像语义分割方法，其特征在于，所述步骤(5)中微调训练和特征系数学习的具体方法为：

i.基于分类网络构建语义分割模型的过程中，分类网络训练好的参数用来对语义分割模型相应参数初始化；

ii.在语义分割数据集上进行端到端的微调训练；在训练的过程中，融合系数同时得到更新和学习；

其中，融合系数的学习算法如下：

L(*)为全卷积神经网络的损失函数，表示如下：

LossFunction：L(w，x，y，Y)(2)

其中，w是网络的权值参数，x为网络的输入，y为预测输出，Y是标签；

不同尺度的特征融合方程如下公式所示：

其中，f_k(*)是第k层的处理函数，w_k为该层的权值，x_k为该层的输入，a_k为该层对应的融合系数，a_k更新时，计算梯度的方法如下：

G为计算融合系数梯度时，用于临时表示的梯度矩阵；公式(4)结合公式(3)，推导出公式(5)，通过梯度矩阵所有元素求和，就得到了融合系数更新时所需的梯度，g_ij为梯度矩阵第(i,j)位置的元素，同时，给融合系数添加一个约束项：

融合系数学习时，更新规则如下：

v_i+1:＝η*v_i-μ*α*(a_k)_i-α*(Δa_k)_i (8)

(a_k)_i+1：＝(a_k)_i+v_i+1 (9)

其中，i是迭代次数，η是冲量参数，α是学习率，μ是权重衰减参数。