[发明专利]一种基于级联多尺度视觉Transformer的图像语义分割方法

权利要求书

1.一种基于级联多尺度视觉Transformer的图像语义分割方法，其特征在于所述图像分割方法包括以下步骤：

步骤一、将维度为H*W*3的原始图像切分为一系列的Patch块，起始的Patch尺寸为原图H和W的1/4，并将每个Patch块拉伸为一维向量N*C，其中N=H*W；

步骤二、利用带Padding的位置编码操作对每个向量进行位置编码，利用卷积核为K，步长S和填充P的卷积操作将特征图进行编码；

步骤三、将每个维度为N*C的一维向量作为token输入到Transformer模块中，该模块包含了层归一化、多头自注意力模块以及前馈神经网络，在进行层归一化后会划分为三个子tocken，分别为query、key和value；三个向量在矩阵操作之后会重新得到N*C的一维向量并输入到前馈神经网络中，前馈神经网络包含两个多层感知机，多次重复步骤三直到网络收敛，可以学习到更多的上下文语义信息；

步骤四、利用带有重叠padding的编码模块将N*C的向量变换至图像的三维尺寸Hi*Wi*C，基于池化的特征提取，将图像下采样至1/2大小作为下一阶段的输入，图像尺寸变换为Hi/2*Wi/2*C；

步骤五、采用Transformer的上采样模块作为解码部分，将编码阶段的输出特征图上采样后和前一阶段的特征图利用像素点位置相加实现信息聚合，将新的特征图输入到Transformer模块中；

步骤六、当特征图上采样至原图的1/4大小时，采用卷积操作将通道数变换为类别数，最后采用双线性插值算法将图像上采样至原图大小。

2.根据权利要求1所述的一种基于级联多尺度视觉Transformer的图像语义分割方法，其特征在于，在步骤二中，K=7，S=4，P=3。

3.根据权利要求1所述的一种基于级联多尺度视觉Transformer的图像语义分割方法，其特征在于，所述步骤三中包含以下步骤：

步骤三一、在多头自注意力模块中，三个输入的初始一维向量分别为key、query、value，三个向量的计算方法为：

其中Wj为权重参数，用于控制学习自注意力的上下文信息能力，dhead是压缩乡里向量前的通道维度；

步骤三二、用于前馈神经网络的特征计算，该计算方法为：

其中k为输入特征图，t为衰减的权重参数，h为带有全连接层的多层感知机；

其中x为输入特征图，Gelu和tanh分别为激活函数。

4.根据权利要求1所述的一种基于级联多尺度视觉Transformer的图像语义分割方法，其特征在于，在步骤三中，四个阶段的重复次数分别为3,8,27,3次。

5.根据权利要求1所述的一种基于级联多尺度视觉Transformer的图像语义分割方法，其特征在于，在步骤四中，计算图像下采样尺寸，该计算方法为：

其中Q、R为在x轴待插值像素点的坐标，x为横向像素点的坐标值；

其中P、R为在y轴待插值像素点的坐标，y为纵向像素点的坐标值。