[发明专利]基于transformer的上采样方法

权利要求书

1.基于transformer的上采样方法，其特征在于，包括如下步骤：

步骤S1、提取特征：将待分割图像输入深度神经网络编码器提取特征，得到特征图像其中H^l，W^l，C^l分别表示第l层下采样特征图的高、宽及通道数；

步骤S2、获得用于上采样的键序列和值序列S21、将特征图像进行下采样处理，得到低分辨率特征图S22、对低分辨率特征图进行令牌化处理，将每一个像素映射为一个令牌，以获得该像素的高维表征；S23、再将高维表征展平得到用于上采样的键序列和值序列

其中，s_c为卷积算子，·为令牌化操作，C′为输出特征的通道数，即令牌的维度，代表层归一化操作，F代表展平操作；

步骤S3、获得用于上采样的查询序列将步骤S2提取的特征进行令牌化处理，由此得到用于上采样的查询序列

其中，为卷积算子，·为令牌化操作，代表层归一化操作；

步骤S4、获得注意力系数矩阵α_l：将步骤S3得到的查询序列与步骤S2得到的键序列转置相乘，再通过归一化处理计算得到注意力系数矩阵α_l：

其中d_k为键序列的维度，为正则项；

步骤S5、获得高分辨率特征图：S51、将步骤S4得到的注意力系数矩阵α_l与步骤S2得到的值序列相乘，得到注意力指导的特征值矩阵；S52、利用矩阵变换reshape操作将展平的特征值矩阵转换为2D格式的高分辨率特征图；S53、通过卷积s′_c调整输出通道数：

2.根据权利要求1所述的基于transformer的上采样方法，其特征在于，查询序列的长度大于键序列长度和值序列长度。

3.根据权利要求1或2所述的基于transformer的上采样方法，其特征在于，步骤S6中，由注意力系数矩阵reshape后得到高分辨率特征图维度为H^l×W^l×C′。

4.根据权利要求1或2所述的基于transformer的上采样方法，其特征在于，步骤S5中的归一化处理方式为softmax。

5.根据权利要求1或2所述的基于transformer的上采样方法，其特征在于，步骤S2和S3中的N操作为layer norm层归一化操作或Batchnorm操作。

6.根据权利要求1或2所述的基于transformer的上采样方法，其特征在于，步骤S2和S3中的令牌化操作是卷积操作或全连接神经网络操作。