[发明专利]基于transformer的上采样方法

说明书

本发明公开了一种基于transformer的上采样方法，包括如下步骤：步骤S1、提取特征；步骤S2、获得用于上采样的键序列和值序列步骤S3、获得用于上采样的查询序列将步骤S2提取的特征进行令牌化处理，由此得到用于上采样的查询序列步骤S4、获得注意力系数矩阵α_l；步骤S5、获得高分辨率特征图。该基于transformer的上采样方法解决现有技术中当前特征图在进行插值后损失了很多细节信息的问题。

技术领域

本发明涉及图像分割领域，具体涉及一种基于transformer的上采样方法。

背景技术

上采样方法被广泛应用于图像分割领域如图像的语义分割，实例分割，全景分割等等。上采样是将图像或者特征图按照一定尺寸放大的方法。由于在基于深度卷积神经网络的图像分割领域，待分割图像的尺寸往往比较大，在卷积过程中如果保持同等大小的尺寸，则需要较大的计算资源与存储资源，因此已有的图像分割方法都采样“encoder-decoder”结构，首先通过卷积进行下采样，缩小特征图的尺寸，然后再通过上采样恢复尺寸，从而达到原图分割的效果。

在已有方法中，最近邻差值采用最近的像素值进行插值，而双线性插值利用线形函数插值。在最近提出的转置卷积中，网络通过学习进行上采样。已有方法均只考虑当前特征图(即如何更好的在当前特征图上进行插值，获得更具有信息的上采样特征图)，但是当前特征图在经过多次下采样后大小缩小为原来几分之一甚至几十分之一，损失了很多细节信息，基于当前特征图上采样得到的特征图不利于最终的图像分割结果。

发明内容

本发明要提供一种基于transformer的上采样方法，解决现有技术中当前特征图在进行插值后损失了很多细节信息的问题。

为实现上述目的，本发明采用了如下的技术方案：

本发明公开了一种基于transformer的上采样方法，包括如下步骤：

步骤S1、提取特征：将待分割图像输入深度神经网络编码器提取特征，得到特征图像其中H^l,W^l,C^l分别表示第l层下采样特征图的高、宽及通道数；

步骤S2、获得用于上采样的键序列和值序列S21、将特征图像进行下采样处理，得到低分辨率特征图S22、对低分辨率特征图进行令牌化处理，将每一个像素映射为一个令牌，以获得该像素的高维表征；S23、再将高维表征展平得到用于上采样的键序列和值序列

其中，s_c为卷积算子，·为令牌化操作，C′为输出特征的通道数，即令牌的维度，代表层归一化操作，F代表展平操作；

步骤S3、获得用于上采样的查询序列将步骤S2提取的特征进行令牌化处理，由此得到用于上采样的查询序列

其中，为卷积算子,·为令牌化操作，代表层归一化操作；

步骤S4、获得注意力系数矩阵α_l：将步骤S3得到的查询序列与步骤S2得到的键序列转置相乘，再通过归一化处理计算得到注意力系数矩阵α_l：

其中d_k为键序列的维度，为正则项；