[发明专利]一种基于Vision Transformer的图像压缩感知重构方法及系统

权利要求书

1.一种基于Vision Transformer的图像压缩感知重构方法，其特征在于，包括步骤如下：

(1)对图像依次进行预处理、分块压缩采样操作；

(2)对步骤(1)处理后的图像通过训练好的初始重构网络进行初始重构，并进行重构和拼接；

(3)对步骤(2)得到的图像通过训练好的深度重构网络进行深度重构，得到深度重构图像。

2.根据权利要求1所述的一种基于Vision Transformer的图像压缩感知重构方法，其特征在于，步骤(1)中，分块压缩采样，是指：对预处理后的每张图像分成大小为B×B×l的不重叠的图像块，l表示通道数，设压缩率为s，则n_B＝[slB²]，分块压缩采样表示为式(I)：

y＝W_s*x (I)

式(I)中，*表示卷积操作，x是输入图像，y是测量值，W_s是n_B个大小为B×B×l的滤波器。

3.根据权利要求1所述的一种基于Vision Transformer的图像压缩感知重构方法，其特征在于，步骤(2)中，初始重构，表示为式(II)：

式(II)中，*表示卷积操作，y是测量值，的每一列是一个大小为1×l×lB²的向量对应于一个B×B×l的图像块，W_int是lB²个大小为1×l×n_B的滤波器；是向量形式，的每一列对应于一个图像块的重构输出。

4.根据权利要求1所述的一种基于Vision Transformer的图像压缩感知重构方法，其特征在于，步骤(2)中，重构和拼接，包括：

利用一个组合层对进行重构和拼接，组合层包括一个reshape函数和一个拼接函数，得到初始重构图像；具体实现过程如下：

a、将每个大小为1×l×lB²的重构向量reshape为一个B×B×l图像块；

b、将所有图像块拼接得到初始重构图像，这个过程表示为式(III)：

式(III)中，是大小为1×l×lB²的向量,h、w分别表示行、列的块数，γ(.)是将大小为1×l×lB²的向量转换为B×B×l图像块的reshape函数，k(.)是将所有这些图像块拼接起来得到初始重建图像的拼接函数。

5.根据权利要求1所述的一种基于Vision Transformer的图像压缩感知重构方法，其特征在于，步骤(3)的具体实现步骤包括：

A、将步骤(2)得到的初始重构图像按照B×B×l的大小进行划分得到初始重构图像块,对初始重构图像块进行卷积操作，线性映射得到一维向量，如式(IV)所示：

式(IV)中，W是大小为B×B的lB²个滤波器,是初始重构图像块,p是对h、w两个维度进行展平操作，z₀是二维矩阵；

B、将z_l-1输入Transformer编码器，l＝1…L，Transformer编码器是重复堆叠编码器块L次，包括多个多头自注意力MSA和多层感知机MLP，在每个编码器块前应用Layer Norm(LN)这一归一化方法；

C、利用组合层对经过Transformer编码器后的输出进行重构和拼接，得到深度重构图像。