[发明专利]一种基于Transformer的图像压缩方法

权利要求书

1.一种基于Transformer的图像压缩方法，其特征在于，所述方法包括以下步骤：

步骤1：构建基于Transformer的深度图像压缩模型，具体的：

步骤1.1：将被压缩图像输入由卷积模块和TF-SPP模块交替堆叠形成的主编码器，进行非线性变换处理，生成被压缩图像的潜在表示；

步骤1.2：结合窗口自注意力机制构建通道自回归熵模型，主要包括超先验编码器、通道调节器，

步骤1.3：将步骤1.2.3中所述的压缩后的潜在表示输入由反卷积模块和TF-SPP模块交替堆叠形成主解码器进行上采样，对被压缩图像进行重建；

步骤2：建立深度图像压缩数据集；首先对数据集中所有图片分别进行随机裁剪成为相同尺寸的图片，裁剪后的所有图片作为图像压缩数据集；然后把图像压缩数据集图片分别按照一定比例作为模型的训练集、测试集、验证集；

步骤3：训练步骤1所属的构建的基于Transformer的深度图像压缩模型，具体的：

步骤3.1：设置训练参数；

步骤3.2：将步骤2建立的深度图像压缩数据集送入步骤1所述基于Transformer的深度图像压缩模型并按照步骤3.1所设定的参数进行训练；

步骤3.3：利用Adam随机优化算法对步骤3.2所训练的基于Transformer的深度图像压缩模型进行随机梯度下降来不断优化损失函数，根据训练集和验证集交叉验证的损失变化趋势，直至损失变化逐步趋于稳定的状态，确定最优权重；

步骤4：将步骤2.2所述的测试集输入步骤3.3训练好的基于Transformer的深度图像压缩模型，测试基于Transformer的深度图像压缩模型的性能；

步骤5：评估模型，具体的：

根据步骤4的测试结果从PSNR即峰值信噪比、MS-SSIM即多尺度结构相似性和压缩比对步骤3训练的基于Transformer的深度图像压缩模型进行评估；

步骤6：判断步骤5中基于Transformer的深度图像压缩模型的评估结果的PSNR即峰值信噪比、MS-SSIM即多尺度结构相似性和压缩比是否满足实际应用需求，若基于Transformer的深度图像压缩模型满足现实场景中的图像压缩应用需求，则执行步骤8，否则，执行步骤7；

步骤7：调整步骤3中基于Transformer的深度图像压缩模型训练时的学习率，在重复迭代训练到200次时将学习率缩小十倍，在重复迭代训练到300次时将学习率再缩小十倍，并跳转至步骤3重新训练：

步骤8：将步骤6中满足实际应用需求的基于Transformer的深度图像压缩模型用于现实场景中的图像压缩。

2.根据权利要求1中所述的一种基于Transformer的图像压缩方法，其特征在于：步骤1.1所述的主编码器采用了TF-SPP特征提取机制，分为Calculate attention和Fusion两部分，具体的步骤1.1具体包括以下步骤：

步骤1.1.1：Calculate attention操作,具体的：

将输入的特征图转换成序列的形式并分别乘以系数矩阵W^Q,W^K,W^V得到输入的三个特征向量Q，K，V；将Q，K，V三个向量组合并分别输入head为8，10，12的三个Transformer block并进行自注意力计算得到输出特征图Z_i，这里i＝1,2,3，Z₁、Z₂、Z₃分别代表Transformerblock的三个输出特征图，Z_i的计算如公式(1)所示

其中，Softmax是归一化函数，Z_i为Transformer block的三个输出特征图，Q_i，V_i，K_i为输入的三个特征向量，为输入的特征向量K的转置，dim为Transformer block输出的维度；

步骤1.1.2：Fusion操作，具体的：

将输入的特征图利用1×1的卷积核进行卷积，并对步骤1.1.1所述三个输出Z₁、Z₂、Z₃拼接在一起利用1×1的卷积核进行卷积，保持输出特征图的通道数与输入特征图的通道数一致，得到融合后的特征图。