[发明专利]一种基于Vision Transformer的图像压缩感知重构方法及系统

说明书

本发明涉及一种基于Vision Transformer的图像压缩感知重构方法及系统，包括：(1)对图像依次进行预处理、分块压缩采样操作；(2)对图像通过训练好的初始重构网络进行初始重构，并进行重构和拼接；(3)对图像通过训练好的深度重构网络进行深度重构，得到深度重构图像。本发明提出了一种卷积神经网络和Vision Transformer结合的图像重构混合框架，是一种端到端的压缩重构图像方法，本发明使得图像压缩感知的网络结构能够继承卷积神经网络和Transformer的优点，并且最大程度保留全局和局部特征，提高图像重构的精度。

技术领域

本发明涉及一种基于Vision Transformer的图像压缩感知重构方法及系统，属于图像处理技术领域。

背景技术

压缩感知也可以被叫做Compressed Sampling，即压缩采样。压缩感知是一种能够突破香农的奈奎斯特采样定理，通过利用信号的稀疏特征以远远小于原始信号的测量值，高精度的来重建原始信号的一种方法。压缩感知理论的提出，引起学术界和工业界的广泛关注。在图像处理、光学/微波成像、模式识别、无线通信等领域受到高度关注。

卷积神经网络在压缩图像感知方面取得了成功。然而，由于卷积神经网络感受野通常很小，不利于捕获全局特征，卷积运算在建模长期依赖关系时存在固有的局限性。

Transformer是一种基于自注意力机制的编码器-解码器结构，VisionTransformer将Transformer应用到计算机视觉领域。Vision Transformer可以捕获长距离依赖关系，因此在许多视觉任务中超越许多卷积神经网络结构。

现有的图像压缩感知重构方法利用卷积神经网络进行重构，卷积神经网络感受野小，不利于捕获全局特征。

随着深度学习的发展，将压缩感知与深度学习相结合，显著地提高了信号恢复的性能和速度。

发明内容：

针对现有技术的不足，本发明提供了一种基于Vision Transformer的图像压缩感知重构方法；

本发明还提供了一种基于Vision Transformer的图像压缩感知重构系统。

本发明将卷积神经网络和Vision Transformer结合用于图像的压缩重构，是一种端到端的压缩重构图像方法，由自适应采样和初始重构以及深度重构三部分组成，使得图像压缩感知的网络结构能够继承卷积神经网络和Transformer的优点，并且最大程度保留全局和局部特征，增大感受野，最大程度保留全局和局部特征，提高图像重构的精度。

术语解释：

1、Vision Transformer，是将transformer架构应用到计算机视觉领域的一种模型；

2、Transformer编码器，如图2所示，是重复堆叠编码器块L次，编码器主要由以下几部分组成：Layer norm归一化层，在通道方向上，对每个深度上的输入进行归一化；多头自注意力(Multi-Head Attention)是由多个自注意力机制组合的，自注意力机制是对输入中不同部分之间建立相关性；多层感知机(MLP block)由全连接层、GELU激活函数、dropout组成。是一个传统的神经网络，如图3所示，为了解决单层感知机无法解决的非线性问题。

本发明的技术方案为：

一种基于Vision Transformer的图像压缩感知重构方法，包括步骤如下：

(1)对图像依次进行预处理、分块压缩采样操作；

(2)对步骤(1)处理后的图像通过训练好的初始重构网络进行初始重构，并进行重构和拼接；

(3)对步骤(2)得到的图像通过训练好的深度重构网络进行深度重构，得到深度重构图像。