[发明专利]基于改良ViT网络的高质量全息图生成方法

说明书

一种基于改良ViT网络的高质量全息图生成方法，通过构建编码‑解码架构，改良Vision Transformer网络作为编码部分，将目标图像编码成其对应的全息图；在解码部分通过角谱传播算法模拟光的自由空间传播，得到全息图的重建图像，通过计算重建图像和目标图像之间损失函数对编码‑解码架构的编码部分进行迭代训练；在在线阶段采用训练后的编码‑解码架构生成的纯相位全息图通过全息显示系统重建出高质量的全息显示图像。本发明通过关注目标图像的全局信息，以改良VisionTransformer网络生成更高质量的全息图并实现全息显示。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于改良ViT(VisionTransformer)网络的高质量全息图生成方法。

背景技术

现有的基于深度神经网络(DNN)的计算机生成全息图(CGH)算法通过训练一个或者多个卷积神经网络(CNN)来计算全息图并应用于全息显示系统中，缩短了计算高质量全息图的时间，但在显示质量方面不如传统高时耗的迭代算法。一个重要的原因在于，光波的衍射是一个从空域到频域的跨域过程，具有全局特性，而CNN通常采用局部卷积运算，感受野有限，较难学习到从目标图(空域)到全息图(频域)的跨域映射。

发明内容

本发明针对现有基于CNN的计算全息术生成全息图显示质量相对较低的问题，提出一种基于改良ViT网络的高质量全息图生成方法，通过关注目标图像的全局信息，以一个改良的Vision Transformer网络生成更高质量的全息图并实现一个高质量的全息显示，解决了传统基于CNN的CGH算法感受野有限的问题，提高了全息显示中的显示像质。

本发明是通过以下技术方案实现的：

本发明涉及一种基于改良ViT网络的高质量全息图生成方法，通过构建编码-解码架构，针对CGH任务，改良了Vision Transformer网络，并以改良的ViT作为编码部分，将目标图像编码成其对应的纯相位全息图；在解码部分通过角谱传播算法模拟光的自由空间传播，得到全息图的重建图像，通过计算重建图像和目标图像之间损失函数对编码-解码架构的编码部分进行迭代训练；在在线阶段采用训练后的改良Vision Transformer网络生成纯相位全息图，并通过全息显示系统重建出高质量的全息显示图像。

技术效果

本发明利用预训练的改良Vision Transformer网络计算目标显示图像的纯相位全息图并实现全息显示。相比较目前利用CNN计算目标显示图像的纯相位全息图的方法，本方法利用改良的Vision Transformer网络捕捉全局特征的特性，提高了网络计算全息图的质量，在全息显示中，重建的图像质量得到明显提升。

附图说明

图1为本发明网络训练框架；

图2为实施例原理示意图；

图3为光学显示系统示意图；

图4为实施例效果图。

具体实施方式

如图1(a)所示，本实施例基于改良ViT网络的高像质全息图生成方法，对改良的Vision Transformer网络训练框架包括编码部分和解码部分。编码部分为一个改良VisionTranformer网络，是一个由四个下采样模块以及对应的上采样模块组成的U型架构，其中：

每个下采样模块以及对应的上采样模块中均包含两个全局滤波块。

如图1(b)所示，所述的全局滤波块包括：两个层归一化单元、全局滤波层和本地加强前馈网络(LeFF)，其中：全局滤波层将输入的空间特征首先通过二维快速傅里叶变换(2DFFT)转换到频域后，通过可学习的全局滤波器对频域特征进行滤波，再通过二维快速傅里叶反变换(2D IFFT)将频域特征图变回到空域特征。该全局滤波层有效提高网络的感受野且提升运算速度，利用训练好的网络所得到的全息图实现的全息显示图像质量得到明显提升。