[发明专利]基于照明优化的结构光成像方法及装置

说明书

本申请提出一种基于照明优化的结构光成像方法和装置，其中，方法包括：设计基于深度神经网络的编码网络和解码网络；利用深度神经网络训练编码网络和解码网络，得到优化的编码网络和优化的解码网络；利用优化的网络编码照明样本，得到样本的成像；将样本的成像输入到优化的解码网络中，输出超分辨率图像。本发明结合结构光照明成像方法与深度学习理论，实现优化的结构光照明超分辨图像的快速重建，使深度学习方法在结构光照明成像应用中发挥出最优性能。

技术领域

本发明涉及计算摄像学中的超分辨成像技术领域，特别涉及一种基于照明优化的结构光成像方法及装置。

背景技术

光学显微成像的分辨率受光学系统衍射特性的限制，近年来，研究人员在利用现有成像系统恢复更高分辨率的图像方面付出大量努力。2000年，加利福尼亚大学旧金山分校的M.Gustafsson博士提出了结构光照明显微法(Structured IlluminationMicroscopy,SIM)。SIM通过结构光编码照明光源(一般是正弦编码)照射物体，在傅里叶空间频域，结构光照明编码频谱与样本原像频谱卷积，以此将位于显微成像过程的光学传递函数(Optical Transfer Function,OTF)之外的信息转移到可观测范围内，通过特定算法拼接OTF范围外的高频信息与OTF内的低频信息，从而还原高分辨率图像。SIM成像分辨率最高可达原成像系统分辨率的两倍。

具体的，传统的SIM通过采集九或十五张结构光编码照明的低分辨率编码图像通过特定算法生成一张高分辨图像，恢复算法有直接法、贝叶斯估计法及Gerchberg–Saxton算法(G-S算法)等。

由于SIM的主要局限性是每一幅重建的高分辨率SIM图像都需要获得一系列高质量的图像，这会降低时间分辨率，增加光漂白，因此近年来SIM一直在提高速度、分辨率，并减少所需的光照剂量等方面不断改进。随着深度神经网络的发展，研究者开始运用深度学习理论进行图像的超分辨研究，利用深度学习减少原始图像的数量来提高SIM的速度，并从其中获取超分辨率信息的方法被提出。2020年，研究者发现使用Unet网络仅通过三张原始图像就可达到传统九张图像的超分辨效果，不仅可以在极低光线条件下生成图像，还通过验证在不同细胞结构上的性能，实现了活细胞超分辨率成像，大大减少了光漂白。另外，还有研究者使用CycleGAN网络也实现了相同的结果。但现有的深度学习方法都采用传统的单一正弦光编码照明图像作为网络输入，需要网络去适应物理系统，这样就不能发挥出各自的最优性能。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于照明优化的结构光成像方法，利用深度学习模型作为实现手段，设计可随着网络迭代学习的优化结构光编码图案，同时模拟结构光照明下被采集图像的成像过程，通过深度神经网络实现结构光照明超分辨率图像的快速重建，并搭建系统进行原理验证。

本发明的第二个目的在于提出一种基于照明优化的结构光成像装置。

为达上述目的，本发明第一方面实施例提出了一种基于照明优化的结构光成像方法，包括：

设计基于深度神经网络的编码网络和解码网络；

利用所述深度神经网络训练所述编码网络和所述解码网络，得到优化的编码网络和优化的解码网络；

利用所述优化的网络编码照明样本，得到所述样本的成像；

将所述样本的成像输入到所述优化的解码网络中，输出超分辨率图像。

另外，根据本发明上述实施例的基于照明优化的结构光成像方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述编码网络获取优化的结构光照明编码，输入高分辨率图像，输出经优化的结构光照明的低分辨率图像。