[发明专利]基于深度学习的单帧超分辨率显微镜图像处理

权利要求书

1.一种计算机实现的图像处理方法，所述方法包括：

接收对象的低分辨率图像；

通过边缘提取器生成所述低分辨率图像的边缘图；和

将所述边缘图和所述低分辨率图像输入到神经网络以重建所述对象的超分辨率图像，

其中，所述神经网络是使用多分量损失函数来训练的。

2.根据权利要求1所述的方法，其中，所述低分辨率图像是所述对象的荧光显微镜图像，并且其中，所述边缘图的生成包括：

基于在所述荧光显微镜图像中的荧光团的径向对称，由所述边缘提取器在子像素级别上提取所述边缘图，

其中，在每个子像素处的边缘强度是由周围强度梯度会聚到所述子像素的程度来定义的，并且其中，所述边缘强度是由所述子像素的像素强度所加权的。

3.根据权利要求1所述的方法，还包括：

将所述对象的重建超分辨率图像和所述对象的地面实况图像输入到所述多分量损失函数，以量化在所述重建超分辨率图像和所述地面实况图像之间的差异，

其中，所述多分量损失函数包括面向像素的损失函数、感知损失函数、对抗损失函数和/或频率损失函数中的一个或多个。

4.根据权利要求3所述的方法，还包括：

将在所述重建超分辨率图像与所述地面实况图像之间的量化差异输入所述神经网络，以进行后续训练来优化所述神经网络。

5.根据权利要求3所述的方法，其中，所述面向像素的损失函数包括多尺度结构相似性(MS-SSIM)和L1范数损失函数。

6.根据权利要求2所述的方法，其中，所述荧光显微镜图像是宽场荧光显微镜图像、共焦显微镜图像、全内反射荧光(TIRF)显微镜图像或光片显微镜图像。

7.根据权利要求1所述的方法，其中，所述对象包括一个或多个细胞的细胞内结构。

8.根据权利要求7所述的方法，其中，所述细胞内结构包括所述一个或多个细胞的一个或多个微管和/或细胞器。

9.根据权利要求7所述的方法，其中，所述一个或多个细胞包括活细胞。

10.一种用于图像处理的装置，所述装置包括：

至少一个处理器；和

存储器，包括用于由所述至少一个处理器执行的计算机程序代码，所述计算机程序代码指示所述至少一个处理器：

接收对象的低分辨率图像；

通过边缘提取器生成所述低分辨率图像的边缘图；和

将所述边缘图和所述低分辨率图像输入到神经网络以重建所述对象的超分辨率图像，

其中，所述神经网络是使用多分量损失函数进行训练的。

11.根据权利要求10所述的装置，其中，所述低分辨率图像是所述对象的荧光显微镜图像，并且其中，所述装置生成所述边缘图，所述计算机程序代码指示所述至少一个处理器：

基于在所述荧光显微镜图像中的荧光团的径向对称，由所述边缘提取器在亚像素级别上提取所述边缘图，

其中，在每个子像素处的边缘强度是由周围强度梯度会聚到所述亚像素的程度来定义的，并且其中，所述边缘强度是由所述亚像素的像素强度所加权的。

12.根据权利要求10所述的装置，其中，所述计算机程序代码进一步指示所述至少一个处理器：

将所述对象的重建超分辨率图像和所述对象的地面实况图像输入到所述多分量损失函数，以量化在所述重建超分辨率图像和所述地面实况图像之间的差异，

其中，所述多分量损失函数包括面向像素的损失函数、感知损失函数、对抗损失函数和/或频率损失函数中的一个或多个。