[发明专利]一种基于深度学习的图像虚拟染色方法、系统及电子设备

说明书

本发明公开了一种基于深度学习的图像虚拟染色方法、系统及电子设备，该方法包括：通过显微镜获取组织切片的多个显微图片，并进行图片预处理；将经预处理后的每一个显微图片输入到预训练得到的虚拟染色网络模型；虚拟染色网络模型包括：第一网络模型和第二网络模型；利用所述第一网络模型输出每一个显微图片对应的聚焦图片；将所述聚焦图片作为第二网络模型的输入，输出每一个显微图片对应的虚拟染色图像。该方法采用人工智能算法构造神经网络模型，直接对输入的组织切片灰度图片进行虚拟染色，使普通显微镜获得了高分辨率显微镜的性能。另外还可以替换在医学图像分析中细胞和组织切片染色步骤，直接使用神经网络达到对应染色剂的虚拟染色效果。

技术领域

本发明涉及多模态医学图像配准技术和深度学习图像处理技术领域，特别涉及一种基于深度学习的图像虚拟染色方法、系统及电子设备。

背景技术

随着人工智能的迅速发展，其应用领域也在向世界各地的各个行业扩展。这导致了特定领域的重大进展，如网络搜索、自动驾驶汽车、自然语言处理和计算机视觉。还有人工智能算法也被广泛应用于医学领域。

AI技术应用于医学诊断领域,不仅为改善医疗保健提供了新思路,也掀起了在医学领域研究的新浪潮。在大数据及数字显微技术背景下,深度学习作为实现AI的一种新兴手段,在肿瘤检测、分类、转移和预后预测等组织病理图像分析中显示出巨大潜力。传统病理诊断结果受病理医师个人知识储备、临床经验以及逻辑思维方式的影响,主观性强且重复率低。AI作为一种新技术,在辅助病理医师进行病理诊断时,可以在一定程度上规避上述人为因素,减少人工失误,提高病理诊断的准确率和重复率,支持实时诊断决策。

在医学领域中，组织切片和细胞的观察，需要高度精密的成像设备。激光扫描共聚焦显微镜是近代最先进的细胞生物医学分析仪器之一。它是在荧光显微镜成像的基础上加装激光扫描装置，使用紫外光或可见光激光荧光探针，利用计算机进行图像处理，不仅可观察固定的细胞、组织切片，还可对活细胞的结构、分子、离子进行实时动态地观察和检测。激光扫描共聚焦显微技术已用于细胞形态定位、立体结构重组、动态变化过程，还有三维重组分析生物结构等研究。但共聚焦显微镜价格昂贵，一台激光扫描共聚焦显微镜大概要200-400万人民币之间。并且使用成本代价巨大，不能广泛应用于中小规模企业和课题组研究，因此，需要有更加简易的成像手段。

发明内容

本发明的目的在于提供一种基于深度学习的图像虚拟染色方法、系统及电子设备，该方法可解决使用高分辨率显微镜器材昂贵问题，使用普通显微镜加深度神经网络联用的方法，可达到高分辨率效果。

为实现上述目的，本发明采取的技术方案为：

第一方面，本发明提供一种基于深度学习的图像虚拟染色方法，包括：

通过显微镜获取组织切片的多个显微图片，并进行图片预处理；

将经预处理后的每一个显微图片输入到预训练得到的虚拟染色网络模型；所述虚拟染色网络模型包括：第一网络模型和第二网络模型；

利用所述第一网络模型输出每一个显微图片对应的聚焦图片；

将所述聚焦图片作为第二网络模型的输入，输出每一个显微图片对应的虚拟染色图像。

进一步地，还包括：

根据所述组织切片的多个显微图片获得各自对应的虚拟染色图像，进行拼接生成该组织切片对应的虚拟染色图片。

进一步地，所述图片预处理，包括：

将所述显微图片转换成灰度图，裁剪成预设分辨率的图片。

进一步地，所述第一网络模型采用注意力机制网络，预训练过程如下：

将未染色组织切片放置于显微镜上，对该组织切片进行聚焦；

获得聚焦位置后按照预定顺序进行拍摄，获得标准焦距图片；