[发明专利]面向视网膜血管的自监督多模态分割方法、系统、设备及介质

说明书

本发明公开了一种面向视网膜血管的自监督多模态分割方法、系统、设备及介质，包括：利用多模态视网膜图像数据集训练CycleGAN生成网络，学习彩色视网膜造影与荧光素血管造影之间的映射关系，并将视网膜病变数据集合成第二荧光素血管造影图像；对视网膜病变数据集中的彩色视网膜造影图像进行预处理；将第二荧光素血管造影图像中输入ViT中生成编码向量，并重构成过滤器，利用过滤器对经过预处理后的彩色视网膜造影进行相关性过滤，得到多模态融合特征图谱；对多模态融合特征图谱进行实例级特征学习，得到特征参数；将特征参数迁移到下游血管分割网络中，得到视网膜血管的分割结果。本发明通过迁移学习为下游的血管分割任务提供线索，加快模型收敛速度。

技术领域

本发明涉及一种图像分割技术，特别是涉及一种面向视网膜血管的自监督多模态分割方法、系统、设备及介质。

背景技术

眼睛是人类日常捕获信息最常用的器官，人体拥有的大部分知识和记忆是通过眼睛感知到的外部信息，经大脑皮层反馈后存储到大脑中，它的重要性可见一斑。眼底的视网膜血管作为人体中唯一可使用非破坏方式直接观察的血管结构，在临床医疗中对它作出精准分割，可使医护人员更为直观的通过观察其形态结构的变化，对相关疾病作出预防或进一步的诊断。荧光血管造影是医疗检查中显示眼底血管的常规方法。做法是先将黄色荧光素注射入静脉，血液中的荧光素便可将眼底中的血管清楚显示出，最后通过照相把眼底血管的细节照下来，其副作用可能导致个别患者出现过敏反应甚至死亡的情况。如果荧光素钠渗漏的话，可能会引起局部软组织坏死，静脉炎，中毒性神经炎等等。因此，基于高识别精度的视网膜彩色造影血管分割方法的研究，可以避免侵入性检查带来的诸多副作用，具有极其重要的临床医学意义和实际价值。

现有的视网膜血管分割方法可以大致分为传统监督方法和非监督方法。传统监督方法依据手工特征进行分割，机器学习方法将拉普拉斯算子与一个高斯滤波器进行卷积，得到拉普拉斯高斯滤波器，应用于多个尺度上，获得多张单一尺度的LoG响应图谱并将它们合并起来，就可以得到一张多尺度的拉普拉斯图谱，其中各个不同宽度的血管都得到增强。基于人工标注的卷积网络利用提取设计的已知的图像特征，通过深度网络分割出血管区域的像素点，大幅提升了性能。但实际上，依靠手工分割视网膜血管不仅对医生的专业素质要求极高，而且受到主观因素影响严重，低对比度图像区域的精细细节导致手工标注任务困难、繁琐、耗时。

非有监督方法(例如无监督、半监督、远程监督、自监督)通过局部注释、实例区分、数据集更新、对抗学习等一些辅助任务，缓解了可供训练的注释数据缺乏的问题。然而，用于辅助任务的标签数据仍然十分稀缺，难以从未标记的数据中有效地学习到相关领域模式，且没有意识到先验知识的重要性。由于受眼底图像采集技术的限制，图像中往往存在大量噪声，再加之视网膜血管自身结构复杂多变，使得视网膜血管的分割变得困难重重。仅使用单模态数据进行训练，数据来源过于单一，忽视了采集设备及患者状态带来的客观影响。为此，本发明提出了基于自监督多模态预训练框架的视网膜血管分割方法，研究如何利用互补的多模态图像更全面而准确地学习领域知识，挖掘领域信息。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种面向视网膜血管的自监督多模态分割方法，通过在自监督预训练框架中引入了多模态数据，多角度地成像视网膜结构和病变的外观，更好地学习领域特征。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种面向视网膜血管的自监督多模态分割方法，包括下述步骤：

利用成对的多模态视网膜图像数据集训练预先设立的CycleGAN生成网络，得到训练好的CycleGAN生成网络；所述训练好的CycleGAN生成网络用于学习第一彩色视网膜造影图像与第一荧光素血管造影图像之间的映射关系；并为预训练的视网膜病变数据集合成对应的第二荧光素血管造影图像；

对所述视网膜病变数据集中的第二彩色视网膜造影图像依次进行转灰度图、归一化、直方图均衡化和伽马校正预处理操作，得到预处理后的第三彩色视网膜造影图像；