[发明专利]面向视网膜血管的自监督多模态分割方法、系统、设备及介质

权利要求书

1.面向视网膜血管的自监督多模态分割方法，其特征在于，包括下述步骤：

利用成对的多模态视网膜图像数据集训练预先设立的CycleGAN生成网络，得到训练好的CycleGAN生成网络；所述训练好的CycleGAN生成网络用于学习第一彩色视网膜造影图像与第一荧光素血管造影图像之间的映射关系；并为预训练的视网膜病变数据集合成对应的第二荧光素血管造影图像；

对所述视网膜病变数据集中的第二彩色视网膜造影图像依次进行转灰度图、归一化、直方图均衡化和伽马校正预处理操作，得到预处理后的第三彩色视网膜造影图像；

将所述第二荧光素血管造影图像输入到Vision Transformer encoder中生成荧光素血管造影的编码向量，并重构成过滤器，即用于提取图片中向量特征的卷积滤波器；利用所述过滤器对第三彩色视网膜造影图像进行相关性过滤，得到多模态融合特征图谱；

使用无监督的深度互信息损失函数对所述多模态融合特征图谱进行实例级的特征学习，得到特征参数；

将所述特征参数迁移到下游血管分割网络中，作为分割网络模型的初始化参数，并在此基础上对分割网络进行训练，得到视网膜血管的分割结果。

2.根据权利要求1所述面向视网膜血管的自监督多模态分割方法，其特征在于，所述多模态视网膜造影图像数据集包含多对未注释的第一彩色视网膜造影图像和第一荧光素血管造影图像，每一对图像都来自同一个患者；

所述利用成对的多模态视网膜图像数据集训练预先设立的CycleGAN生成网络是将第一彩色视网膜造影图像作为CycleGAN生成网络输入，以及对应的第一荧光素血管造影图像作为标签进行训练；

所述训练好的CycleGAN生成网络是通过第一彩色视网膜造影图像生成第一荧光素血管造影图像的过程来学习第一彩色视网膜造影图像与第一荧光素血管造影图像之间映射关系。

3.根据权利要求1所述面向视网膜血管的自监督多模态分割方法，其特征在于，所述对所述视网膜病变数据集中的第二彩色视网膜造影依次进行转灰度图、归一化、直方图均衡化和伽马校正预处理操作，具体为：

首先，将多通道的第二彩色视网膜造影图像按比例融合变为1通道灰度图；接着进行图像归一化处理，保证图像的仿射不变性，提高计算精度；然后通过限制对比度自适应直方图均衡化来增强血管系统；最后利用局部自适应伽马校正，提升图像亮度信息并降低伪影的干扰；其中，伽马校正中有补偿系数和伽马系数两个可调参数，根据伽马系数的不同取值选择性地增强低灰度区域的对比度或者高灰度区域的对比度。

4.根据权利要求1所述面向视网膜血管的自监督多模态分割方法，其特征在于，所述使用无监督的深度互信息损失函数对所述多模态融合特征图谱进行实例级的特征学习，得到特征参数；具体为：

令x∈X表示患者的多模态融合特征图谱，z∈Z表示编码向量，对互信息I的定义如下：

其中，互信息I表示X，Z之间的相关性，表示原始数据的分布，p(z)表示在p(z|x给定之后整个Z的分布，即：

为了获得一个好的编码器，互信息要更大，即：

为了利于使得编码空间更加规整，有利于解耦特征，便于后续学习，因此，设q(z)为标准正态分布，最小化p(z与先验分布q(z)的KL散度：

KL散度又称为相对熵，等价于两个概率分布的信息熵的差值；此时通过加权混合可以得到最小化的总目标函数：

其中，x及其对应的z视为一个正样本对，x及随机抽取的z视为负样本对，λ为加权系数，考虑了整张图片之间的关联，但是图片的识别、分类是一个从局部到整体的过程，因此需要再引入一个局部互信息来描述中间层特征与z的关联,将中间层特征记为{C_ij(x)|i＝1,2…,h；j＝1,2,…,w}，即hw个向量的合集，完整的深度互信息损失函数表示为：

其中，T₁、T₂是编码器的网络参数，σ是激活函数，σ(T₁(x,z))、σ(T₂(x,z))是实例级判别网络；α、β、γ分别表示全局互信息、局部互信息和先验分布的比重，再在之上加入适当的交叉熵损失，就是以实例区分为目的的自监督特征学习模型最终的总损失函数。