[发明专利]基于由粗到精学习的半监督多模态核磁共振影像合成方法

说明书

本发明提供了一种基于由粗到精学习的半监督多模态核磁共振影像合成方法。该方法包括：利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，构造包括生成网络和增强网络的MRI合成模型，利用全部数据对生成网络进行训练，利用少部分成对数据对增强网络进行训练，将源模态的影像输入训练好的生成网络中，利用学习得的跨模态分布映射关系将源模态的影像映射为对应的目标模态的粗合成影像，并输入到训练好的增强网络，增强网络对目标模态的粗合成影像进行精细化增强，得到目标模态的跨模态合成MR影像。本发明方法可以应用于跨模态医学影像合成中，使用患者已有的源模态影像合成目标模态影像，为辅助医生进行疾病诊断提供帮助。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于由粗到精学习的半监督多模态核磁共振影像合成方法。

背景技术

近年来，随着在图像、医疗保健、传感器网络、多感知设备等数字化信息建设的快速发展，多模态数据(Multi-modal Data)的产生和收集变得更加方便和容易。所谓多模态数据是指对于同一个样本语义对象，有多种来源或形式的信息，这些信息对该样本从不同角度进行了有效地描述。例如，当我们浏览网页时，网页中关于某对象的描述可能包含图片、文字以及超链接等。相较于单模态数据而言,多模态数据包含更多信息，综合考虑多模态数据所包含的信息能让我们对样本对象有更深入的了解，因此多模态数据经常应用于医学领域。例如，MRI(Nuclear Magnetic Resonance Imaging，核磁共振成像)中T1加权的大脑图像清楚地区分显示了灰质和白质组织，而T2加权的图像则区分显示了液体和皮质组织。同时MRI还具备无辐射的优势，相较于辐射量较大的CT(Computed Tomography，电子计算机断层扫描)成像而言更容易被病人所接受，因此在目前的临床实践中被广泛使用来进行疾病的辅助诊断。

然而在实际情况中，由于对某些显影剂过敏、机器设置不正确、噪声过于严重和扫描费用等原因，一些患者采集的MRI可能会出现某些模态影像的缺失或者完全无法使用，这将对临床诊断和治疗产生不利影响。而且在这种情况下，许多需要完整的多模态数据的下游分析模型往往不能达到预期的理想效果。

对于这种问题，一个简单的解决方案是直接丢弃有模态缺失的数据，只采用剩余的完整多模态数据，但这将导致很多有用信息的浪费。因此，研究如何从其他成功获得的模态影像合成缺失或损坏的模态影像具有潜在应用价值。

为了解决上述问题，跨模态医学影像合成引起了研究人员的极大关注。深度神经网络凭借其强大的学习能力在计算机视觉的各种任务中都表现出了非常优越的性能，在医学领域也不例外。就医学影像而言，近几年深度学习已经被广泛地应用于跨模态医学影像合成并取得了巨大的成功，其中重要的应用涉及CT到PET的合成，MRI到CT的合成，CT到MRI的合成，以及视网膜血管图到彩色眼底视网膜图像的合成。在多模态MRI合成领域也有很多有效的方法。

目前，现有技术中的一种基于深度学习的跨模态医学影像合成方法包括：采用监督学习模型的方法。监督学习模型通过利用成对多模态数据使深度网络学习源模态图像到目标模态图像的非线性映射。该方法的缺点为：由于现实条件下的种种原因，成对多模态数据获取难度很大，数据集中往往存在很大比例的不成对数据，如果直接丢弃不成对数据会在很大程度上造成有用信息的浪费，而只利用少量的成对数据进行训练会导致需要大量成对数据的监督学习模型无法达到理想的效果。

发明内容

本发明的实施例提供了一种基于由粗到精学习的半监督多模态核磁共振影像合成方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种基于由粗到精学习的半监督多模态核磁共振影像合成方法，包括：

利用所有病例的多模态数据集构造大部分不成对数据和少部分成对数据，利用所述大部分不成对数据模拟现实中大部分有模态缺失的数据，利用所述少部分成对数据模拟现实中少部分完整多模态数据；