[发明专利]基于标记点的图像配准方法

说明书

本发明公开了一种基于标记点的图像配准方法，其主要包括下列步骤：输入两个任意模态的医学图像；采用一个预训练的神经网络提取两个输入图像的金字塔特征，该网络的训练过程包含多种不同的任务并涉及上述多种不同的输入模态；利用上述神经网络提取金字塔特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对；通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image。以及在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image。借此，能有效解决标记点金标准缺乏的问题。

技术领域

本发明涉及图像处理领域、深度学习领域、医疗领域，尤其是一种基于标记点的图像配准方法。

背景技术

图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步，对于同一患者，可以采集含有准确解剖信息的多种不同模态的图像，如CT、CBCT、MRI、PET等。然而，通过观察不同图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中，使医生更方便更精确地从各个角度观察病灶和结构。同时，通过对不同时刻采集的动态图像的配准，可以定量分析病灶和器官的变化情况，使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。

传统的图像配准方法基于相似度目标函数的优化求解问题，容易收敛至局部极小值，尤其对不同模态图像的配准效果较差，且迭代求解的过程耗时较长。而基于标记点的图像配准方法能解决上述问题，但标记点金标准的获得需要耗费医生、专家的大量时间，成本较高。近年来，人们对探索利用人工智进行诊断产生了浓厚的兴趣，并在某些领域利用AI算法建立了表现优于人类医学专家的数学模型。因此有理由相信，利用AI算法对传统图像配准方法进行改进能有效提高图像配准的效果。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于标记点的图像配准方法，其能够利用AI算法对传统图像配准方法进行改进能有效提高图像配准的效果。

为实现上述目的，本发明提供了一种基于标记点的图像配准方法，其主要包括下列步骤：输入两个任意模态(CT、CBCT、MRI、PET等)的医学图像，一个作为fixed image(参考图像)，另一个作为moving image(待配准图像)；采用一个预训练的神经网络提取两个输入图像的金字塔特征，该网络的训练过程包含多种不同的任务并涉及上述多种不同的输入模态；利用上述神经网络提取金字塔特征，通过搜索、筛选、匹配等过程得到两个图像间的代表某种语义的多个匹配点对；通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image。以及在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image。

在一优选的实施方式中，采用一个预训练的神经网络提取两个输入图像的金字塔特征，包括：神经网络的结构分为骨干网络和后续多个分支网络。骨干网络在不同任务间共享，每个分支网络对应一个任务。最后用于提取图像特征的是骨干网络。神经网络的训练过程包含多种不同的任务并涉及多种不同的输入模态，包括但不限于：基于CT的鼻咽癌原发肿瘤(GTV)分割、基于MRI的鼻咽癌原发肿瘤分割、基于CT的子宫颈癌原发肿瘤分割、基于PET的肺部原发肿瘤分割、基于CT的危及器官(OAR)分割、基于MRI的危及器官分割、基于CBCT的危及器官分割、基于CT的肺结节目标检测等。以及先用其中一个任务训练神经网络，再加上其它输入模态的任务各一个同时训练，再分别对剩余的每个任务单独进行训练，训练时骨干网络参数固定，最后所有任务同时训练微调所有参数。