[发明专利]基于标记点的图像配准方法

权利要求书

1.一种基于标记点的图像配准方法，其特征在于，包括以下步骤：

输入两个任意模态的医学图像，一个作为fixed image，另一个作为moving image；

采用一个预训练的神经网络提取两个输入任意模态的所述医学图像的金字塔特征，所述神经网络的训练过程包含多种任务并涉及多种输入模态；

利用所述神经网络提取的所述金字塔特征，通过搜索、筛选及匹配过程得到两个图像间的代表某种语义的多个匹配点对；

通过最小化所有匹配点对间点距离的总和，拟合出刚性配准的变换矩阵和位移向量，从而得到刚性配准后的医学图像warped image；以及

在刚性配准的基础上，通过基于径向基的插值法得到非刚性配准的位移场三维矩阵，从而得到非刚性配准后的医学图像warped image；

其中所述采用一个预训练的所述神经网络提取两个输入的任意模态的所述医学图像的所述金字塔特征，包括：所述神经网络的结构分为骨干网络和后续多个分支网络；所述骨干网络在不同任务间共享，每个所述分支网络对应一个任务；最后用于提取图像特征的是所述骨干网络；以及

先用其中一个任务训练的所述神经网络，再加上其它输入模态的任务各一个同时训练，再分别对剩余的每个任务单独进行训练，训练时所述骨干网络参数固定，最后所有任务同时训练微调所有参数。

2.根据权利要求1所述的基于标记点的图像配准方法，其特征在于，所述采用一个预训练的所述神经网络提取两个输入的任意模态的所述医学图像的所述金字塔特征，还包括：

所述神经网络的训练过程包含多种不同的任务并涉及多种不同的输入模态，包括：基于CT的鼻咽癌原发肿瘤分割、基于MRI的鼻咽癌原发肿瘤分割、基于CT的子宫颈癌原发肿瘤分割、基于PET的肺部原发肿瘤分割、基于CT的危及器官分割、基于MRI的危及器官分割、基于CBCT的危及器官分割以及基于CT的肺结节目标检测。

3.根据权利要求1所述的基于标记点的图像配准方法，其特征在于，利用所述神经网络提取的所述金字塔特征，通过搜索、筛选及匹配过程得到两个图像间的代表某种语义的多个匹配点对，包括以下步骤：

把I_f与I_m输入上述预训练的神经网络，提取两个输入图像的金字塔特征图的与其中l∈{1,2,3,4,5}表示第l级特征，数字越大表示层数越深，即特征尺寸越小但蕴含更多高层语义；其中I_f即为fixed image，I_m即为moving image；

匹配点的搜索需要在特定的搜索范围内产生，从l＝5开始设置搜索范围：

S⁵＝{(P⁵,Q⁵)}

其中：

为I_f的第l级的第n个搜索范围，对应地为I_m的第l级的第n个搜索范围，N^l为第l级的搜索范围的个数，S^l为第l级的多个搜索范围对的集合；当l＝5时，搜索范围是与的整个范围，即N⁵＝1；

通过下式对搜索范围及的特征图与进行变换，得到与

其中，表示在范围内的局部特征图，为变换后的特征图，为的均值，为的标准差，同

在搜索范围与内搜索匹配点对，当满足以下条件时，两个点p^l与q^l为匹配点对：

即若以内的点p^l在范围内搜索时，相似度最高的点是q^l，反之也成立，则p^l与q^l为匹配点对；相似度的计算公式为：

其中，ε(p^l)为点p^l的特定范围内邻域的点集；

第l级的所有N^l个搜索范围分别执行上述搜索匹配点的步骤，便得到所有匹配点对的集合Λ^l：

对于上述步骤搜索得到的匹配点对，还必须通过以下的筛选条件，即该点在特征图的值必须足够大：

其中，为最终得到的匹配点对集合，γ为自定义阈值；

得到后，通过下式得到上一级的搜索范围集合：

其中，为的数量，为第l-1级相对于第l级的神经网络感受野，点p的坐标为(p_x,p_y,p_z)，ε(q^l)为点q^l的特定范围内邻域的点集，ε(q^l)与ε(p^l)为对应概念，p^l与q^l为第l级的两张图的匹配点对；以及

得到上一级的搜索范围集合后，重复上述步骤，得到最终的输出结果即为两个图像的匹配点对集合。