[发明专利]医学图像的融合方法及装置

权利要求书

1.一种医学图像的融合方法，其特征在于，包括：

获取待融合的第一模态图像和第二模态图像的像素信息，其中，所述第一模态图像和所述第二模态图像为不同模态的图像；

将所述第一模态图像和所述第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出所述第一模态图像和所述第二模态图像的融合图像，其中，所述图像融合网络模型为基于语义信息对不同模态图像进行融合的模型，所述语义信息用于表征不同模态图像中像素值的含义；

其中，将所述第一模态图像和所述第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出所述第一模态图像和所述第二模态图像的融合图像，包括：

根据第一模态图像的像素信息，提取第一模态图像的第一语义信息，以及根据第二模态图像的像素信息，提取第二模态图像的第二语义信息；

将所述第一语义信息和所述第二语义信息映射至目标图像空间；

基于所述目标图像空间，对所述第一语义信息和所述第二语义信息进行融合，得到所述第一模态图像和所述第二模态图像的融合图像。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

利用训练数据训练所述图像融合网络模型；

在训练的过程中，调整所述图像融合网络模型的参数直至所述图像融合网络模型的损失函数满足预设收敛条件；

其中，所述图像融合网络模型包括：编码网络模型和解码网络模型；其中，所述编码网络模型的输入数据为待融合的第一模态图像和第二模态图像，所述编码网络模型的输出数据为第一模态图像和第二模态图像的融合图像；所述解码网络模型的输入数据为第一模态图像和第二模态图像的融合图像，所述解码网络模型的输出数据为根据融合图像重构的第一模态图像和第二模态图像；

所述损失函数至少包括第一模态图像和第二模态图像的重构误差。

3.如权利要求2所述的方法，其特征在于，所述损失函数还包括：稀疏惩罚项和L2正则化项，其中，所述损失函数的表达式为：

其中，

其中，x_ct表示待融合的第一模态图像；x_mr表示待融合的第二模态图像；表示重构的第一模态图像；表示重构的第二模态图像；表示重构的第一模态图像与待融合的第一模态图像的欧式距离；表示重构的第二模态图像与待融合的第二模态图像的欧式距离；表示稀疏惩罚项，用于表征融合图像与常量图片的KL散度；z_ij表示融合图像中坐标(i,j)的像素值；ρ表示常量；表示L2正则化项；α表示稀疏惩罚项的权重；β表示L2正则化项的权重。

4.一种医学图像的融合装置，其特征在于，包括：

图像信息获取单元，用于获取待融合的第一模态图像和第二模态图像的像素信息，其中，所述第一模态图像和所述第二模态图像为不同模态的图像；

图像信息处理单元，用于将所述第一模态图像和所述第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出所述第一模态图像和所述第二模态图像的融合图像，其中，所述图像融合网络模型为基于语义信息对不同模态图像进行融合的模型，所述语义信息用于表征不同模态图像中像素值的含义；

其中，所述图像信息处理单元包括：

语义提取模块，用于根据第一模态图像的像素信息，提取第一模态图像的第一语义信息，以及根据第二模态图像的像素信息，提取第二模态图像的第二语义信息；

图像空间映射模块，用于将所述第一语义信息和所述第二语义信息映射至目标图像空间；

图像融合模块，用于基于所述目标图像空间，对所述第一语义信息和所述第二语义信息进行融合，得到所述第一模态图像和所述第二模态图像的融合图像。