[发明专利]多模态图像分割方法及系统、分割模型及模型的训练方法

摘要

本发明涉及一种多模态图像分割方法及系统、分割模型及模型的训练方法，模型包括多条编码路径，一个共用网络层和多条解码路径；每条所述编码路径，对应一条所述解码路径，用于对一种医疗成像设备的图像进行下采样，提取所述模态的图像的特征信息；共用网络层，包含视觉Transformer模块，视觉Transformer模块的输入连接编码路径的输出，视觉Transformer模块的输出连接与编码路径对应的所解码路径的输入；每条解码路径，用于对一种医疗成像设备的图像进行上采样，恢复图像分辨率。采用上述多模态图像分割模型进行图像分割，不用经过配准，且多模态图像分割模型的分割精度和鲁棒性得到提高。