[发明专利]基于局部全局时空特征融合的肝脏肿瘤鉴别方法及装置

说明书

本发明提供一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法及装置。所述方法包括：从输入医学影像中分割出腹部区域图像；将所述腹部区域图像输入卷积神经网络，进行局部特征提取；将提取的局部特征输入注意力机制模块进行全局特征提取；将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网络，进行时空特征提取；对提取的局部特征、全局特征和时空特征进行融合，基于融合特征输出肝脏肿瘤类别。本发明利用脉冲神经网络进行时空特征提取，并基于局部特征、全局特征和时空特征的融合进行肝脏肿瘤类别鉴别，明显提高了鉴别精度。

技术领域

本发明属于医学影像技术领域，具体涉及一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法及装置。

背景技术

肝恶性肿瘤包括原发性肿瘤与转移性肿瘤等。在影像学上原发性肝癌可以是单发或多发病灶呈“快进快出”之增强特征；而转移性肝癌多表现为多发性、圆形或类圆形的病灶，往往强化不明显。临床上不同肝恶性肿瘤的治疗策略差异很大，医生在手术、靶向、免疫等治疗前对患者肿瘤类别的准确诊断至关重要。随着深度学习技术的快速发展，计算机辅助诊断(CAD)领域发展迅速，特别是在医学图像分割和分类领域。单期CT扫描的缺点是难以准确定位器官的轮廓，参考不同期相是尽可能完整识别器官边界的有效策略。比如许多指南明确推荐使用CT造影增强成像的三期(动脉期、门静脉期和平衡期)肝脏方案。

目前在肝脏肿瘤分类中存在两个困难，首先是常用的卷积神经网络，由于卷积操作的局部性，它不能很好地处理长距离关系。而多期相肝脏CT与自然图像相比具有显式且重要的长距离依赖关系。另一方面，现有的基于Transformer的网络架构虽然可以补充卷积操作丢失的全局信息，但依然很难捕获医学影像的时空信息。为了应对上述问题，本发明利用脉冲神经网络的优点，使用一种全新的架构用于肿瘤分类。该模型使用卷积神经网络提取多期相CT图像的局部特征，将局部特征输入基于注意力的网络来提取序列关系中的全局特征，然后将全局特征输入脉冲神经网络提取包含时空信息的特征，并基于三种特征的融合对原发性肝癌与转移性肝癌进行区分。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法及装置。

为了实现上述目的，本发明采用以下技术方案。

第一方面，本发明提供一种基于局部全局时空特征融合的肝脏肿瘤鉴别方法，包括以下步骤：

从输入医学影像中分割出腹部区域图像；

将所述腹部区域图像输入卷积神经网络，进行局部特征提取；

将提取的局部特征输入注意力机制模块进行全局特征提取；

将提取的全局特征特征编码为脉冲序列后输入至脉冲神经网络，进行时空特征提取；

对提取的局部特征、全局特征和时空特征进行融合，基于融合特征输出肝脏肿瘤类别：原发癌和转移癌。

进一步地，所述输入医学影像为包括动脉期、门静脉期和平衡期的多期相CT图像。

进一步地，所述从输入医学影像中分割出腹部区域图像的方法包括：采用强化学习优化腹部区域边界。

进一步地，所述注意力机制模块为Transformer模块。

进一步地，通过对提取的局部特征、全局特征和时空特征进行加权求和得到融合特征；局部特征、全局特征和时空特征的权重通过模型训练确定。

第二方面，本发明提供一种基于局部全局时空特征融合的肝脏肿瘤鉴别装置，包括：

腹部图像分割模块，用于从输入医学影像中分割出腹部区域图像；

局部特征提取模块，用于将所述腹部区域图像输入卷积神经网络，进行局部特征提取；