[发明专利]一种基于PET-CT的跨模态注意力肿瘤分割方法、系统

说明书

本发明公开了一种基于PET‑CT的跨模态注意力肿瘤分割方法、系统及设备，涉及图像处理技术领域中的基于PET‑CT的肿瘤分割，其目的在于解决现有技术中基于PET‑CT多模态图像分割时存在的各模态影像特征融合效率低、较难实现精准分割肿瘤区域的问题，其主要是先使用自注意力机制分别提取PET图像、CT图像中的特征，再使用自注意力机制跨模态融合PET图像、CT图像中的单模态特征，得到跨模态融合影像特征；最后基于跨模态融合影像特征分割肿瘤区域。本发明中的自注意力机制通过不同区域特征之间的相互作用，实现了表达单模态特征至融合影像特征的变换，融合影像特征具有不同的维度信息，实现PET图像、CT图像的跨模态高效融合，实现肿瘤区域的精准分割。

技术领域

本发明涉及图像处理技术领域，涉及一种基于PET-CT的肿瘤分割，更具体的是涉及一种基于PET-CT的跨模态注意力肿瘤分割方法、系统。

背景技术

PET（Positron Emission Tomography），中文名称为正电子发射计算机断层显像，是一种分子水平的成像技术。在PET成像过程中，首先向人体注射放射性同位素示踪剂，放射性同位素在人体衰变过程中产生正电子，PET扫描仪探头通过重构放射性同位素在人体内的浓度分布，反映人体各个组织器官的新陈代谢情况。PET成像技术在病变组织检测中具有灵敏度高、特异性强的特点，可以在病变组织发生形态学变化之前检测出其新陈代谢变化，如18F标记的氟脱氧葡萄糖（Fluorodeoxyglucose, 18F-FDG）是目前肿瘤学领域常用的PET示踪剂，恶性肿瘤组织对18F-FDG的吸收量远大于正常组织和器官，因此恶性肿瘤区域中的放射性核素浓度较高，反映在PET图像中则恶性肿瘤区域的图像强度要高于正常组织和器官的部分。因此与传统成像技术相比，PET对肿瘤区域更敏感，PET成像能更早地检测出人体的病组织，在癌症的早期诊断和治疗上具有明显优势。然而PET图像的空间分辨率较低，具有图像模糊、噪声较大的特点。

CT（Computed Tomography)，中文名称为电子计算机断层扫描，其利用X射线对人体进行扫描，并由探测器接受透射过的X射线，最后通过计算机处理成图像。与PET图像相比，CT具有更高的图像分辨率，然而CT图像结构复杂，且CT图像中的肿瘤区域和正常软组织区域图像强度相似，通过CT图像难以区分肿瘤区域。

基于PET对肿瘤区域敏感与CT高空间分辨率的特性，越来越多的基于PET-CT多模态图像的肿瘤分割模型出现，用于分割肿瘤区域，为患者病情评估、治疗方案制定提供定量参考依据，最终提高患者的手术、放疗、化疗等治疗方案的效果。但是，这些模型普遍都是使用简单的图像融合策略融合不同模态图像中的信息，对同一个断层的所有体素使用相同的权重，这无法充分利用各模态图像的优势特点；研究如何高效融合PET和CT图像的互补信息，设计合理有效的PET-CT多模态肿瘤分割方法对肿瘤的评估和治疗具有重要意义。

发明内容

本发明的目的在于：为了解决现有技术中基于PET-CT多模态图像分割时存在的各模态影像特征融合效率低、较难实现精准分割肿瘤区域的问题，本发明提供一种基于PET-CT的跨模态注意力肿瘤分割方法、系统及设备。

本发明为了实现上述目的具体采用以下技术方案：

一种基于PET-CT的跨模态注意力肿瘤分割方法，包括：

步骤S1、获取PET图像、CT图像；

步骤S2、使用自注意力机制分别提取PET图像、CT图像中的特征；

步骤S3、使用自注意力机制跨模态融合PET图像、CT图像中的单模态特征，得到跨模态融合影像特征；

步骤S4、基于跨模态融合影像特征分割肿瘤区域。

在步骤S1中，使用PET/CT扫描仪获取配准好的PET图像、CT图像。

在步骤S2中，分别将步骤S1获取的PET图像、CT图像进行分块，并将分块后的图像由矩阵变换至向量形式，得到向量；再对向量进行非线性变换，得到PET图像、CT图像的单模态图像特征。