[发明专利]一种基于PET-CT的跨模态注意力肿瘤分割方法、系统

权利要求书

1.一种基于PET-CT的跨模态注意力肿瘤分割方法，其特征在于，包括：

步骤S1、获取PET图像、CT图像；

步骤S2、使用自注意力机制分别提取PET图像、CT图像中的特征；

步骤S3、使用自注意力机制跨模态融合PET图像、CT图像中的单模态特征，得到跨模态融合影像特征；

步骤S4、基于跨模态融合影像特征分割肿瘤区域。

2.如权利要求1所述的一种基于PET-CT的跨模态注意力肿瘤分割方法，其特征在于：步骤S1中，使用PET/CT扫描仪获取配准好的PET图像、CT图像。

3.如权利要求1所述的一种基于PET-CT的跨模态注意力肿瘤分割方法，其特征在于：步骤S2中，分别将步骤S1获取的PET图像、CT图像进行分块，并将分块后的图像由矩阵变换至向量形式，得到向量；再对向量进行非线性变换，得到PET图像、CT图像的单模态图像特征。

4.如权利要求1所述的一种基于PET-CT的跨模态注意力肿瘤分割方法，其特征在于：步骤S3中，对步骤S2得到的PET图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式Q₁、K₁和V₁，再进行自注意力计算得到矩阵形式：

对步骤S2得到的CT图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式Q₂、K₂和V₂，再进行自注意力计算得到矩阵形式：

再对矩阵形式、矩阵形式进行叠加、融合，得到矩阵形式C，即，再对矩阵形式C进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式Q₃、K₃和V₃，再进行自注意力计算得到矩阵形式，即为跨模态融合影像特征：

其中，是融合影像特征的矩阵形式，T是矩阵的转置，、和为可学习的参数矩阵。

5.一种基于PET-CT的跨模态注意力肿瘤分割系统，其特征在于，包括：

图像获取模块，用于获取PET图像、CT图像；

特征提取模块，用于使用自注意力机制分别提取图像获取模块获取的PET图像、CT图像中的特征；

特征融合模块，用于使用自注意力机制跨模态融合特征提取模块提取并得到的PET图像、CT图像中的单模态特征，得到跨模态融合影像特征；

肿瘤分割模块，用于基于特征融合模块得到的跨模态融合影像特征分割肿瘤区域。

6.如权利要求5所述的一种基于PET-CT的跨模态注意力肿瘤分割系统，其特征在于，图像获取模块是使用PET/CT扫描仪获取配准好的PET图像、CT图像。

7.如权利要求5所述的一种基于PET-CT的跨模态注意力肿瘤分割系统，其特征在于，特征提取模块是分别将图像获取模块获取的PET图像、CT图像进行分块，并将分块后的图像由矩阵变换至向量形式，得到向量；再对向量进行非线性变换，得到PET图像、CT图像的单模态图像特征。

8.如权利要求5所述的一种基于PET-CT的跨模态注意力肿瘤分割系统，其特征在于，特征融合模块对特征提取模块得到的PET图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式Q₁、K₁和V₁，再进行自注意力计算得到矩阵形式：

特征融合模块对特征提取模块得到的CT图像的单模态图像特征进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式Q₂、K₂和V₂，再进行自注意力计算得到矩阵形式：

特征融合模块再对矩阵形式、矩阵形式进行叠加、融合，得到矩阵形式C，即，再对矩阵形式C进行线性变换、和，得到不同向量表达、和，将向量表达、和改写为矩阵形式Q₃、K₃和V₃，再进行自注意力计算得到矩阵形式，即为跨模态融合影像特征：

其中，是融合影像特征的矩阵形式，T是矩阵的转置，、和为可学习的参数矩阵。