[发明专利]一种基于多模态影像组学的颈动脉易损性分级方法及系统

权利要求书

1.一种基于多模态影像组学的颈动脉易损性分级方法，其特征在于，包括：

获取至少颈动脉超声图像和核磁共振图像中的一种；

基于至少颈动脉超声图像和核磁共振图像中的一种，采用颈动脉斑块分级模型，得到颈动脉斑块的易损性等级；

所述颈动脉斑块分级模型包括：多尺度特征融合网络和注意力分类网络；其中，所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本，将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合，得到融合特征；所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特征，得到颈动脉斑块的易损性等级。

2.根据权利要求1所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，在提取颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征之前包括：对所述颈动脉超声图像样本进行分级，得到针对超声的四种颈动脉斑块的易损性等级；对所述颈动脉核磁共振图像样本进行分级，得到针对核磁共振的四种颈动脉斑块的易损性等级。

3.根据权利要求2所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，根据针对超声的四种颈动脉斑块的易损性等级对所述颈动脉超声图像样本制作标签，得到针对超声的四种颈动脉斑块的易损性标签；针对核磁共振的四种颈动脉斑块的易损性等级对所述颈动脉核磁共振图像样本制作标签，得到针对核磁共振的四种颈动脉斑块的易损性标签。

4.根据权利要求1所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，所述得到融合特征的具体过程包括：

采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第一层特征和颈动脉核磁共振图像样本的第一层特征，然后将动脉超声图像样本的第一层特征和颈动脉核磁共振图像样本的第一层特征进行融合，得到第一层融合特征；

采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第二层特征和颈动脉核磁共振图像样本的第二层特征，然后将颈动脉超声图像样本的第二层特征、颈动脉核磁共振图像样本的第二层特征和第一层融合特征进行融合，得到第二层融合特征；

采用多尺度特征融合网络对分别提取颈动脉超声图像样本的第三层特征和颈动脉核磁共振图像样本的第三层特征，然后将颈动脉超声图像样本的第三层特征、颈动脉核磁共振图像样本的第三层特征和第二层融合特征进行融合，得到第三层融合特征，即所述融合特征。

5.根据权利要求1所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，所述注意力分类网络包括：超声图像注意力分类网络和核磁共振注意力分类网络。

6.根据权利要求4所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，所述超声图像注意力分类网络用于将多尺度特征融合网络提取的颈动脉超声图像样本的高层特征与融合特征并联后，根据标签指导学习权重值，然后训练得到颈动脉斑块的易损性等级。

7.根据权利要求4所述的基于多模态影像组学的颈动脉易损性分级方法，其特征在于，所述核磁共振注意力分类网络用于将多尺度特征融合网络提取的颈动脉核磁共振图像样本的高层特征与融合特征并联后，根据标签指导学习权重值，然后训练得到颈动脉斑块的易损性等级。

8.一种基于多模态影像组学的颈动脉易损性分级系统，其特征在于，包括：

数据获取模块，其被配置为：获取至少颈动脉超声图像和核磁共振图像中的一种；

输出模块，其被配置为：基于至少颈动脉超声图像和核磁共振图像中的一种，采用颈动脉斑块分级模型，得到颈动脉斑块的易损性等级；

模型构建模块，其被配置为：所述颈动脉斑块分级模型包括：多尺度特征融合网络和注意力分类网络；其中，所述多尺度特征融合网络用于基于颈动脉超声图像样本和颈动脉核磁共振图像样本，将提取的颈动脉超声图像样本特征和颈动脉核磁共振图像样本特征进行融合，得到融合特征；所述注意力分类网络用于基于融合特征和颈动脉超声图像样本特征/颈动脉核磁共振图像样本特征，得到颈动脉斑块的易损性等级。