[发明专利]基于多模态融合的对比增强能谱乳腺摄影分类方法及系统

权利要求书

1.一种基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，包括：

获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；

预处理对比增强能谱乳腺摄影图像；

提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；

提取融合图像的特征；

将提取的特征输入到分类器中，输出图像分类结果。

2.如权利要求1所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，预处理对比增强能谱乳腺摄影图像的过程包括：

对获取的对比增强能谱乳腺摄影图像进行裁剪，得到裁剪后的对比增强能谱乳腺摄影图像；

对裁剪后的对比增强能谱乳腺摄影图像进行图像增强处理；

对图像增强后的图像进行图像归一化处理；

对图像归一化处理后的图像进行尺度调整处理。

3.如权利要求2所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，对裁剪后的对比增强能谱乳腺摄影图像进行图像增强处理的过程为：

将每个对比增强能谱乳腺摄影图像转换成灰度图像；

对每一幅灰度图像，判断每一列或者每一行的像素值是否是全部黑色背景，如果某一列或者每一行全部为黑色背景，则将该列裁剪掉。

4.如权利要求2所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，图像的增强处理包括：对裁剪后的对比增强能谱乳腺摄影图像进行旋转、翻转、平移、增加噪声或增加对比度。

5.如权利要求2所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，图像的归一化处理包括：对增强后的图像进行全局对比度归一化处理。

6.如权利要求1所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，采用图像融合网络形成具有综合特征的融合图像，所述图像融合网络包括生成器和判别器，生成器包括特征提取子网络和融合网络，判别器用来区分融合图像和能谱对比增强图像。

7.如权利要求6所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，所述融合网络用于根据加权平均融合进行图像融合。

8.一种基于多模态融合的对比增强能谱乳腺摄影分类系统，其特征在于，包括：

图像获取模块，其用于获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；

预处理模块，其用于预处理对比增强能谱乳腺摄影图像；

多模态融合模块，其用于提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；

特征提取模块，其用于提取融合图像的特征；

图像分类模块，其用于将提取的特征输入到分类器中，输出图像分类结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。