[发明专利]基于多任务学习的乳腺超声图像目标区域识别方法及系统

权利要求书

1.基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，包括：

采集患者原始乳腺超声图像并进行预处理；

基于预处理后的乳腺超声图像，利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割；

所述多任务学习模型包括共享特征提取网络、图像分类子网络以及图像分割子网络组成；所述图像分类子网络和图像分割子网络分别与共享特征提取网络连接；

所述共享特征提取网络指的是参与到分类与分割任务的共享参数神经网络层，所述图像分类子网络及图像分割子网络，是分别实现分类及分割功能的网络层；

所述多任务学习模型的训练过程，具体为：获取患者原始乳腺超声样本图像并进行预处理；对预处理后的乳腺超声样本图像进行标签制作，确定带标签的乳腺超声样本图像；将带标签的乳腺超声样本图像拆分为训练集和测试集；利用训练集，训练多任务学习模型，得到训练好的多任务学习模型；基于测试集，利用训练好的多任务学习模型进行性质判断和目标区域分割，验证训练好的多任务学习模型的有效性；

其中，所述利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的的乳腺超声图像进行目标区域分割，具体为：

对预处理后的乳腺超声图像进行分块，得到乳腺超声分块图像；

基于乳腺超声分块图像进行四次下采样处理，提取不同尺度的深层特征图；

基于第四次下采样后的深层特征图进行图像分类，得到乳腺超声图像的性质判断结果，同时将第四次下采样后的深层特征图输入到第一层转置卷积层进行上采样；

将前三次下采样提取到的不同尺寸的深层特征图与前三层转置卷积层的输出特征图进行融合连接再输出到下一层转置卷积层进行上采样，得到乳腺超声目标区域分割识别结果。

2.如权利要求1所述的基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，利用预先训练好的多任务学习模型对预处理后的乳腺超声图像的进行性质判断，判断结果为带有不规则区域的乳腺超声图像和带有规则区域的乳腺超声图像。

3.如权利要求1所述的基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，所述共享特征提取网络是以Swin Transformer网络作为主体框架的特征提取网络，包括图像分块层、以及包含Swin Transformer Block的4个stage；

所述共享特征提取网络的作用是对输入乳腺超声图像进行深层特征提取，具体为：

所述图像分块层对输入乳腺超声图像进行Patch Partition预处理；

预处理后的乳腺超声图像依次输入到各个stage进行下采样，完成图片深层特征的提取；

得到不同尺度的深层特征图。

4.如权利要求1所述的基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，所述图像分类子网络由两个全连接层及激活函数层组成；第一个线性全连接层后接ReLU激活函数，然后连接的第二个线性全连接层，最后经过softmax激活函数进行分类输出，对乳腺超声图像进行性质分类。

5.如权利要求1所述的基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，所述图像分割子网络由4个上采样的转置卷积层组成，并利用跳跃连接将前三个转置卷积层上采样输出的特征图与共享特征提取网络中前三次下采样层中同等大小输出的特征图相连接，从而更好地融合深层与浅层特征，最终输出乳腺超声图像的分割结果。