[发明专利]一种具有混合编码器的高效皮肤病变分割方法

说明书

本发明涉及一种具有混合编码器的高效皮肤病变分割方法，针对现有技术不能准确分割病灶的问题，提出的技术方案为：首先使用CNN提取不同尺度的特征，接着Transformer对来自CNN特征映射的标记化图像块进行编码，作为提取全局上下文的输入序列。此外提出了多级特征级联融合，以实现编码与解码的特征分布。最后，在解码块中加入CBAM，以增强相邻级别特征的融合。在三个皮肤损伤分割的公共数据集(ISIC2018、ISIC2016和PH2)上验证了本发明的有效性和鲁棒性，在三个数据集上始终优于现有方法。

技术领域

本发明涉及一种具有混合编码器的高效皮肤病变分割方法，具体是一种将皮肤病变图像采用混合编码方式进行训练后得到分割结果的方法，属于皮肤病变图像分割处理技术领域。

背景技术

对于皮肤病变图像分割，传统图像分割方法主要有直方图阈值处理法、无监督聚类法、基于边缘和区域的方法、活动轮廓法和监督学习分割方法。传统的分割方法大多需要对输入的皮肤图像进行较为复杂的预处理，得到感兴趣的区域后，才开始后续的分割操作，步骤繁琐且约束性较强。不像传统方法依赖于手工特征，CNN实现了特征工程的自动化且只需对输入数据进行较少的预处理。因此，在过去几年中已成为皮肤病变图像分割的首选方法。但传统的CNN还存在诸多问题，由于卷积运算的内部局限性，通常会忽略全局上下文信息，造成误分割。因此，丰富的全局上下文信息可以有效定位皮损的位置和边界，从而提高分割性能。Transformer模型仅采用自注意力机制来捕获远程依赖关系，可以对全局上下文信息进行建模，但直接使用Transformer作为编码器提取特征，然后直接将特征上采样到全分辨率的密集预测输出，往往无法取得令人满意的结果。这是因为Transformer注重在所有阶段对全局上下文进行建模，但对低级特征信息获取不充分，导致其定位能力方面受到限制。

发明内容

为了克服现有技术的不足，使用极坐标转换作为训练数据的预处理步骤，采用编码解码结构。编码器是由CNN和Transformer组成的混合编码器，先通过CNN提取不同尺度的特征，然后Transformer将来自CNN特征图的标记化图像块编码为用于提取全局上下文的输入序列。相比传统的仅使用CNN提取特征，整个网络不仅通过Transformer建模了全局长距离依赖，而且CNN还捕获到了足够多的细节特征。此外，采用多级特征级联融合模块来增强endocer和decoder中两个特征图之间的特征融合，并在解码块中添加CBAM以增强相邻级别特征的融合。

按照本发明提供的技术方案，提出了一种具有混合编码器的高效皮肤病变分割方法，包括以下步骤：

步骤一：确定训练集和测试集，对彩色图像进行极坐标转换的预处理；

步骤二：构建CNN和Transformer的混合编码模块；

步骤三：构建多级特征级联融合模块；

步骤四：构建双注意力解码模块；

步骤五：将所述的混合编码模块、多级特征级联融合模块和双注意力解码模块组成网络模型，构建基于CNN和Transformer的皮肤病变图像分割网络模型并对模型进行训练，得到所需的分割网络；

步骤六：将测试集输入步骤五得到的分割网络，得到分割后的图像。

所述步骤二具体包括：

S2.1：对预处理后的图像数据X∈R^H×W×3输入到ResNet50组成的CNN特征提取网络中，其中H×W是图像分辨率，3是通道数，实现图像数据从高分辨率图像到低分辨率图像的转换，完成像素的粗提取，同时保留N层中低层特征(N≤3)；