[发明专利]一种基于全卷积神经网络的皮肤镜图像自动分割方法

权利要求书

1.一种基于全卷积神经网络的皮肤镜图像自动分割方法，其特征在于：该方法包括以下四个步骤：

步骤1：皮肤镜图像与真值图获取

①所用图像来源于医院专业皮肤镜设备拍摄得到的图像及网上公开的皮肤镜图像数据集，共9000幅，其中恶性1200幅，良性7800幅；

②对于每一幅图像，由专业皮肤科医生手动分割得到真值图；在真值图中，用0代表健康皮肤区域，1代表皮损区域；

步骤2：全卷积神经网络结构设计

典型的全卷积神经网络通过分层计算特征图得到分割结果，各层通过卷积核在本层特征图上的卷积计算得到下一层的特征图像；设x_ij为当前层位于(i，j)位置的特征向量，y_ij为下一层对应位置的特征向量，则卷积操作表示为：

其中，k为卷积核尺寸，θ为卷积层参数，f_ks决定了该层的运算类型，对于普通卷积层f_ks代表矩阵乘法运算，对于最大值池化层f_ks代表取最大值；网络通过学习样本集，反向传播梯度误差来学习θ的值；

所设计的网络结构由一个特征高维映射模块和多尺度特征提取模块组成，其中多尺度特征提取模块又分为全局特征提取和局部特征提取两个分支，具体设计思路如下：

①特征高维映射模块：由于皮肤镜图像复杂程度高，皮损区域分割是一项具有挑战性的任务，为了应对各种不同情况，所设计的网络应具有一定深度来提取更高层的特征；然而，考虑到皮肤镜图像数据较少，一个随机初始化的深度网络将需要很长时间及很难收敛，因此采用迁移学习的方法来减少网络学习时间并提高其鲁棒性；网络的低层网络部分由VGG-16网络的前十层fine-tuning得到；网络的具体结构如下所示：

CONV1(3×3×64)→CONV2(3×3×64)→MAXP1→CONV3(3×3×128)→CONV4(3×3×128)→MAXP2→CONV5(3×3×256)→CONV6(3×3×256)→CONV7(3×3×256)→MAXP3→CONV8(3×3×512)→CONV9(3×3×512)→CONV10(3×3×512)

其中“CONV”代表卷积层，括号内部分为该层卷积核参数即宽度×长度×数量，各卷积层后都连接着一个修正线性单元层“ReLU”，为了公式的简洁该层并未给出，“MAXP”代表最大值池化层，各层的最大值提取范围均为2×2；

②多尺度特征提取模块：当全卷积神经网络越来越深时，其分类的准确性和定位的精确度通常无法同时兼顾，这从很大程度上限制了网络的表现；造成这种情况的主要原因是下采样层随着网络加深而增多，在增大了感受野的同时也提高了模型的平移、旋转不变性，而不变性的提升降低了模型的定位能力；为了解决这个两难问题，本模块使用双分支结构提取不同尺度的特征，这样能同时保证模型的分类与定位性能；

全局分支：全局分支由VGG-16网络的第11层至第15层fine-tuning而成，为了避免定位能力的下降，该结构去掉了其中作为下采样层的最大值池化层；为了获取全局特征，该结构采用填零法即hole方法来扩大感受野即前三层扩大两倍，最后两层扩大十二倍；这种方法通过在每一个原始滤波器参数间填零来改变各层的卷积滤波器；这样，即使卷积滤波器的尺寸改变，也能实现fine-tuning；因此，全局分支在不因下采样而损失定位能力的情况下，向网络提供了全局特征；该分支的具体结构为：

HCONV1(6×6×512)→HCONV2(6×6×512)→HCONV3(6×6×512)→HCONV4(36×36×1024)→HCONV5(36×36×1024)

其中，“HCONV”表示使用填零法扩大了感受野的卷积层；

局部分支：局部分支由四个卷积核大小为3×3的卷积层组成，因为该分支结构简单，其滤波器参数都是随机生成的；与全局分支相比，局部分支的感受野更小，提取的是图像的局部特征，主要针对小面积皮损区域；分支的具体结构如下所示：

CONV11(3×3×512)→CONV12(3×3×512)→CONV13(3×3×1024)→CONV14(3×3×1024)；

步骤3：特征融合与逐像素分割方法设计

将一幅待分割的图像输入到所设计的卷积神经网络，经特征高维映射模块将特征映射至高维空间，采用全局分支和局部分支分别提取出全局特征和局部特征；从全局分支和局部分支的结构能知，每个分支最终的特征图均为1024幅；接下来需要对这些特征图进行融合并对每个像素进行是否为皮损的预测；具体步骤如下：

①将由全局分支和局部分支提取的各1024张特征图合并在一起，得到2048张用于分类的特征图；对这些特征图进行卷积，生成2张预测概率图，其中一张预测图各位置的值代表该位置属于健康皮肤的概率，另一张图则代表各位置属于皮损的概率；

②由于我们在特征高维映射模块中使用了三个最大值池化层，因此特征图的尺寸是原始图像的八分之一；为了与原始图像上的像素一一对应，使用双线性插值法放大预测概率图至原始图像尺寸；

③使用softmax分类器做逐像素预测，把每个像素的预测结果合并在一起，即能得到最终的二值化分割结果；

步骤4：网络训练与分割

在网络结构设计完成后，需要用足够的皮肤镜图像及其相应真值图训练后才能使用；网络训练过程分以下三个阶段：

①加载VGG-16网络的前十五层参数，并对其中第11至第15层的卷积核使用填零法来扩大尺寸；此时网络的特征高维映射模块和特征提取模块中的全局分支便已经建立，通过训练，更新两部分的卷积核；

②增加局部分支，采用均值为0的高斯分布进行各层参数的初始化，固定①阶段时训练好的高维映射模块参数，并屏蔽全局分支，第二次训练，更新局部分支的参数；

③融合全局分支和局部分支的特征，再次训练，同时更新高维映射模块、全局分支及局部分支三个部分的卷积核参数；

训练完成后，直接向网络输入一张待分割的皮肤镜图像，网络输出结果即是分割结果；

通过以上步骤，训练得到一个端到端的深度卷积神经网络，能够对皮肤镜图像做精准分割，同时对小面积皮损区域有效，解决了皮肤科计算机辅助诊断系统中，皮损区域分割不佳，影响后续诊断准确性的实际问题。