[发明专利]一种注意力机制U型密集连接视网膜血管分割方法

权利要求书

1.一种注意力机制U型密集连接视网膜血管分割方法，其特征是，包括以下步骤：

步骤A01，视网膜血管图像预处理：

步骤A02，构建视网膜血管分割模型：

所述的视网膜血管图像预处理包括以下四个子步骤：

步骤A01.1，考虑到视网膜图像单一颜色通道会丢失部分颜色特征的现象，故采用RGB三通道的线性组合转换成单个强度通道，其定义如下：

I_pre＝a₁I_g+a₂I_R+a₃I_b (1)

式(1)中，I_pre表示三通道转换为单个通道图像；I_g,I_R,I_b分别为绿色、红色以及蓝色通道图像；a₁,a₂,a₃分别为绿色、红色以及蓝色通道图像的比例权重；给予绿色通道较大权重，能更多突出血管信息，而且将一定比例分给其他通道解决了部分图像绿色通道图像过暗和黄斑区域过分突出的现象；然后，将I_pre由双边滤波进行降噪得到图像I_d；

步骤A01.2，将经过去噪的视网膜图像I_d首先利用限制对比度直方图均衡化将图像分块进行对比度限幅，提升整体血管的对比度；其次，经过以内核为菱形的filter2D滤波补偿视网膜图像的轮廓信息，增强图像的血管边缘及灰度跳变的部分，进一步降低噪音与图像平滑后边界与轮廓模糊现象；

步骤A01.3，用局部自适应Gamma矫正图像伪影提升图像整体亮度，突出血管像素部分，并且降低CLAHE之后图像黄斑像素过分突出的现象；

步骤A01.4，将经过步骤A01.2与A01.3处理的图像由改进的多尺度形态学Top-Hat变换进行血管图像的整体增强，同时提取视网膜血管的微血管信息；通过控制图像边缘信息控制因子w_i，调整相邻血管像素尺度的差值，降低视盘与黄斑特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；改进的多尺度形态学Top-Hat模型定义如下：

式(2)中，n为视网膜图像像素索引，k是视网膜图像细节增强因子，I_r是经局部自适应Gamma增强的输入视网膜图像，f是改进的多尺度形态学Top-Hat增强后的图像，Dop_i与Dcl_i分别为视网膜图像亮细节与暗细节特征；控制因子w_i的值由下式给出：

式(3)中，Solfplus(·)为激活函数；e_imax与e_imin分别为e_i的最大值与最小值；e_i是视网膜图像膨胀与腐蚀之差；w_i的变化主要由视网膜图像的梯度信息决定；x，y为图像邻域像素值；

所述的构建视网膜血管分割模型包括编码、解码和视网膜血管分割三部分：

A02.1编码部分：

首先将改进的多尺度形态学Top-Hat增强后的图像f进行归一化处理，即

式(4)中，μ和σ分别为数据的平均值与标准差，x_p为归一化后图像，目的是将图像强制缩放到0到1之间；

将U-net解码部分与DenseNet网络相结合，即采用级联特征学习法的密集连接网络结构引入到U-net网络，通过U-net学习促进网络更加容易优化的同时，使得片内特征提取部分遵循DenseNet结构，缩短底层特征图到高层特征图之间的路径，保证层与层之间的最大信息流，进一步强化特征的传播能力；设l层的输出为x_l，则该模型第l层的输出定义为：

x_l＝H_l([x₀,x₁,…,x_l-1]) (5)

式(5)中，[x₀,x₁,…,x_l-1]表示0,1,…,l-1层输出的特征层合并，H_l(·)表示第l层的非线性映射；这种密集连接结构缩短了前后层的距离，因此可以强化特征传播，鼓励特征的复用；此外，DenseNet网络结构一个重要优势可以设定一个固定的特征图增长率因子K；设第l层提取K₀个特征图，则下一层的输出特征图数目为K₀+K×(l-1)，因此提取的特征图相比传统网络具有更少的输出维数，避免学习冗余特征，从而增强网络对视网膜血管分割的性能，可以更准确且更多地提取微血管特征信息，保证网络编码部分的特征提取能力；每一个卷积层利用线性修正单元ReLU激活函数进行特征提取；线性修正单元ReLU能有效地减少反向传播过程的梯度消失，降低网络计算复杂度，使得训练数据获得一定的稀疏性；线性修正单元ReLU激活函数定义如下：

ReLU(x_l)＝max(x_l,0) (6)

式(6)中，当x_l＜0时数据出现硬饱和状态，当x_l＞0时导数值恒为1；批量归一化BN放在网络中间可以不断地对中间输出进行优化调整，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性噪音造成梯度消失，并且具有较好地保持原有模型的表达能力；下采样层用来压缩和提取特征图特征，降低参数复杂度；

A02.2解码部分

为了捕获足够多的血管特征图信息，在标准的卷积神经网络CNN体系结构中对特征映射网络进行上采样；以此联系空间网络水平模型的位置和全局范围内血管组织的关系，并在此基础上引入AGs模型；AGs模型通过一个“跳过”连接传播特征，即不再经过上采样层，更重要的是AGs模型每跳过连接的选通信号可以聚集来自多个成像尺度的血管信息；AGs模型在不相关的背景区中会逐渐抑制特征响应，而不需要在网络之间裁剪感兴趣区域(ROI)，进而降低算法的计算复杂度，解决传统U-net卷积网络对特征图“注意力分散”的现象，使得血管权重与背景噪音权重具有明显差异，大幅度提高U型网络对背景的抗噪能力，降低假阳性率；定义AGs模型中注意函数为α_i，该函数主要用来识别显著图像区域和修剪特征，仅保留与特征任务相关的信息；AGs的输出特征图是输入特征图x_i,c和注意函数α_i的逐元素乘法，定义如下：

式(7)中，l是特征层，i是元素个数，c为常数项；

AGs的门注意函数α_i包含上下层的血管结构信息，用来修剪较低级别的特征响应；通过加性函数m_att来得到门注意函数α_i，其定义如下：

式(8)和(9)中，η为血管特征图学习参数；线性转换系数W_x,W_g分别为编码后的输入图像和金标准图像权重系数，b_g和b_η为偏置项；上标T与l分别为迭代次数与网络的特征层；σ₁为ReLU激活函数：σ₁(x)＝max(0,x)；σ₂(x_i,c)为sigmoid激活函数；AGs提取的血管特征包含在参数ξ_att中，是在血管特征参数ξ_att前提下进行计算加性函数m_att；x_i与g_i分别为编码后的输入图像与金标准图像；通过对g_i的分析决定AGs网络结构聚焦的感兴趣区域，剔除与视网膜图像病灶相关的噪音影响；

A02.3视网膜血管分割部分

视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用Adam算法优化损失函数交叉验证定义如下：

式(10)中，i表示分类个数，y为金标准，预测数据；最后由Softmax激活函数对血管图像精分割。

2.根据权利要求1所述的一种注意力机制U型密集连接视网膜血管分割方法，其特征是，具体实施为：

步骤A01，视网膜血管图像预处理

步骤A01.1采用RGB三通道的线性组合转换成单个强度通道I_pre，其定义如下：

I_pre＝a₁I_g+a₂I_R+a₃I_b (1)

式(1)中，I_g,I_R,I_b分别为绿色、红色以及蓝色通道图像；a₁,a₂,a₃分别为绿色、红色以及蓝色通道图像的比例权重，其系数分别为0.78，0.12和0.1；然后二值化[0,255]得到图像的掩模；

步骤A01.2首先，将步骤A01.1中视网膜图像先由双边滤波进行降噪，其中像素邻域直径为25，颜色空间Sigma为25×2，坐标空间Sigma为25/2；然后将经过降噪的图像I_d由水平网与垂直网为8×8的CLAHE增强血管的对比度；最后通过7×7的filter2D滤波对图像进行锐化，修复由双边滤波造成的边缘信息损失，补偿视网膜图像的轮廓信息；

步骤A01.3根据血管与背景的不同像素特征采用自适应局部Gamma值匹配，将视网膜图像分区域矫正光照不均匀等伪影信息，使得光照不均匀因素与中心线反射现象加以抑制，得到图像I_r；

步骤A01.4将图I_r通过改进的多尺度形态学Top-Hat变换，局部提取视网膜图像的微血管信息；通过控制图像边缘信息控制因子w_i，调整相邻血管像素尺度的差值，降低视盘与黄斑等特征信息的干扰，提高视网膜图像微小血管的多尺度亮、暗细节特征；改进的多尺度Top-Hat模型定义如下：

式(2)中，f为改进的多尺度形态学Top-Hat增强后的图像，Dop_i与Dcl_i分别为视网膜图像亮细节与暗细节特征，根据血管像素特征选取4个尺度[3,5,7,9]，细节增强因子k＝0.5，控制因子w_i的值由下式给出：

式(3)中，Softplus(·)为激活函数，e_imax与e_imin分别为e_i的最大值与最小值；e_i是视网膜图像膨胀与腐蚀之差，w_i的变化主要由视网膜图像的梯度信息决定；黄斑、宽血管与背景之间梯度信息较大，增强程度较弱；微小血管与背景梯度信息适中，为突出微小血管特征等隐藏细节，进行较大的增强；微小血管与主血管存在较小梯度信息，为避免微小血管过度增强致使分割结果变粗，增强程度相应减弱；

步骤A02构建视网膜血管分割模型

步骤A02.1编码部分：定义视网膜图像I(x,y)的邻域像素位置为N(x,y)，目标是通过卷积神经网络根据血管像素信息提取特征，将邻域中N(x,y)的每一个像素准确地识别为血管和背景；采用96×96的滑动窗口，迭代T＝100次；将改进的多尺度形态学Top-Hat增强后的图像f进行归一化处理，其定义如下：

式(4)中，μ和σ分别为数据的平均值与标准差，x_p为归一化后图像，目的是将图像强制缩放到0到1之间；

首先将归一化的图像x_p经过编码器，由卷积核为3×3四部分密集连接层网络结构提取相关血管特征，并设定特征图增长率因子K＝12控制特征参数的数目，提高特征提取的效率，降低特征图冗余度；接着将每层的前后层特征图信息进行合并并重复利用；其中密集连接层的卷积层的激活函数均采用修正线性单元ReLU；然后将视网膜图像特征图信息进行批量归一化BN，每次选取15个数据处理，用来降低模型训练中的协变转移，防止因视网膜图像存在病理性造成梯度消失，并且降低网络对初始参数选择的敏感性；密集连接层后均有一层具有平移不变性的2×2最大下采样层用以整合Dense block提取的血管特征，提高特征图感受野，减少后续训练的参数；

步骤A02.2解码部分：AGs根据金标准图像将输入图像血管权重系数W_x增大，削弱背景病理信息、视盘和黄斑权重比例，并且粗提取血管感兴趣区域ROI，其中AGs模型的注意函数为α_i，该函数主要用来识别显著图像区域和修剪特征，仅保留与特征任务相关的信息；AGs的输出特征图是输入特征图x_i,c和注意函数α_i的逐元素乘法，定义如下：

式(7)中，l是特征层，i是元素个数，c为常数项；

门注意函数α_i与加性函数m_att定义如下：

式(8)、式(9)中，η为血管特征图学习参数；线性转换系数W_x,W_g分别为输入图像和金标准图像权重系数，b_g和b_η为偏置项；上标T与l分别为迭代次数与网络的特征层；σ₁为ReLU激活函数：σ₁(x)＝max(0,x)；σ₂(x_i,c)为sigmoid激活函数；AGs提取的血管特征包含在参数ξ_att中，是在血管特征参数ξ_att前提下进行计算加性函数m_att；x_i与g_i分别为编码后的输入图像与金标准图像；

将AGs提取的特征图通过U型网络特性将编码部分的底层信息与解码部分的高层信息相结合通过3×3卷积层提取更加复杂的特征，从而提高微小血管的分割精度，使得设计的较浅层网络能够完成深层网络的分割性能；紧接着通过核大小为2×2的上采样层进行图像编码，恢复图像信息，并根据金标准图像与网络提取的血管特征信息补足粗分割的血管信息；

步骤A02.3视网膜血管分割部分：视网膜血管分割的整个训练过程通过交叉验证来最小化像素分割错误率，采用Adam算法优化损失函数其学习率为0.001，其中交叉验证定义如下：

式(10)中，i表示分类个数，y为金标准，预测数据；最后由Softmax激活函数对血管图像精分割，得到的血管分割结果不需要进一步的后处理即可得到较精细血管图像，不存在视盘和相关病理信息误分割的现象；

实验数据来自DRIVE数据库健康人的02_test视网膜图像。