[发明专利]一种基于注意力机制的糖尿病视网膜病变图像检测方法

权利要求书

1.一种基于注意力机制的糖尿病视网膜病变图像检测方法，其特征在于：所述方法包括如下步骤：

A、眼底图像预处理的步骤；包括数据筛选、数据扩增和数据增强；

B、视网膜血管分割的步骤；包括构建注意力机制模型和训练所构建的模型；

首先，在U-Net网络中加入空间注意力机制，之后，沿着空间维度推断注意力图，并将注意力图与输入特征图相乘以进行自适应特征细化；之后，使用结构化的Dropout卷积块代替U-Net的原始卷积块；

C、眼底图像病变分级的步骤；采用EfficientNet作为Backbone，将网络宽度和网络深度以及图像像素大小进行复合融合，然后得到优化的网络，进行DR病变状况评估；

采用在EfficientNet中加入注意机制，之后，提取通道注意特征图，采用全局平均池化和Sigmoid作为激活函数，之后，通道注意力特征输出作为空间注意模块的特征输入；对于空间注意力，通过学习不同空间的权重去提取特征；对于通道注意力，通过学习通道注意权重，再对不同的DR等级特征进行分类。

2.根据权利要求1所述的一种基于注意力机制的糖尿病视网膜病变图像检测方法，其特征在于：所述的数据扩增和数据增强的操作，具体为：

第一、选用U-Net网络并进行改进，利用U-Net网络结构图形左块提取特征；对于特征提取这个U-Net网络中采用的是多个卷积层叠加、之间使用激活函数和多个池化层相加的方法，对图像特征进行提取，并且在网络模型中加入了非线性变换；本发明使用的激活函数为ReLU，；

对于右半边的网络结构，利用其在上采样的过程中特征的分辨率逐渐被放大，最后在端口输出时拥有和原输入图像相同的尺寸，并且每一次上采样中，都会通过跳跃结构将低层特征信息与高级特征信息在裁剪之后进行相互相拼接，参与拼接的两幅特征图像具有相同的分辨率；

第二、设置空间注意力模块；

对于卷积神经网络，CNN每一层都会输出一个C x H x W的特征图，C就是通道，同时也代表卷积核的数量，亦为特征的数量，H和W就是原始图片经过压缩后的图的高度和宽度，而空间注意力就是对于所有的通道，在二维平面上，对H x W尺寸的特征图学习到一个权重矩阵，对应每个像素都会学习到一个权重；所述的权重代表的就是某个空间位置信息的重要程度，将该空间注意力矩阵附加在原来的特征图上，增大有用的特征，弱化无用特征；

第三、设置PPM金字塔；

采用4种不同金字塔尺度，金字塔池化模块的层数和每层的size可修改，每层的size分别是1×1,2×2,3×3,6×6；首先，对特征图分别池化到目标size，然后对池化后的结果进行1×1卷积将channel减少到原来的1/N,这里N就为4；之后，对上一步的每一个特征图利用双线性插值上采样得到原特征图相同的size，之后，将原特征图和上采样得到的特征图按channel维进行concatenate；得到的channel是原特征图的channel的两倍，最后再用1×1卷积将channel缩小到原来的channel，最终的特征图和原来的特征图的size和channel是一样。

3.根据权利要求2所述的一种基于注意力机制的糖尿病视网膜病变图像检测方法，其特征在于：所述的建注意力机制模型和训练所构建的模型的过程是将WideResnet和Resnet网络的复合，具体为：

将网络宽度和网络深度以及图像像素大小进行一个复合融合，然后得到优化的网络；将EfficientNet用于糖尿病视网膜病变的特征提取网络，计算公式为：

式中，N表示分类网络，代表卷积操作，X表示输入张量，F表示基础网络层，i表示卷积层数，Li表示网络的深度；该网络通过调整3个维度进行优化，利用最优的3个维度的缩放参数，在满足模型参数和计算量达到最大化时，使模型的准确率有所提高；模型的最大精度记作Accuracy(N(d,w,r))，具体公式如式(3)：

其中，d、w和r分别表示网络深度、宽度和分辨率的倍率；变量α、β、γ的关系为：

α²×p²×γ²≈2，α≥1，β≥1，γ≥1 (4)

通过式(2)-(4)，利用EfficientNet网络进行图像的特征提取，将眼底图像的特征进行多维度融合。