[发明专利]基于梯度类激活图的眼部球结膜图像质量评估方法

权利要求书

1.一种基于梯度类激活图的眼部球结膜图像质量评估方法，其特征在于，所述方法包括以下步骤：

步骤1，采集若干裂隙灯显微镜眼部检查图像，并将采集到的图像划分为4个数据集：训练集D1、验证集D2、测试集D3以及辅助集D4；

步骤2，对D1中的图像进行4个分类任务类别的标注，包括曝光程度、模糊程度、球结膜面积大小、图像质量好坏的标注，对数据集D2、D3中的图像进行图像质量好坏的标注，对D4中的图像进行球结膜区域的标注；

步骤3，求取D1、D2、D3中图像的球结膜区域掩膜图像；

步骤4，将步骤1中D1、D2、D3中的任意一幅图像和对应的步骤3获得的掩模图像分别输入两路卷积神经网络中，获得两组热图；

步骤5，将步骤4的两组热图分别进行全局池化，之后通过一个隐藏层与输出类别结点相连，并对步骤2中4个分类任务的标签做交叉熵计算损失；

步骤6，针对每个类别，分别在步骤4的两组热图上求取梯度类激活图，获得两组梯度类激活图；

步骤7，基于步骤6的类激活图计算一致性损失loss2；

步骤8，对步骤4中的掩膜图像进行下采样得到掩模特征图；

步骤9，一一对应求取步骤8中掩模特征图与步骤6中梯度类激活图的相似度，若相似度大于预设阈值th1，则将步骤7中对应的一致性损失置0，否则执行步骤10；

步骤10，一一对应求取步骤6中两组梯度类激活图间的相似度，若相似度小于预设阈值th2，则根据步骤9中的相似度进行神经网络参数的梯度固定；

步骤11，利用训练集D1训练步骤4至步骤10构建的神经网络，获得预测裂隙灯眼部检查图像球结膜区域图像质量的模型，利用该模型预测待测眼部球结膜图像的质量。

2.根据权利要求1所述的基于梯度类激活图的眼部球结膜图像质量评估方法，其特征在于，步骤3所述求取D1、D2、D3中图像的球结膜区域掩膜图像，具体包括：

步骤3-1，利用U-Net对D4中的图像进行训练，获得一个预测眼部球结膜区域的模型；

步骤3-2，利用所述模型对D1、D2、D3中的图像进行球结膜区域预测，获得每幅图像对应的球结膜区域的掩膜图像。

3.根据权利要求2所述的基于梯度类激活图的眼部球结膜图像质量评估方法，其特征在于，步骤4所述将步骤1中D1、D2、D3中的任意一幅图像和对应的步骤3获得的掩模图像分别输入两路卷积神经网络中，获得两组热图，具体包括：

步骤4-1，对步骤1中D1、D2、D3中的任意一幅图像和对应的步骤3获得的掩模图像进行统一缩放；

步骤4-2，将缩放后的两幅图像分别输入到两路不同初始参数的卷积神经网络VGG16的卷积层部分中；其中VGG16的卷积层部分包括VGG16网络中含有16个卷积层的前半部分，不包括全连接层部分；

步骤4-3，通过前向传播得到两组热图，其中热图指卷积神经网络最后一个卷积层输出的一组特征图。

4.根据权利要求3所述的基于梯度类激活图的眼部球结膜图像质量评估方法，其特征在于，步骤5所述将步骤4的两组热图分别进行全局池化，之后通过一个隐藏层与输出类别结点相连，具体包括：

步骤5-1，将步骤4中的两组热图HM1、HM2分别通过全局平均池化得到两组1x1大小的特征图；

步骤5-2，将两组特征图分别通过两个独立的全连接层得到两个向量，将两个向量逐元素相加得到新的向量v用于表征隐藏层；

步骤5-3，将步骤5-2中的隐藏层通过新的全连接层与4个分类任务的输出类别结点相连；其中某一个输出类别节点为分类任务的某一个类别。