[发明专利]基于梯度类激活图的眼部球结膜图像质量评估方法

说明书

本发明公开了一种基于梯度类激活图的眼部球结膜图像质量评估方法，包括：构建双路输入、多个分类任务联合学习的神经网络，分割眼部球结膜区域，将原始图像和球结膜掩模图像分别作为神经网络两路输入，并用4个分类任务作为神经网络监督。分别计算两路热图上的梯度类激活图，计算掩模特征图分别与类激活图的相似度，根据相似度对类激活图加以一致性约束，使神经网络关注球结膜区域。本发明首次提出该方法，将检查图像和掩模图像同时作为神经网络的输入，采用多任务的方式监督神经网络，直接将CAM图加入神经网络损失，显式地与神经网络交互，使得神经网络完全关注到球结膜区域，最终在球结膜图像质量评估中取得很好的结果。

技术领域

本发明属于图像质量评估领域，特别涉及一种基于梯度类激活图的眼部球结膜图像质量评估方法。

背景技术

裂隙灯显微镜是眼科最常用的仪器和设备之一，在眼科疾病的检查、诊断、治疗和随访过程中具有不可替代的重要作用。眼前部组织和结构是裂隙灯显微镜主要的成像区域，而球结膜作为判断眼前部疾病的重要参考区域，其成像质量好坏直接影响医生和自动算法对结膜充血等级和结膜疾病的判断，故将质量不好的图像实时反馈给成像设备操作者，可以优化整体的成像-诊断流程。

现有的技术主要对裂隙灯显微镜检查图像中虹膜区域进行图像质量评估，但由于拍摄焦点、角度、光线变化等因素，同一张图片中球结膜区域和虹膜区域往往呈现不同的图像质量。另一方面，现有的类激活图技术常用来解释(可视化)神经网络关注的区域；另有少量文献将类激活图加入到神经网络训练中，其中有的算法无法做到端到端训练，有的算法虽然可以端到端训练，但它们将CAM图作为另外一路的神经网络的输入，这种交互是隐式的，容易导致神经网络在通过数层卷积模块后无法再关注CAM图中希望神经网络关注的区域。

发明内容

本发明的目的在于针对上述现有技术存在的问题，提供一种基于梯度类激活图的眼部球结膜图像质量评估方法。

实现本发明目的的技术解决方案为：一种基于梯度类激活图的眼部球结膜图像质量评估方法，所述方法包括以下步骤：

步骤1，采集若干裂隙灯显微镜眼部检查图像，并将采集到的图像划分为4个数据集：训练集D1、验证集D2、测试集D3以及辅助集D4；

步骤2，对D1中的图像进行4个分类任务类别的标注，包括曝光程度、模糊程度、球结膜面积大小、图像质量好坏的标注，对数据集D2、D3中的图像进行图像质量好坏的标注，对D4中的图像进行球结膜区域的标注；

步骤3，求取D1、D2、D3中图像的球结膜区域掩膜图像；

步骤4，将步骤1中D1、D2、D3中的任意一幅图像和对应的步骤3获得的掩模图像分别输入两路卷积神经网络中，获得两组热图；

步骤5，将步骤4的两组热图分别进行全局池化，之后通过一个隐藏层与输出类别结点相连，并对步骤2中4个分类任务的标签做交叉熵计算损失；

步骤6，针对每个类别，分别在步骤4的两组热图上求取梯度类激活图，获得两组梯度类激活图；

步骤7，基于步骤6的类激活图计算一致性损失loss2；

步骤8，对步骤4中的掩膜图像进行下采样得到掩模特征图；

步骤9，一一对应求取步骤8中掩模特征图与步骤6中梯度类激活图的相似度，若相似度大于预设阈值th1，则将步骤7中对应的一致性损失置0，否则执行步骤10；

步骤10，一一对应求取步骤6中两组梯度类激活图间的相似度，若相似度小于预设阈值th2，则根据步骤9中的相似度进行神经网络参数的梯度固定；

步骤11，利用训练集D1训练步骤4至步骤10构建的神经网络，获得预测裂隙灯眼部检查图像球结膜区域图像质量的模型，利用该模型预测待测眼部球结膜图像的质量。