[发明专利]一种多模态融合辅助干眼诊断和分型的方法、装置及系统

权利要求书

1.一种多模态融合辅助干眼诊断和分型的方法，其特征在于，包括以下步骤：

获取视频和受检者的干眼症状相关指标，其中，所述视频包括所述受检的图像；

将所述视频内的至少一帧图像输入到预设的第一检测模型，获取受检者的睑板腺特征；

将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的泪河特征及睑缘形态特征；

根据所述泪河特征计算获得泪河高度，根据睑缘形态特征进行睑缘异常的分类；

将所述视频输入到预设的第三检测模型，获取所述受检者的泪膜形态特征及泪膜破裂时间；

将所述睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间以及干眼症状相关指标输入到多模态融合干眼诊断模型中，得到对所述受检者的干眼诊断及干眼分型结果。

2.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在获取视频和受检者的干眼症状相关指标中，还包括以下步骤：

通过5G网络获取视频和受检者的干眼症状相关指标。

3.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于：其中干眼分型结果包括水液缺乏型、脂质异常型、黏蛋白异常型、泪液动力学异常型、混合型。

4.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在将图像信息输入到预设的第二检测模型，获取图像信息中的泪河特征以及睑缘形态特征，包括以下步骤：

通过第二检测模型对图像信息进行分割处理，分割出睑缘图像区域和泪河图像区域；

选择睑缘图像区域和泪河图像区域；

获取泪河图像区域中的泪河特征，其中，泪河特征包括泪河上下缘、泪河长轴；

获取睑缘图像区域中的睑缘形态特征，其中，睑缘形态特征包括睑缘充血或新生血管、睑缘形态不规则、睑板腺开口堵塞、黏膜交界处前后移位。

5.根据权利要求4所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在选择睑缘图像区域和泪河图像区域中，包括以下步骤：

对睑缘图像区域和泪河图像区域进行二值化处理，根据二值图像的最大连通区域选择睑缘图像区域和泪河图像区域。

6.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，训练所述多模态融合干眼诊断模型的方法包括以下步骤：

获取训练数据，训练数据包括第一特征数据、第二特征数据以及干眼分类结果、干眼特征影像数据，其中第一特征数据包括泪膜形态特征、睑板腺特征，第二特征数据包括泪膜破裂时间、泪河高度、睑缘形态特征以及上传的干眼症状相关指标；

对第一特征数据、第二特征数据进行编码，并将第二特征数据的特征编码变换为与第一特征数据的特征编码相同的维度；

特征融合，将升维后的特征数据与干眼特征影像数据融合，获得融合特征；

使用融合特征作为深度学习模型的输入数据，并使用与融合特征对应的干眼分类结果作为金标准训练深度学习模型，直至收敛，得到多模态融合干眼诊断模型。

7.根据权利要求6所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在特征融合，将升维后的特征数据与干眼特征影像数据融合，获得融合特征中，包括以下步骤：

采用EarlyFusion的结构，直接将升维后的特征数据与干眼特征影像数据融合以学习两者之间的非线性相关性。

8.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于：在将上传的视频输入到预设的第三检测模型，获取泪膜形态特征中，还包括以下步骤：

引入视觉注意力机制基于时空特征以识别视频中每帧存在泪膜相关信息的图像区域排除其他不相关的图像区域。