[发明专利]一种多模态融合辅助干眼诊断和分型的方法、装置及系统

说明书

本申请涉及一种多模态融合辅助干眼诊断和分型的方法、装置及系统，包括以下步骤：获取图像、视频和受检者的干眼症状相关指标；根据受检者的睑板腺红外照相和睑缘照相，获取受检者的睑板腺特征、泪河特征、睑缘形态特征以及泪河高度；根据睑缘形态特征进行睑缘异常的分类；获取受检者的泪膜形态特征及泪膜破裂时间；将睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间及干眼症状相关指标输入多模态融合干眼诊断模型中，明确受检者是否存在干眼及干眼的分型。本申请减少了以往干眼指标评估过程中医生人为因素对结果准确性的干扰，同时提高了各项干眼指标的评估速度，辅助人工来完成干眼的多模态快速自动化诊断，并指导治疗方案。

技术领域

本申请涉及医疗设备技术领域，尤其是涉及一种多模态融合辅助干眼诊断和分型的方法、装置及系统。

背景技术

干眼是最常见的眼表疾病之一，干眼患病与地区干燥的气候、强风沙、强紫外线等地理气候因素密切相关，而这些地区往往幅员辽阔，人口密度相对较低且医疗资源分布不平衡且交通不便，导致了患者就医率较低，干眼诊断率低。患者患病后不予重视，常导致错过最佳治疗时机，干眼发展至严重影响正常生活，乃至失明等不可挽回的严重后果，极大的影响了我国新疆等西部地区人民群众的健康，将对医疗卫生投入和国民经济发展造成较大的负担。

为了便于区分干眼病，2020年中国干眼专家共识提出了干眼的全新诊断指标，符合以下两条，即可诊断为干眼：（1）有干涩感、异物感、烧灼感、疲劳感、不适感、眼红、视力波动等主观症状之一，中国干眼问卷量表≥7分或OSDI≥13分；（2）符合以下两点之一：a、TFBUT（泪膜破裂时间）≤5秒或NIBUT（非侵入性泪膜破裂时间）10秒或SchirmerI（泪液分泌）试验≤5mm/5min，b、5sTFBUT≤10s或TNIBUT为10～12秒或5mm/5minSchirmeI试验（无麻醉）≤10mm/5min，角结膜荧光素染色阳性（≥5）个点。专家共识根据泪膜的结构和动力学的异常，将干眼分为5种类型：水液缺乏型干眼；黏蛋白异常型干眼；脂质异常型干眼；泪液动力学异常型干眼；混合型干眼。而评估泪膜的主要指标包括泪膜破裂时间、角膜荧光素染色、泪膜破裂模式、泪液分泌试验、泪河高度、睑缘形态、睑板腺形态红外照相等。

干眼临床评估体系欠缺精准性和客观性，除了NIBUT是相对客观的数字指标，泪河高度、泪膜破裂模式、睑缘形态和睑板腺形态的评价指标都是主观的观察性指标，受观测者因素影响大，存在较大的变异性。尤其是各类图像数据，是干眼评估体系中的难点。如睑板腺形态、泪膜形态特征中可能存在潜在肉眼难以观察或尚未发现的有助于诊断的特征，且睑板腺形态的分析，绝大多数的研究还是在根据睑板腺萎缩的比例来进行分级，这种定性方法简单粗略，适合人工评估，存在不能进行精确地定量分析，更无法指导进一步深入的研究的缺陷。

近年来，多模态融合技术快速发展，为医学人工智能辅助诊断提供了强大的技术支持。多模态融合技术是指将两种或两种以上的生物模态识别技术进行集成，结合数据融合技术，使识别和诊断过程更加准确和安全。目前主流的干眼人工智能辅助诊断方法采用的数据单一，无法学到模态间更深层更复杂的内在联系。

在干眼相关的AI研究中，自动识别NIBUT和TMH的研究相对简单和成熟，泪膜破裂模式、泪膜脂质层形态的分析是分类研究，也是CNN网络擅长的工作，目前整个干眼相关的AI系统研究难点在于睑板腺腺体形态的定量评价和多因素综合的多模态融合诊断。早期的研究中，CNN在睑板腺萎缩分级的自动评价中被证明是有效的。

针对上述中的相关技术，这些研究仍然聚焦于睑板腺萎缩百分比和萎缩分级上，无法提取出各腺体的形态参数，且眼科疾病远程诊断具有实时性要求高、数据量大、数据模态多等特殊性，导致干眼病诊断的效率低以及不准确。

发明内容

为了提高干眼病诊断的效率以及准确度，本申请提供一种多模态融合辅助干眼诊断和分型的方法、装置及系统。

本申请提供的一种多模态融合辅助干眼诊断和分型的方法采用如下的技术方案。