[发明专利]图像多任务识别方法及电子设备

说明书

本发明提供一种图像多任务识别方法及电子设备，其中，图像多任务识别方法包括：将图像输入训练好的多任务机器学习模型；由多任务机器学习模型从图像中提取第一特征数据，并且根据第一特征数据确定第一识别结果，第一识别结果指示图像中的每个像素的类别；由多任务机器学习模型从图像和第一识别结果在通道维度上的堆叠图像中提取第二特征数据，并且根据第二特征数据确定第二识别结果，第二识别结果指示图像的类别；以及，由多任务机器学习模型输出第一和第二识别结果。多任务机器学习模型既具备高层次的综合语义分析能力，也具备像素级的识别能力，可以准确、可信地执行图像多任务识别。

技术领域

本发明涉及图像识别技术领域，具体而言，涉及一种图像多任务识别方法及电子设备。

背景技术

随着物质生活水平的提高，越来越多的人借助定期体检来了解自身的健康状况，定期体检能够帮助人们及时发现疾病从而及时诊治疾病，但定期体检伴随有流程复杂、具有侵入性等缺点。研究人员发现，高血压、动脉硬化、糖尿病等疾病在视网膜上会呈现相应的病理特征改变，而眼底图像的采集具有无创和便捷等优点，因此采集并识别眼底图像对人们的全身健康(包括眼健康)的高频率监测提供了可能性。

目前，基于深度学习的眼底图像智能识别技术已广泛应用于健康监测。例如，通过训练分类模型从眼底图像中提取近视眼底的豹纹、病理性近视的弥漫性萎缩等占据整个眼底绝大部分区域的特征，并根据提取出的特征识别疾病类别；或者，通过训练分割模型从眼底图像中识别出类似高血压眼底的动静脉交叉压迫症等尺寸为几十个像素的中小病灶，甚至糖网眼底前期的微血管瘤、零星出血点等尺寸为几个像素的微小病灶。然而，当前的分类模型仅关注全局性的高层次语义信息，缺乏细粒度的监督信号，难以识别出中小、微小病灶；当前的分割模型关注局部重点区域，甚至具备像素级的识别能力，但缺乏全局性的综合语义分析能力。

由于发病机理的不同，属于同一形态类别的病灶可能是由不同的疾病引起的，而同一类别的疾病也可能同时伴随多个类别的病灶，因此疾病类别和病灶类别之间存在多对多的关系。另外，不同类别病灶的组合在医学上也可能会对应不同类别的疾病。可见，仅识别出疾病类别可能无法准确地定位到病灶，而仅根据识别出的病灶也可能无法准确地判断疾病类别，因此需要一种模型同时具备全局疾病类别的综合语义分析能力和局部中小、微小病灶的识别能力，用于从眼底图像中识别出疾病类别以及相应的病灶。

发明内容

本发明实施例的目的在于提供一种图像多任务识别方法及电子设备，以解决上述现有技术中存在的问题。

本发明的一个方面提供一种图像多任务识别方法，该方法包括：将图像输入训练好的多任务机器学习模型；由多任务机器学习模型从所述图像中提取第一特征数据，并且根据第一特征数据确定第一识别结果；由多任务机器学习模型从所述图像和第一识别结果在通道维度上的堆叠图像中提取第二特征数据，并且根据第二特征数据确定第二识别结果；以及，由多任务机器学习模型输出第一识别结果和第二识别结果。其中，第一识别结果指示所述图像中的每个像素的类别，第二识别结果指示所述图像的类别。

所述图像可以是眼底图像；所述图像中的每个像素的类别为多种眼底生理结构类别、多种病灶类别或多种症状类别中的一种；所述图像的类别为多种疾病类别中的至少一种。

上述方法中，多任务机器学习模型包括共享特征提取器和第一识别器。上述方法中，从图像中提取第一特征数据并且根据第一特征数据确定第一识别结果包括：由共享特征提取器从图像中提取共享特征数据；以及，由第一识别器从共享特征数据中提取第一特征数据，并且根据第一特征数据确定第一识别结果。