[发明专利]基于医学图像进行疾病预测的装置、方法和可读存储介质

说明书

本申请涉及一种基于医学图像进行疾病预测的装置、方法和计算机可读存储介质。该装置包括：处理器；以及存储器，其存储有基于医学图像进行疾病预测的程序指令，当所述程序指令由处理器运行时，使得所述装置执行以下操作：使用分类模型对待测医学图像进行疾病分类，以获得基于所述待测医学图像的初始分类结果；以及使用自然语言模型对所述初始分类结果进行推理，以获得基于所述待测医学图像的疾病预测结果。根据本实施例的装置，可以无需依赖于人为制定的复杂推断规则，并能够实现真正意义上的自动化疾病预测。

技术领域

本申请一般涉及图像处理技术领域。更具体地，本申请涉及一种基于医学图像进行疾病预测的装置、方法和计算机可读存储介质。

背景技术

在目前的医学检查中常常通过获取医学图像，以从医学图像中获取疾病信息。例如，人的眼底包含丰富的血管，通过使用包括眼底相机、OCT(Optical coherencetomography)等专用的医疗设备对眼底区域进行拍摄，以便通过拍摄得到的眼底图像来检测眼底的状态。随着人工智能技术的不断发展，利用人工智能技术对医学图像进行处理，可以通过机器学习医学图像的特征以进行分析。

然而，虽然现有的一些深度学习模型可以从图像中学习丰富的特征信息，但是其输出的仅是基于图像进行疾病发生概率预测的概率分数，仍需要人为制定复杂的逻辑规则来对模型输出的概率分数进行筛选，无法实现真正意义上的全自动的疾病预测。另外，这样的筛选过程需要依赖人们的经验，从而对最终预测结果的准确性产生影响。有鉴于此，亟需提供一种能够实现真正意义上的自动化预测装置，以基于医学图像实现更加准确的疾病预测。

发明内容

为了至少解决如上所提到的一个或多个技术问题，本申请在多个方面中提出了一种基于医学图像进行疾病预测的装置、方法和计算机可读存储介质。

在本申请的第一方面中，本申请提供一种基于医学图像进行疾病预测的装置，包括：处理器；以及存储器，其存储有基于医学图像进行疾病预测的程序指令，当所述程序指令由处理器运行时，使得所述装置执行以下操作：使用分类模型对待测医学图像进行疾病分类，以获得基于所述待测医学图像的初始分类结果；以及使用自然语言模型对所述初始分类结果进行推理，以获得基于所述待测医学图像的疾病预测结果。

在本申请的一个实施例中，所述分类模型包括主干网络和与所述主干网络连接的第一分类器，当所述程序指令由处理器运行时，还使得所述装置在使用分类模型获得初始分类结果中执行以下操作：使用主干网络对待测医学图像进行特征提取，以获得所述待测医学图像中的病灶特征；以及使用第一分类器基于所述病灶特征输出待分类病种的单病种得分。

在本申请的另一个实施例中，当所述程序指令由处理器运行时，还使得所述装置在使用自然语言模型进行推理中执行以下操作：将单病种得分对应的待分类病种进行编码，以生成用于表示所述待分类病种的第一词向量；将每个第一词向量与相应的单病种得分相乘，以得到第一相乘结果；以及使用自然语言模型对所述第一相乘结果进行推理。

在本申请的又一个实施例中，所述分类模型还包括与所述主干网络连接的第二分类器，当所述程序指令由处理器运行时，还使得所述装置在使用分类模型获得初始分类结果中执行以下操作：使用第二分类器基于所述病灶特征输出与所述待分类病种相关的病种细分得分。

在本申请的一个实施例中，当所述程序指令由处理器运行时，还使得所述装置在使用分类模型获得初始分类结果之前执行以下操作：根据待分类任务中的待分类病种的数量，确定第一分类器的数量，使得每个第一分类器用于输出相应的一个待分类病种的单病种得分；以及根据待分类病种之间混淆关系的数量，确定第二分类器的数量，使得每个第二分类器用于输出相应的一个混淆关系中的病种细分得分。

在本申请的另一个实施例中，当所述程序指令由处理器运行时，还使得所述装置在使用自然语言模型进行推理中执行以下操作：使用预设阈值对初始分类结果进行筛选，以获得筛选后的分类结果；以及使用自然语言模型对筛选后的分类结果进行推理。