[发明专利]一种基于医学影像的视觉解释方法

说明书

本发明公开了一种基于医学影像的视觉解释方法，涉及图像识别技术领域，包括以下步骤：获取医学图像；将医学图像输入至基于子区域的融合预测模型，输出可视化解释；根据可视化解释对医学图像进行视觉解释；将医学图像输入至基于子区域的融合预测模型，输出可视化解释，包括：基于骨干网络的注意力机制对基于子区域的多尺度特征进行提取，基于骨干网络的渐进卷积结构对基于高分辨率的多尺度特征进行提取；基于融合颈部对提取的多个多尺度特征进行融合；基于预测头输出可视化解释。本发明提供的一种基于医学影像的视觉解释方法，在分类方面优于大多数强基线模型，并且可视化结果缓解了低分辨率和注意力漂移的问题，大大改善了主流的可视化方法。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于医学影像的视觉解释方法。

背景技术

基于术前图像的肿瘤分类任务可以有效地辅助治疗决策，被认为是计算机诊断的重要任务。许多基于数字图像和人工智能的方法已经被用于胶质瘤分级，卷积神经网络可以被认为是实现优异性能的有效方法。然而，确保预测的鲁棒性和生成基于卷积神经网络的分类器的良好可视化仍然是困难的。

清晰的可视化解释对于深度学习模型在医疗领域的应用具有重要价值。高分辨率的可视化解释可以展示模型用于预测的肿瘤部位(如水肿或坏死区域)，从而有效地说服临床医生，并为他们带来一些不同的影像学见解。

目前，已经提出的cam(类激活映射)，如Grad-CAM和Grad-CAM++，用于生成分类输出的可视化解释。由于多层卷积后的特征图包含丰富的空间和语义信息，这些方法往往在权重上引入梯度，并融合每个特征图来生成可视化解释。但是模型的语义相关的高级特征往往与低分辨率相关，这些“模型后”方法难以结合高分辨率特征。此外，由于“模型后”方法仅是近似的，不能准确地显示特征图的权重，低分辨率的特征图往往会导致视觉解释的漂移。

几乎所有的可视化方法都试图解释训练完成模型的预测结果，但在很多情况下，模型的设计可能已经导致了不合理的可视化解释。

发明内容

本发明实施例提供了一种基于医学影像的视觉解释方法，可以解决现有模型导致的不合理的可视化解释问题。

本发明提供一种基于医学影像的视觉解释方法，包括以下步骤：

获取医学图像；

将医学图像输入至基于子区域的融合预测模型，输出可视化解释；

根据可视化解释对医学图像进行视觉解释；

所述将医学图像输入至基于子区域的融合预测模型，输出可视化解释，包括：

基于骨干网络的注意力机制对基于子区域的多尺度特征进行提取，基于骨干网络的渐进卷积结构对基于高分辨率的多尺度特征进行提取；

基于融合颈部对提取的多个多尺度特征进行融合；

基于预测头输出可视化解释。

优选的，所述医学图像包括CT、MRI和超声图像。

优选的，所述基于骨干网络的注意力机制对基于子区域的多尺度特征进行提取，具体包括以下步骤：

输入医学图像F，并生成一个初步的注意力图M_S(F)；

通过聚类的方法将所述医学图像F分割为多个同质子区域P_λ；

通过同质子区域P_λ对注意力图M_S(F)进行矫正，获得基于子区域的注意力图M_C(M_S(F),P_λ)；