[发明专利]一种于基于弱监督注意力的脑CT医学报告自动生成方法

说明书

本发明提出一种基于弱监督注意力的脑CT医学报告自动生成的方法，涉及医学图像，计算机视觉和自然语言处理三个领域，设计了一种弱监督注意力机制WGAM明确地引导注意模型聚焦于病灶区域，从而提高医学报告生成的准确性。WGAM是一个层级结构，包括空间注意力和序列注意力两种注意力机制，其中空间注意力被梯度加权类激活映射算法弱监督以获得更好的注意力效果。设计了关键词驱动的交互循环网络KIRN作为语言生成模块生成脑CT医学报告，通过包含病灶位置信息的关键词信息激活语言生成模块的隐藏层状态，通过LSTM^word和LSTM^sen的动态交互提升生成脑CT影像报告生成的准确性。本发明首此探索脑CT医学报告自动生成的工作，并取得了有效性。

技术领域

本发明涉及医学图像，计算机视觉和自然语言处理三个领域，针对脑CT医学报告自动生成目标，设计了一种基于弱监督注意力的脑CT医学报告自动生成方法。

背景技术

如今医学影像技术在实际治疗中不可或缺，许多疾病都需要患者拍摄医学影像并由医生诊断后才可确诊与治疗。在许多国家中，放射科医生每天可能需要阅读数百张放射图像，并将其诊断结果写成报告。而医生诊断医学图像，并将每幅图像的分析结果输入计算机的过程需要5-10分钟，这占用了他们大部分的精力和时间。

众多医学影像技术中，颅脑影像(脑CT)可以用于诊断许多脑血管疾病，如脑出血、脑梗塞、蛛网膜下腔出血、脑内血肿等，这些疾病的共同特点为引起脑组织的缺血或出血性意外，快速且准确地确诊疾病对于临床治疗十分重要。因此，辅助医生更高效的发现病灶和书写医学报告具有较高的研究与应用价值，其中自动生成医学影像报告是确诊的关键一环，对于提升医生的诊断效率和准确率具有重要的意义。

医学报告生成是近年来医学与计算机交叉领域的新兴研究方向，其目标是为一副医学影像自动生成连贯且符合逻辑的医学报告。目前该工作的数据载体主要为胸部X光影像及其对应的诊断报告，脑CT医学报告生成任务尚未被探索。与其他影像数据相比，脑CT影像为多个序列，具有三维性；病灶具有连续与稀疏性；报告内容复杂，具有更强的非结构化性。

大多数现有的医学报告自动生成方法均采用自然图像描述领域中的编码器-解码器框架，该框架使用CNN等神经网络结构作为编码器提取输入图像的视觉特征，使用RNN等循环神经网络作为解码器生成自然流畅的语句。为了进一步提升图像描述的准确性和更好的对齐图像和文本特征，注意力机制被引入到编码器-解码器框架中。注意力机制源于对人脑视觉系统的研究，认知科学研究表明，由于神经系统信息处理的瓶颈，人脑会有选择性地关注所有信息中的重要部分，同时忽略其他无用的信息。目前注意力机制(AttentionMechanism)被广泛应用于许多图像处理相关领域，该机制通过对不同特征分配不同的权重，使得模型可以选择性地关注特征中重要的一部分，同时忽略其他可见的信息。医学报告生成中引入注意力机制可以模仿医生的阅片经验，有重点的关注医学影像的视觉信息，从而使生成的单词更加准确。

现有的基于注意力机制的医学报告自动生成的方法不考虑先验知识，比如可能的病灶区域位置，脑CT医学报告生成需要更多的集中在微小的病灶区域。因此，不引入任何先验知识，仅仅让模型通过梯度下降方法学习到对这些微小病灶区域赋予较大注意力权重是极其困难的。受引导注意力机制和梯度加权类激活映射(Grad-CAM)的启发，本发明试图在脑CT医学报告自动生成方法中使用Grad-CAM方法引导注意力机制准确地捕捉重要病灶所在区域从而生成准确的脑CT报告。

发明内容