[发明专利]一种基于多模态注意力机制的医学图像报告自动生成方法

说明书

本发明公开了一种基于多模态注意力机制的医学图像报告自动生成方法，使用关键词数据集训练图像特征提取模型，并用该模型提取与图像描述相关的视觉特征，并基于关键词注意力机制和空间注意力机制，利用多模态注意力机制生成联合的上下文向量；上下文向量被输入到了一个句子LSTM，展开几步，然后在每一步都会产生一个主题向量，主题向量表示了所需要生成的句子的语义；给定一个主题向量，单词LSTM以它作为输入，然后生成一个单词序列，用于形成一个句子，这个过程的终止由句子LSTM控制；最后将形成的所有句子组合到一起，列出标签列表，就完成了医学图像报告的自动生成。该方法能有效解决撰写医学图像报告耗时费力，容易出错的问题。

技术领域

本发明涉及神经网络、图像处理以及医疗领域，具体涉及一种基于多模态注意力机制的医学图像报告自动生成方法。

背景技术

医学成像广泛用于临床实践中用于诊断和治疗，对于没有经验的医生来说，报告写作可能容易出错，而对于有经验的医生来说，报告写作也是一件耗费时间和乏味的工作。医学图像报告的自动生成中存在一些挑战：首先，完整的报告包含多种异构形式的信息，包括发现和标记；其次，医学图像中的异常区域难以识别。

发明内容

本发明的目的是提供一种基于多模态注意力机制的医学图像报告自动生成方法，用以生成正确完整的医学图像分析报告，提高识别的准确率。

为了实现上述任务，本发明采用以下技术方案：

一种基于多模态注意力机制的医学图像报告自动生成方法，包括以下步骤：

构建关键词类别数据集，关键词类别数据集中的每个样本包括医学图像、对应的描述语句以及描述语句中关键词的类别；

构建图像特征提取模型，基于所述关键词数据集训练，训练图像特征提取模型；当接收到输入的医学图像后，训练好的图像特征提取模型用于提取医学图像的图像空间特征、图像全局特征和预测的关键词特征；

将提取到的图像全局特征和关键词特征送入关键词注意力机制，得图像的语义特征；将提取到的图像全局特征和图像空间特征送入空间注意力机制，得到图像的视觉特征；

利用多模态注意力机制将所述视觉特征和语义特征结合起来，同时捕获图像的视觉和语义信息，生成联合的上下文向量；

将上下文向量输入到一个句子LSTM中，通过多步展开，在每一步产生每个句子的主题向量；

基于每个句子的主题向量，通过单词LSTM生成每个句子的单词序列，单次序列用于形成一个句子；最后将形成的所有句子组合到一起，列出标签列表，完成医学图像报告的自动生成。

进一步地，所述构建关键词类别数据集，包括：

对于医学图像数据集{I，C}，I，C分别表示一张医学图像和对应的描述语句；通过关键词的词表构建，词频过滤，停用词、词性过滤，同义词合并，类别融合的步骤，构建关键词类别数据集{I，C，K}，其中K代表关键词类别。

进一步地，所述图像特征提取模型利用预训练好的ResNet网络，输入关键词类别数据集，对特征提取模型进行训练，使得模型所生成的特征与真实特征之间的多标签分类损失最小；在训练过程中，式1为基于关键词的图像理解的目标函数，式2表示最终的目标函数，有：

式中，θ是模型的参数；I为给定的医学图片，C为生成的描述语句，K为描述语句中的关键词类别；p(C，K|I；θ)表示给定医学图像I以及模型参数θ得到描述语句C和关键词类别集合K的概率；p(C|I，K；θ₁)为基于图片特征和关键词的语言模型；p(K|I；θ₂)为基于图片特征的关键词模型；θ₁、θ₂分别为语言模型和关键词模型参数。