[发明专利]一种基于视觉问答方法的医疗影像报告生成方法

说明书

本发明公开了一种基于视觉问答方法的医疗影像报告生成方法，涉及计算机视觉方向的图片处理领域和自然语言处理的问答领域，包括问答数据集生成模块、视觉问答模块和报告生成模块，其中，所述问答数据集生成模块可以基于现有医疗影像报告生成可供视觉问答模型训练的数据集，所述视觉问答模块基于医疗影像图片和给定问题生成回答。该方法生成的报告内容有实际意义且有据可循，可帮助影像科实现更少人手、更短时间内完成更多的诊断。

技术领域

本发明涉及计算机视觉中的医疗影像分析领域和自然语言处理中的文本生成领域，尤其涉及一种基于视觉问答方法的医疗影像报告生成方法。

背景技术

医疗影像报告生成任务由于其复杂的背景而面临巨大的挑战。随着科学技术的不断发展，人类已经发明出了多种辅助诊断的手段，但无论是哪一类辅助诊断方法，都需要仍旧需要人类医师对图片内容进行进一步解读，才能用于后一步治疗和处理。近年来，医学影像技术的快速发展大大提高了医疗水平。但医师数量的增长远不及影像数量的增长，且具有专家诊断水平的医生耗时漫长。而放射科医师数量不足则会直接带来很多隐患，最直接的体现便是繁重的任务带来较高的误诊、漏诊率。

医师任务繁重给医疗体系带来巨大压力，但其对应面则是医疗影像图片的样本量巨大，针对同一类医疗影像图片可以有大量不同样本，且医院大多有数据存档，样本的获取成本较低，这为深度学习在医疗影像上的应用扫清了障碍。近年来随着深度学习的不断发展，其中对目前已经有很多机构开启了医疗图片的研究。深度学习在图像领域取得了突破性进展，已经成为人工智能的一个热潮，而一些在普通通用图片数据集上诞生的模型也被修改后应用到了医疗影像上，并获得了相当不错的结果，利用深度学习辅助医疗影像的信息分析，可以提高检测精度或减少人类专家的阅读时间。目前主流的研究方向包括医学影像的分类、医学影像的检测和医学影像的分割。为了生成一个语义连贯的报告，该模型需要将视觉信息和语义信息以适当的方式结合起来，然后为相应的图像提供准确的描述，这应该与医学领域的知识相一致。

因此本领域的研究人员目前主要使用图片标题生成等主要基于文本生成的自然语言处理方法来生成医疗影像报告。但实际上医疗领域的数据集普遍偏小，因此模块在训练过程中效率较低。即便是能给出一定结果的模型，也往往耗费大量算力让循环神经网络学习当前句子与前一个句子之间的关系。但是在诊断报告中，医师们列出的结果在逻辑上是并行而非递进的。因此学习不同的描述顺序可能是毫无意义的，因为句子顺序在很大程度上是由医师的写作习惯决定。此外，已有方法基本上都需要医师参与数据集的构造过程，也即为图片增加标签，这种做法固然可以在现有数据集上获得较好的实验结果，但模型无法直接拓展到其他数据集上。利用已有医疗影像图片和报告文本直接生成训练数据集才能实现模型的鲁棒性。

因此，本领域的技术人员致力于一种不需要医师参与标注的方法。该方法可生成包含医疗影像报告核心内容而非无意义词汇，通过分析获取医疗影像报告中的核心内容并将其转化为问题-回答组合对，利用视觉问答这一成熟模型让训练的目的性更清晰，实现在更短时间内获得更高准确性，生成报告中的核心内容也更稳定。

发明内容

有鉴于现有技术的上述缺陷，本发明要解决的主要问题是如何设计一个医疗影像报告生成方法，仅借助现有数据集，不需要医师提供过多额外帮助，且可以生成准确性较高而非单词重复率较高的影像报告。

为实现上述目的，本发明提供了一种基于视觉问答方法的医疗影像报告生成方法，包括问答数据集生成模块、视觉问答模块和报告生成模块，其中，所述问答数据集生成模块可以基于现有医疗影像报告生成可供视觉问答模型训练的视觉问答数据集，所述视觉问答模块基于所述医疗影像图片和给定问题生成回答。

进一步地，所述方法包括训练阶段和运行阶段，所述训练阶段会根据现有所述医疗影像报告生成所述视觉问答数据集并基于所述视觉问答数据集进行深度神经网络训练，所述运行阶段可直接根据所述医疗影像图片生成诊断报告。

进一步地，所述训练阶段包括如下步骤：