[发明专利]一种基于深度学习方法的自动生成医学影像诊断报告的方法

说明书

本发明公开了一种基于深度学习方法的自动生成医学影像诊断报告的方法，所述方法步骤如下：一、基于LDA算法对诊断报告进行主题聚类，将诊断报告按照主题分别进行保存；二、将主题向量作为每一个医学影像的标签；三、将大小不同的CT图和PET图缩放到相同大小作为训练数据，主题向量作为标签，以VGGNet‑19为网络模型进行训练，得到主题向量生成模型；四、构建文本生成模型；五、根据每一张图片的主题向量，匹配对应主题的文本，得到图像的诊断报告。该方法能够适用于图像有病灶标注的场景；不需要医生过多地人工总结训练数据标签，仅需要病灶的位置、大小标注即可，在提高正确率的同时有效减少了医生的工作。

技术领域

本发明属于放射医学技术领域，涉及一种医学影像诊断报告生成方法，具体涉及一种基于深度学习方法的自动生成医学影像诊断报告的方法。

背景技术

在放射医学中，影像医师通常借助CAD(计算机辅助检测系统)例如CT(电子计算机断层扫描)、PET(正电子发射型计算机断层显像)得到患者的影像信息。影像信息保存于dicom格式的文件中，dicom文件除主要的像素信息外，还包含患者的姓名、性别、年龄、影像类型、影像序列号等一系列信息。放射医师总结医学影像信息得到检查所见，并根据自身经验得出患者的诊断意见，生成诊断报告。诊断报告包括患者基本信息、检查部位、影像医师的检查方法与诊断，反映了影像医师对影像信息的分析过程和结论，为临床医生诊断疾病和确定治疗方案提供了重要依据。CAD在放射性医学诊断中占据核心的位置，所有的疾病诊断都是基于CAD的输出结果做出的。其中CT图像和PET图像被广泛地应用在异常解刨学例如肿瘤的相关检测。其中，CT图用于判断器官在形状上的异常情况，PET图用于判断器官在代谢强度上的异常情况。但是，对于经验缺乏的放射医师，尤其是在CAD设备非常落后地区工作的医师，撰写影像报告非常困难。对两类医学影像观察总结需要影像医师具有大量的经验以及专业知识，例如针对肺癌而言，医生需要熟练掌握肺部生理特征的基本知识、分析放射影像的技能、肺癌诊断方法的现状及历史、其他相关诊断的信息等。即使对于经验和知识都非常丰富的医师来说，基于医学影像撰写诊断报告都是非常耗时的，尤其是在人口较多的国家，影像专家的供不应求导致死亡率居高不下，繁重的工作更让医师的误诊率大大提高。

一种基于深度学习的方法：自动生成医学影像报告(B Jing,P Xie,E Xing.Onthe Automatic Generation of Medical Imaging Reports.arXiv:1711.08195v2[cs.CL]25Nov 2017.)，算法整合了三个模型：CNN、sentence LSTM、word LSTM。算法将三个模型的损失加权求和，统一进行损失优化。同时在sentence LSTM中使用了注意力(attention)机制，提高了所生成的报告对影像局部的描述能力。

算法使用了IU X-Ray数据集，该数据集的每一条数据都包括一张含有病灶的X光影像、一句诊断意见(Impression)、一到多段的检查所见(Findings)、几个用于描述影像的关键词(MTI Tags)，数据样例如图1所示。

该算法的整体结构如图2所示，首先对MTI Tags进行词嵌入，使得每一张图片都对应一个标签向量，标签向量的维度为MTI Tags词表的大小，向量某个元素为1代表图像拥有对应位置所代表的MTI Tags。将胸部X光图像作为训练输入，标签向量作为标签，训练CNN模型，提取CNN的最后一个全连接层作为视觉特征(visual feature)，训练得到的输出作为语义特征(semantic feature)，将两个特征矩阵结合注意力机制传入sentence LSTM，得到代表每一个句子的主题向量，主题向量生成的结束通过Stop Control来控制，在得到主题向量之后，将其传入word LSTM中，生成每一个主题对应的词序列，拼接每一个主题的词序列，得到最终的文本。该算法的缺点如下：

(1)针对没有病灶标注的X光图像，正确率非常有限。