[发明专利]一种基于病史与标签辅助的胸部放射影像报告生成方法

说明书

本发明涉及基于病史与标签辅助的胸部放射影像报告生成方法，包括步骤：采用多视图多模型影像特征融合模型进行影像视觉特征提取；使用Transformer对患者既往病史进行特征表示；将提取出来的影像视觉特征与既往病史文本特征，通过长短时记忆网络进行跨模态特征融合，得到基于既往病史信息指导的融合特征；将融合特征传入Transformer模块，进行初级报告生成；将初级报告结果，与多视图多模型影像特征融合模型产生的疾病预测结果，共同传入一致性校验模块进行训练，通过减小初级报告与预测结果的差别，以生成更准确高效的报告。实验结果表明，本发明生成的胸部影像报告的描述，在有效性和准确性方面均优于当前主流方法。

技术领域

本发明涉及一种基于病史与标签辅助的胸部放射影像报告生成方法，属于计算机视觉、自然语言处理、跨模态融合技术领域。

背景技术

种类繁多的胸部疾病是威胁现代人民身体健康的主要因素之一。胸部放射影像(Digit Radiography，DR)作为体检的常规检查项，因其方便、快捷且成本低等众多优势成为了胸部常见疾病筛查与诊断的主要方式。传统的报告一般是由经验丰富的放射科医师撰写，准确有效的报告不仅依赖于医生丰富的临床经验，而且对医生的业务水平有着极高的要求。由于我国地域辽阔，医疗水平分布不均，偏远地区难以得到足够的资源支持。因此，尽管胸部疾病十分常见，但要准确、高效地进行胸部疾病的诊断仍然存在一定难度。

高质量的胸部放射影像报告自动生成系统需求迫切。目前基于深度学习的报告生成方法的实现方法主要分为以下三种方式:(1)检索式:Christy等人提出了一种基于知识驱动的生成方法，通过结合先验知识进行报告模板的检索，同时将视觉特征转化为结构化的异常图，之后对于模板进行重写微调，以生成准确的报告。Tanveer等人提出了一种基于域感知的针对胸部DR影像自动生成报告的算法，该算法从图像中学习对异常的细粒度描述，进而从大型文本数据库中检索类似报告。Yang等人提出了一种混合检索的生成方法，协调了基于人类先验知识的传统检索方法与基于现代学习的方法来生成结构化、多样化的报告。(2)模板式:Xingyi Yang等人提出了一种分层模板机制，通过将完整文本与单个句子分层为不同的模板，来生成临床准确的报告文本。Tanveer等人提出了一种Encoder-Decoder模型，首先提取出影像的视觉特征，之后将得到的影像特征传入图像编码器，通过解码器对编码器编码之后的特征进行编码得到若干个话题向量，将每个话题向量对应到模板库以生成完整的报告。Ziqiang Cao等人提出了一种依赖软模版进行报告生成的方法，通过检索适当的候选模板进而指导生成更为稳定且多样化的报告。虽然相较于传统机器学习算法，检索式生成方法与模板式生成方法获取到了更为优异的量化结果，但是，由于往往获得到的医学数据集中正样例居多，而对于正常影像的描述通常使用相同的模板，这也就导致了基于检索与基于模板的方式会出现较高的准确率，但面对相对罕见且多样化的异常描述时会存在异常描述不充分的情况。因此，目前学术界主流的方法为基于生成式的报告生成方法。(3)生成式:Yuhao Zhang等人提出了一种定制的神经模型，通过对背景信息的编码，进而指导报告的生成。Baoyu Jing等人提出了一种协同注意力机制，首先通过对影像特征进行提取从而预测当前影像中可能存在疾病标签，之后将影像特征与之前生成的标签特征利用协同注意力融合从而生成完整的报告。Guanxiong Liu等人提出了一种领域感知的报告生成算法，首先预测报告文本中可能出现的主题词，之后有条件地生成这些主题词对应的句子，进而生成完整的报告。Mingjie Li等人提出了一种辅助信号引导知识编码解码器来模拟医生的工作模式，通过整合DR影像视觉特征和医学语言信息来指导医学知识的迁移和学习。Wang Song等人提出了一种基于信息知识图的算法，将先验知识与报告生成相结合，从而提高生成报告的质量。

发明内容