[发明专利]一种基于Transformer的CT报告生成方法

说明书

本发明公开了一种基于Transformer的CT报告生成方法，所述方法包括：获取CT图像，并基于预设的CT报告生成模型提取所述CT图像的视觉特征序列；对所述视觉特征序列进行编码，得到隐含层特征序列；对所述隐含层特征序列进行解码，得到与所述CT图像对应的单词概率，其中，所述单词概率用于表征将CT图像转换成文字时的单词识别概率；根据所述单词概率，生成CT医学报告文本。本发明通过在图像编码时建立不同对象之间的关系，在解码时对不同医学报告的相似模式进行建模和存储，从而生成准确且内容丰富的医学报告，减少放射科医生的工作量并且有助于促进临床自动化。

技术领域

本发明涉及图像处理技术领域，尤其涉及的是一种基于Transformer 的CT报告生成方法。

背景技术

电子计算机断层扫描(CT)成像在临床实践和实验中经常用于诊断和 治疗，肺部CT图像成为了用于诊断是否感染肺部病毒的重要依据。一种疾 病的快速传播，导致出现大量的感染者，极大增加了放射科医生的工作量。 根据肺部CT影像撰写诊断报告非常耗时，而经验不足的仿射科医生容易出 错。因此，非常需要自动生成医学CT报告的方法减轻一线放射科医生的工 作量，同时促进临床自动化。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种 基于Transformer的CT报告生成方法，旨在解决现有技术中根据肺部CT 影像撰写诊断报告非常耗时，而经验不足的仿射科医生容易出错的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本发明实施例提供一种基于Transformer的CT报告生成方法， 其中，所述方法包括：

获取CT图像，并基于预设的CT报告生成模型提取所述CT图像的视觉特 征序列；

对所述视觉特征序列进行编码，得到隐含层特征序列；

对所述隐含层特征序列进行解码，得到与所述CT图像对应的单词概率， 其中，所述单词概率用于表征将CT图像转换成文字时的单词识别概率；

根据所述单词概率，生成CT医学报告文本。

在一种实现方式中，其中，所述CT报告生成模型包括视觉特征提取器、 编码器和解码器；所述基于预设的CT报告生成模型提取所述CT图像的视觉 特征序列包括：

基于视觉特征提取器，得到视觉特征；

对所述视觉特征进行时序调整，得到视觉特征序列。

在一种实现方式中，其中，所述对所述视觉特征序列进行编码，得到 隐含层特征序列包括：

基于所述编码器，得到融合编码模块；

将所述视觉特征序列输入到所述融合编码模块，得到隐含层特征序列。

在一种实现方式中，其中，所述基于所述编码器，得到融合编码模块 包括：

获取所述编码器的模型参数；

根据所述编码器，得到多头注意力；

根据所述模型参数和所述多头注意力，得到信息向量和注意力门向量；

根据所述信息向量和所述注意力门向量，构建多重注意力机制模块； 将所述多重注意力机制模块与所述编码器进行融合，得到融合编码模块。

在一种实现方式中，其中，所述对所述隐含层特征序列进行解码，得 到与所述CT图像对应的单词概率包括：

基于所述解码器，得到融合解码器；

将所述隐含层特征序列输入至所述融合解码器，得到与所述CT图像对 应的单词概率。