[发明专利]一种基于空间编码的脑CT医学报告生成方法

说明书

本发明涉及一种基于空间编码的脑CT医学报告生成方法，用于解决现有技术无法为脑CT图像生成准确的医学报告的问题。首先，构建数据集并进行预处理，得到序列脑CT图像特征和多尺度超像素特征两种特征；其次，通过编码模型MSSE对序列脑CT图像特征和多尺度超像素特征进行特征编码，从而得到包含脑CT空间信息的序列图像特征。然后采用解码模型SALD对包含脑CT空间信息的序列图像特征进行解码从而生成脑CT医学报告，SALD解码模型包含空间注意力和LSTM两个部分，空间注意力用于提取重要的序列图像特征，最终得到整个CT影像的图像特征；LSTM将整个CT影像的图像特征作为输入，最终生成脑CT医学报告。

技术领域

本发明属于医学图像分析研究领域，具体地说，本发明涉及一种基于空间编码的脑CT医学报告生成方法。

背景技术

医学报告通常由放射科医生通过阅读诸如X射线、超声、电子计算机断层扫描(Computed Tomography，CT)等图像后，根据经验诊断患者病情而撰写，以叙述成像检查中身体各个区域的诊断，特别是每个区域是否被诊断为正常、异常或潜在异常。CT是最常用的脑疾病诊断工具之一，具有成像快、成本低、适用范围广、病变检查率高等特点。临床急诊中脑部损伤的诊断是极其紧迫的，即使短时间的延误也可能导致患者病情恶化，因此脑CT图像的快速解释和撰写诊断报告至关重要。放射科医生的诊断结果在很大程度上取决于他们的临床经验，这种报告生成带有很多的主观判断性，而且相对来说耗时间，效率低。

近年来，伴随着医学影像技术的进步和发展，脑CT图像数量呈现出几何形式的增长，但放射科医生数量的增长速度却相对缓慢，而且培养一名合格的放射科医生成本高、周期长，致使在职放射科医生的工作任务与日俱增，间接导致了看病难等社会问题。因此，能够辅助放射科医生工作的脑CT医学报告生成技术，对于提升诊断效率，减轻撰写医学报告的负荷，具有十分重要的现实意义。

截止目前，医学报告生成任务工作主要采用了印度大学公开的胸部X射线图像数据集，除此以外，在超声影像、肾脏CT、X光等医学图像上也有少量医学报告自动生成相关研究。但针对脑CT的医学报告自动生成的理论和技术目前尚无文献涉及，和现有医学报告生成工作采用的图像相比，脑CT图像为三维数据，数据量更大，相邻层图像之间存在依赖关系；三维空间中病灶稀疏；脑血管疾病的机理更为复杂，病灶的密度形态等特征不确定性大。现有模型编码器不能针对脑CT图像在空间特征上的表示，且单张病灶区域最显著的图像不能支撑脑CT医学报告生成。

发明内容

本发明针对现有技术无法为脑CT图像生成准确的医学报告的问题，提出一种基于空间编码的脑CT医学报告生成方法(Spatial Encoding Based method,SEB)。本发明所述方法，能够将多尺度超像素和序列特征通过注意力实现两种特征的融合，以增强序列特征空间编码，并通过解码模型生成准确的医学报告。

为实现上述目的，本发明采用的技术方案为一种基于空间编码的脑CT医学报告生成方法。本发明的流程如图1所示，包含以下几个步骤。首先，构建数据集并进行预处理，得到序列脑CT图像特征和多尺度超像素特征两种特征；其次，通过编码模型MSSE(多尺度超像素脑CT空间编码模型)对序列脑CT图像特征和多尺度超像素特征进行特征编码，从而得到包含脑CT空间信息的序列图像特征。MSSE模型包含指导注意力模型GATT(Guided-Attention,GATT)和FFA(前馈残差标准化模块)两个部分，其中指导注意力模块可以将包含丰富空间信息的多尺度超像素特征和序列脑CT图像特征两者进行融合，FFA(前馈残差标准化模块)可以用于防止网络过拟合，帮助获得更好的脑CT序列图像特征；然后采用解码模型SALD对包含脑CT空间信息的序列图像特征进行解码从而生成脑CT医学报告，SALD解码模型包含空间注意力和LSTM两个部分，空间注意力用于提取重要的序列图像特征，其中关键的序列特征被赋予较高的权重参与特征加和，最终得到整个CT影像的图像特征；LSTM将整个CT影像的图像特征作为输入，最终生成脑CT医学报告，具体如下：

步骤(1)获取数据并预处理：