[发明专利]一种基于病史与标签辅助的胸部放射影像报告生成方法

权利要求书

1.一种基于病史与标签辅助的胸部放射影像报告生成方法，其特征在于，所述方法具体包括如下：

Step1、采用多视图多模型影像特征融合模型DFFM进行影像特征提取：通过将不同视图影像深度融合，以提取不同视图影像相应的潜在特征，之后对于提取出来的特征进行最大池化以得到多视图影像特征编码；

Step2、使用Transformer对患者既往病史进行特征表示：通过多头自注意力机制和前馈神经网络提取患者既往病史文本特征；

Step3、通过LSTM实现跨模态融合：将Step1与Step2提取到的患者影像特征和既往病史文本特征作为LSTM的输入，最后将所有不同时刻的注意力影像特征图累加后进行全局平均池化，得到既往病症信息指导的融合特征；

Step4、使用Transformer进行初级报告生成：在Step3得到的融合特征传入Transformer，通过计算隐藏状态以预测下一个要生成的单词，从而生成初级报告；

Step5、将Step4生成的初级报告的疾病预测结果，与用DFFM模型产生的疾病预测结果，共同传入校验网络，通过将生成的初级报告与预测结果进行对比，微调加权词嵌入以生成更有效的报告。

2.根据权利要求1所述基于病史与标签辅助的胸部放射影像报告生成方法，其特征在于，所述Step1中的影像特征提取具体包括如下：

使用多视图多模型影像特征融合模型对胸部DR影像进行特征提取：每位患者具有M个胸部射线图像组成，其中1M5，该方法读取具有两张视图的患者影像作为影像部分的输入，通过将不同视图影像深度融合，以提取其相应的潜在特征，之后对于提取出来的特征进行最大池化以得到多视图影像特征编码。

3.根据权利要求1所述基于病史与标签辅助的胸部放射影像报告生成方法，其特征在于，所述Step2中的既往病史文本特征提取具体包括如下：

使用Transformer患者既往病史特征提取；首先，对于输入单词向量W生成三个对应的向量Query，Key和Value，在引入了多组QKV映射向量之后，分别在组内进行自注意力计算，其计算公式如下所示：

MultiHead(Q,K,V)＝Concat(head₁,…,head_h)

用Queries和Keys的点积计算所有单词对于当前词的得分Score，将Score进行Softmax归一化，以获得所有单词对该单词编码分数，将该Softmax分数乘以对应的Value向量，再将所有加权向量求和，传入前馈神经网络，即得到当前文本输出，其计算公式如下所示：

其中，Q，V，K分别表示输入句子的Queries，Keys，Values矩阵，矩阵的每一行为每一个单词对应的向量Query，Key，Value向量，d_k表示向量长度。

4.根据权利要求1所述基于病史与标签辅助的胸部放射影像报告生成方法，其特征在于，所述Step3中的跨模态融合具体包括如下：

将影像特征X与患者既往病史文本特征w联合输入LSTM网络进行模态融合，初始化LSTM的隐藏状态h_t，在使用LSTM进行解码的过程中，将每个时刻的既往病症嵌入w_t、前一个状态的预测词w_t-1以及影像特征X作为输入，其计算公式如下所示:

h_t＝LSTM([w_t,a_t,X],h_t-1)

将当前时刻的隐藏状态与影像特征X相乘得到针对于每个时刻的生成预测单词时在影像中的关注点；当所有时刻的单词预测结束之后，也就得到了所有时刻的注意力图I_T，T＝{1,2,3,...,t}，最后将所有不同时刻的注意力图累加后进行全局平均池化，得到既往病症信息指导的融合特征。