[发明专利]一种于基于弱监督注意力的脑CT医学报告自动生成方法

权利要求书

1.一种基于弱监督注意力的脑CT医学报告自动生成的方法，其特征在于：

包括训练和预测两个阶段，

训练阶段包括：

(1)制作脑CT医学报告生成的训练数据集并进行预处理，得到标准化的三维脑CT影像和对应的报告；

(2)利用脑CT影像的特征提取器提取脑CT影像的特征F＝[f₁，f₂，…f_N]，其中N代表每个病例中脑CT序列的数量，f_i代表第i张脑CT序列的图像特征；

(3)构建弱监督注意力模块，该模块用于从包含N张序列的脑CT影像的图像特征中提取重要病灶特征a，包括空间注意力机制、序列注意力机制、以及修正空间注意力机制：其中所述的空间注意力机制用于提取每一张脑CT序列中重要的病灶特征，该机制通过对单张序列的不同位置赋予不同权重，并对关键的特征赋予较高的权重从而具有捕捉单幅序列中重要特征的能力；所述的序列注意力机制用于提取N张序列的脑CT影像中重要的序列特征，关键的序列特征被赋予较高的权重参与特征加和，得到最终包含整个CT影像重要病灶的图像特征a；所述的修正空间注意力机制用于修正不准确的空间注意力，增强空间注意力提取病灶特征的能力，具体为使用梯度加权类激活映射Grad-CAM算法产生空间注意力的监督信息，之后计算空间注意力和监督信息两者的交叉熵损失函数Loss_attn，作为整体损失的一部分参与整体模型训练；

(4)构建语言模型，用于生成脑CT医学报告，语言模型的输入为步骤(3)提取的重要病灶特征a，输出为脑CT医学报告，语言模型为关键词驱动的交互循环网络，关键词驱动的交互循环网络包含两个部分，第一部分为关键词驱动机制，该部分用于激活交互循环网络中LSTM的初始时刻的隐含层向量h_t，t＝0，该机制的输入为关键词分类网络预测的CT影像的关键词K和经由弱监督注意力模块得到该CT影像重要病灶的图像特征a，关键词指脑CT影像的出血位置，关键词驱动机制为一个单层LSTM，计算过程如下：

h^k＝LSTM^k(K，a)

h^k表示关键词机制中LSTM的隐含层向量；

第二部分为交互循环网络，该部分用于生成医学报告，具体包含两层LSTM，第一层为单词LSTM，表示为LSTM^word，作用是迭代的为每个时刻生成一个词语，多个词语最终组合为句子s_m，s_m表示生成的第m条句子；第二层为句子LSTM，表示为LSTM^sen，作用是编码不同句子之间关系并指导单词LSTM生成下一个句子的词语，其中两层LSTM的隐含层向量定义如下：

其中代表t时刻的单词LSTM的隐含层向量，t时刻指代生成的第几个单词，代表上一时刻单词LSTM的隐含层向量，y_t-1代表上一时刻LSTM^word生成的单词，a_t为t时刻输入的图像特征，为句子LSTM生成的上一个句子的隐含层向量，为句子LSTM生成的当前句子的隐含层向量，s_m-1为预测的上一个句子；其中，即为关键词驱动机制的输出；

其中单词LSTM生成单词的过程如下：

这里y_t，p_t分别代表单词LSTM第t时刻生成的词语和该词语的概率，W_h代表隐含层向量的参数矩阵，代表单词LSTM的t时刻的隐含层向量；最终单词LSTM和句子LSTM两者交互地生成整个医学报告长段落。

(5)构建整体损失函数并训练，整体损失函数包含两部分：

Loss＝Loss_lang+Loss_attn

其中，指y_t的真实标签，即真实报告中的单词；预测阶段包括以下步骤：

(6)对待预测的脑CT进行预处理，得到标准化的三维脑CT影像；

(7)利用训练完成的脑CT影像的特征提取器提取待预测脑CT影像的特征；

(8)利用训练完成的弱监督注意力模块，从待预测脑CT影像的特征中提取重要病灶特征；

(9)利用训练完成的构建语言模型，生成待预测脑CT影像的医学报告。