[发明专利]一种基于多模态注意力机制的医学图像报告自动生成方法

权利要求书

1.一种基于多模态注意力机制的医学图像报告自动生成方法，其特征在于，包括以下步骤：

构建关键词类别数据集，关键词类别数据集中的每个样本包括医学图像、对应的描述语句以及描述语句中关键词的类别；

构建图像特征提取模型，基于所述关键词类别数据集，训练图像特征提取模型；当接收到输入的医学图像后，训练好的图像特征提取模型用于提取医学图像的图像空间特征、图像全局特征和预测的关键词特征；

将提取到的图像全局特征和关键词特征送入关键词注意力机制，得图像的语义特征；将提取到的图像全局特征和图像空间特征送入空间注意力机制，得到图像的视觉特征；

利用多模态注意力机制将所述视觉特征和语义特征结合起来，同时捕获图像的视觉和语义信息，生成联合的上下文向量，包括：

联合的上下文向量ctx^(s)由两个注意力机制联合生成，具体如下：

式中，w_o和b_o为待学习的权重和偏置项；k_t和s_t分别表示t时刻应用了关键词注意力机制的关键词特征和空间注意力特征的空间特征；w_s、w_k和w_h为待学习的权重矩阵；为隐层状态；

将上下文向量输入到一个句子LSTM中，通过多步展开，在每一步产生每个句子的主题向量；

基于每个句子的主题向量，通过单词LSTM生成每个句子的单词序列，单词序列用于形成一个句子；最后将形成的所有句子组合到一起，列出标签列表，完成医学图像报告的自动生成。

2.根据权利要求1所述的基于多模态注意力机制的医学图像报告自动生成方法，其特征在于，所述构建关键词类别数据集，包括：

对于医学图像数据集{I,C}，I,C分别表示一张医学图像和对应的描述语句；通过关键词的词表构建，词频过滤，停用词、词性过滤，同义词合并，类别融合的步骤，构建关键词类别数据集{I,C,K}，其中K代表关键词类别。

3.根据权利要求1所述的基于多模态注意力机制的医学图像报告自动生成方法，其特征在于，所述图像特征提取模型利用预训练好的ResNet网络，输入关键词类别数据集，对特征提取模型进行训练，使得模型所生成的特征与真实特征之间的多标签分类损失最小；在训练过程中，式1为基于关键词的图像理解的目标函数，式2表示最终的目标函数，有：

式中，θ是模型的参数；I为给定的医学图片，C为生成的描述语句，K为描述语句中的关键词类别；p(C,K|I；θ)表示给定医学图像I以及模型参数θ得到描述语句C和关键词类别集合K的概率；p(C|I,K；θ₁)为基于图片特征和关键词的语言模型；p(K|I；θ₂)为基于图片特征的关键词模型；θ₁、θ₂分别为语言模型和关键词模型参数。

4.根据权利要求1所述的基于多模态注意力机制的医学图像报告自动生成方法，其特征在于，所述图像特征提取模型在训练过程中，损失函数为：

对于关键词类别数据集{I,C,K}，将数据集分为一个个的子集mini-batch；在损失函数中，n为mini-batch的数量，λ为L₂正则的权重，m为关键词类别总数，η为惩罚系数，有：

式中，x_i为单张医学图像，y_i＝[y_i1，y_i2，…，y_ij，…，y_im]表示图片对应的关键词标签，j为关键词类别，y_ij的取值为0或1；p_ij代表第i张医学图中包含关键字类别j的概率；r_i^j为训练过程中的一个自适应权重，r_i^j＝0.9^t-1，t取决于本轮和上一轮mini-batch的训练状态，如果两次状态一致则t＝t+1，如果不一致则t＝1；θ为模型参数，L₂(θ)表示θ的L2范数。