[发明专利]一种基于Transformer的CT报告生成方法

权利要求书

1.一种基于Transformer的CT报告生成方法，其特征在于，所述方法包括：

获取CT图像，并基于预设的CT报告生成模型提取所述CT图像的视觉特征序列；

对所述视觉特征序列进行编码，得到隐含层特征序列；

对所述隐含层特征序列进行解码，得到与所述CT图像对应的单词概率，其中，所述单词概率用于表征将CT图像转换成文字时的单词识别概率；

根据所述单词概率，生成CT医学报告文本。

2.根据权利要求1所述的基于Transformer的CT报告生成方法，其特征在于，所述CT报告生成模型包括视觉特征提取器、编码器和解码器；所述基于预设的CT报告生成模型提取所述CT图像的视觉特征序列包括：

基于视觉特征提取器，得到视觉特征；

对所述视觉特征进行时序调整，得到视觉特征序列。

3.根据权利要求2所述的基于Transformer的CT报告生成方法，其特征在于，所述对所述视觉特征序列进行编码，得到隐含层特征序列包括：

基于所述编码器，得到融合编码模块；

将所述视觉特征序列输入到所述融合编码模块，得到隐含层特征序列。

4.根据权利要求3所述的基于Transformer的CT报告生成方法，其特征在于，所述基于所述编码器，得到融合编码模块包括：

获取所述编码器的模型参数；

根据所述编码器，得到多头注意力；

根据所述模型参数和所述多头注意力，得到信息向量和注意力门向量；

根据所述信息向量和所述注意力门向量，构建多重注意力机制模块；

将所述多重注意力机制模块与所述编码器进行融合，得到融合编码模块。

5.根据权利要求4所述的基于Transformer的CT报告生成方法，其特征在于，所述对所述隐含层特征序列进行解码，得到与所述CT图像对应的单词概率包括：

基于所述解码器，得到融合解码器；

将所述隐含层特征序列输入至所述融合解码器，得到与所述CT图像对应的单词概率。

6.根据权利要求5所述的基于Transformer的CT报告生成方法，其特征在于，所述基于所述解码器，得到融合解码器包括：

构建关系内存网络；

构建基于所述关系内存网络的条件归一化层；

将所述解码器、所述关系内存网络、所述条件归一化层进行融合，得到融合解码器。

7.根据权利要求6所述的基于Transformer的CT报告生成方法，其特征在于，所述构建关系内存网络包括：

获取所述编码器中的多头注意力机制输出矩阵；

获取所述CT图像对应的真实样本标签，以及与所述真实样本标签对应的输出嵌入特征；

根据预设间隔时刻的所述输出嵌入特征、所述多头注意力机制输出矩阵和预设的初始关系内存网络，得到关系内存网络输出矩阵；

根据所述关系内存网络输出矩阵，对所述初始关系内存网络进行迭代，得到关系内存网络。

8.根据权利要求7所述的基于Transformer的CT报告生成方法，其特征在于，所述根据预设间隔时刻的所述输出嵌入特征、所述多头注意力机制输出矩阵和预设的初始关系内存网络，得到关系内存网络输出矩阵包括：

根据预设间隔时刻的所述输出嵌入特征和预设间隔时刻的所述关系内存网络输出矩阵，得到遗忘门矩阵和信息门矩阵；

根据所述多头注意力机制输出矩阵、所述初始关系内存网络和预设间隔时刻的所述关系内存网络输出矩阵，得到中间迭代矩阵；

根据所述遗忘门矩阵、所述信息门矩阵、中间迭代矩阵和预设间隔时刻的所述关系内存网络输出矩阵，得到关系内存网络输出矩阵。