[发明专利]一种基于视觉问答方法的医疗影像报告生成方法

权利要求书

1.一种基于视觉问答方法的医疗影像报告生成方法，其特征在于，包括问答数据集生成模块、视觉问答模块和报告生成模块，其中，所述问答数据集生成模块可以基于现有医疗影像报告生成可供视觉问答模型训练的视觉问答数据集，所述视觉问答模块基于医疗影像图片和给定问题生成回答；

所述方法包括训练阶段和运行阶段，所述训练阶段会根据现有所述医疗影像报告生成所述视觉问答数据集并基于所述视觉问答数据集进行深度神经网络训练，所述运行阶段可直接根据所述医疗影像图片生成诊断报告；

所述训练阶段包括如下步骤：

步骤S01、构建所述问答数据集生成模块，输入所述医疗影像报告，利用无监督分类算法对报告特征进行聚类，最后根据聚类结果获取组内高频关键词；

步骤S02、训练所述视觉问答模块，输入所述问答数据集生成模块提供的问题-回答组合对，利用交叉熵损失函数对所述视觉问答模块进行训练；

步骤S03、构建报告生成模块，输入所述聚类结果中除去所述组内高频关键词后的剩余部分，组合后生成模板；

所述步骤S02的具体步骤为：

步骤S21、输入所述医疗影像图片和所述问题-回答组合对后，卷积神经网络获取所述医疗影像图片特征，嵌入层对问题文本编码，并通过循环神经网络获得句子特征；

步骤S22、注意力模块结合所述医疗影像图片特征和所述句子特征获得各部分权重，并传入下一层的分类网络，输出给定回答；

所述报告生成模块利用正则表达式通过关键词句子的二次聚类生成空格模板，最终输出报告；

所述视觉问答数据集生成模块直接由所述医疗影像报告获得，通过所述无监督分类算法和自然语言处理工具分析构成报告的单句，生成所述关键词后组成所述问题-回答组合对；

所述视觉问答模块选择了已在通用数据集上预训练的的卷积神经网络提取所述医疗影像图片特征，用已在通用数据集上预训练的GRU模型提取句子特征。

2.如权利要求1所述的基于视觉问答方法的医疗影像报告生成方法，其特征在于，所述步骤S01中，对所述医疗影像报告中所含句子的特征获取由预训练好的Bert模型处理句中所含的词汇特征组合获得。

3.如权利要求2所述的基于视觉问答方法的医疗影像报告生成方法，其特征在于，所述步骤S01中，所述无监督分类方法选用K-means，距离矩阵选用句子特征的L2距离，并基于该所述距离矩阵将句子分配至不同组中，其中所述K-means中的类别数为模型自动选择获取。

4.如权利要求3所述的基于视觉问答方法的医疗影像报告生成方法，其特征在于，所述步骤S01中，所述组内高频关键词为组内句子进行相似度排序后计数排序靠前的所述组内高频关键词。