[发明专利]一种基于跨模态数据融合的医学视觉问答方法及系统

摘要

本发明提供了一种基于跨模态数据融合的医学视觉问答方法及系统，包括：基于文本特征提取网络、图像特征提取网络、特征融合网络、知识图谱学习网络和分类网络，构建多任务学习模型；实体预测任务和答案预测任务共用分类网络中除输出层之外的网络层；基于样本医学图像、对应的有答案标签的样本问题文本以及医学知识图谱，以实体预测任务和答案预测任务的损失为约束，训练多任务学习模型；基于训练完成的多任务学习模型，构建答案预测模型；将待预测的医学图像及其对应的问题文本输入至答案预测模型，获得问题文本的答案。本发明解决了现有的医疗图像数据集标注难度大，标注样本少的问题，在医疗图像问答的任务上达到了较高的准确率。