[发明专利]一种医学视觉问答的实现方法、装置及存储介质

摘要

本发明公开了一种医学视觉问答的实现方法、装置及存储介质，其中方法包括：获取输入信息，将输入信息输入训练后的医学视觉问答模型，输出回答信息；其中，医学视觉问答模型通过以下方式获得：获取医学图像‑问答文本对；获取图像编码特征向量Fv；获取文本编码特征向量Fq；将图像编码特征向量Fv和文本编码特征向量Fq进行向量拼接，获得图像‑文本编码特征向量Fc，获得带注意力增强表示的图像‑文本融合特征向量Fcm；获取预测答案以及不确定性估计结果；对模型进行训练，获得带不确定估计的医学视觉问答模型。本发明在医学问答模型中加入贝叶斯不确定性估计方法，以估计模型自身输出结果的不确定性，获得更可靠的答案，可广泛应用于生物医学领域。