[发明专利]自动问答匹配方法、装置、计算机设备及存储介质

说明书

本申请实施例属于人工智能领域，应用于医疗领域中，涉及一种自动问答匹配方法，包括获取图像数据、提问文本和参考文本，对图像数据、提问文本和参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；对分割图像、第一分词文本和第二分词文本进行位置编码、分割编码和嵌入编码，得到位置向量、分割向量和嵌入向量；对得到的向量进行向量拼接，得到融合表征向量，输入融合表征向量至多模态模型计算，得到目标答复文本。本申请还提供一种自动问答匹配装置、计算机设备及存储介质。此外，目标答复文本可存储于区块链中。本申请实现了基于图像和文本的自动问答，提高了问答的效率和准确率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种自动问答匹配方法、装置、计算机设备及存储介质。

背景技术

近年来，随着计算力和数据量的大幅度提升，人工智能技术获得进一步的发展，应用人工智能解决医疗领域问题已成为了热点。然而，在医疗领域中，在医生对患者进行诊断时，往往需要人工地查看患者图片进行判断，其过程复杂，耗时长，最终导致医疗问诊准确率低下的问题。

发明内容

本申请实施例的目的在于提出一种自动问答匹配方法、装置、计算机设备及存储介质，以解决问诊准确率低下的技术问题。

为了解决上述技术问题，本申请实施例提供一种自动问答匹配方法，采用了如下所述的技术方案：

获取图像数据、提问文本和参考文本，对所述图像数据、所述提问文本和所述参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；

对所述分割图像、所述第一分词文本和所述第二分词文本进行位置编码，得到位置向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量；

对所述嵌入向量、所述位置向量和所述分割向量进行向量拼接，得到融合表征向量，获取训练好的多模态模型，输入所述融合表征向量至所述多模态模型计算，得到所述提问文本对应的目标答复文本。

进一步的，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量的步骤包括：

分别计算所述第一分词文本和所述第二分词文本的编码信息，得到所述第一分词文本对应的第一文本嵌入编码，以及所述第二分词文本对应的第二文本嵌入编码；

获取所述第一文本嵌入编码或第二文本嵌入编码的向量维度，根据所述向量维度将所述分割图像映射至目标维度，得到图像嵌入编码；

对所述第一文本嵌入编码、所述第二文本嵌入编码和所述图像嵌入编码进行拼接，得到所述嵌入向量。

进一步的，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量的步骤包括：

获取所述分割图像、所述第一分词文本和所述第二分词文本的角色标记；

按照预设顺序对所述角色标记进行拼接及编码，得到所述分割向量。

进一步的，所述获取训练好的多模态模型的步骤包括：

采集多组医疗问诊数据，对所述医疗问诊数据进行拆分得到训练样本；

输入所述训练样本至基础预测模型中，计算得到目标损失函数，根据所述目标损失函数对所述基础预测模型训练，在所述目标损失函数为最小值时，确定所述基础预测模型训练完成，得到所述多模态模型。

进一步的，所述输入所述训练样本至基础预测模型中，计算得到目标损失函数的步骤包括：

计算所述训练样本的文本掩码损失、图片损失以及预测损失，根据所述文本掩码损失、所述图片损失以及所述预测损失，生成所述目标损失函数。