[发明专利]自动问答匹配方法、装置、计算机设备及存储介质

权利要求书

1.一种自动问答匹配方法，其特征在于，包括下述步骤：

获取图像数据、提问文本和参考文本，对所述图像数据、所述提问文本和所述参考文本分别进行预处理，得到分割图像、第一分词文本和第二分词文本；

对所述分割图像、所述第一分词文本和所述第二分词文本进行位置编码，得到位置向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量，对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量；

对所述嵌入向量、所述位置向量和所述分割向量进行向量拼接，得到融合表征向量，获取训练好的多模态模型，输入所述融合表征向量至所述多模态模型计算，得到所述提问文本对应的目标答复文本。

2.根据权利要求1所述的自动问答匹配方法，其特征在于，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行嵌入编码，得到嵌入向量的步骤包括：

分别计算所述第一分词文本和所述第二分词文本的编码信息，得到所述第一分词文本对应的第一文本嵌入编码，以及所述第二分词文本对应的第二文本嵌入编码；

获取所述第一文本嵌入编码或第二文本嵌入编码的向量维度，根据所述向量维度将所述分割图像映射至目标维度，得到图像嵌入编码；

对所述第一文本嵌入编码、所述第二文本嵌入编码和所述图像嵌入编码进行拼接，得到所述嵌入向量。

3.根据权利要求1所述的自动问答匹配方法，其特征在于，所述对所述分割图像、所述第一分词文本和所述第二分词文本进行分割编码，得到分割向量的步骤包括：

获取所述分割图像、所述第一分词文本和所述第二分词文本的角色标记；

按照预设顺序对所述角色标记进行拼接及编码，得到所述分割向量。

4.根据权利要求1所述的自动问答匹配方法，其特征在于，所述获取训练好的多模态模型的步骤包括：

采集多组医疗问诊数据，对所述医疗问诊数据进行拆分得到训练样本；

输入所述训练样本至基础预测模型中，计算得到目标损失函数，根据所述目标损失函数对所述基础预测模型训练，在所述目标损失函数为最小值时，确定所述基础预测模型训练完成，得到所述多模态模型。

5.根据权利要求4所述的自动问答匹配方法，其特征在于，所述输入所述训练样本至基础预测模型中，计算得到目标损失函数的步骤包括：

计算所述训练样本的文本掩码损失、图片损失以及预测损失，根据所述文本掩码损失、所述图片损失以及所述预测损失，生成所述目标损失函数。

6.根据权利要求4所述的自动问答匹配方法，其特征在于，所述采集多组医疗问诊数据，对所述医疗问诊数据进行拆分得到训练样本的步骤包括：

获取所述医疗问诊数据中的样本类别，所述样本类别包括图片类别、提问类别和回答类别，根据所述图片类别、所述提问类别和所述回答类别对所述医疗问诊数据进行标记及拆分，得到多个样本数据；

对所述样本数据进行掩码标记，得到掩码预测样本，分别对所述掩码预测样本进行位置编码、分割编码和嵌入编码，得到第一编码结果、第二编码结果和第三编码结果；

拼接所述第一编码结果、所述第二编码结果和所述第三编码结果，得到所述训练样本。

7.根据权利要求6所述的自动问答匹配方法，其特征在于，所述对所述样本数据进行掩码标记，得到掩码预测样本的步骤包括：

获取目标掩码词，确定所述样本数据中图片类别对应的数据中是否存在所述目标掩码词对应的目标图片，以及所述样本数据中提问类别和回答类别对应的数据中是否存在所述目标掩码词对应的目标文本；

在确定同时存在所述目标图片和所述目标文本时，选取所述目标图片或所述目标文本进行掩码，得到所述掩码预测样本。