[发明专利]基于注意力机制的意图识别方法、装置、设备及存储介质

权利要求书

1.一种基于注意力机制的意图识别方法，其特征在于，所述基于注意力机制的意图识别方法包括：

获取文本信息和图像信息，通过预置的门控循环单元神经网络模型对所述文本信息进行意图特征提取，得到文本意图特征，并通过预置的区域卷积神经网络模型对所述图像信息进行意图特征提取，得到图像意图特征；

分别计算所述文本意图特征和所述图像意图特征的注意力，得到文本注意力值和图像注意力值；

根据所述文本注意力值与所述文本意图特征生成文本偏重特征矩阵，并根据所述图像注意力值与所述图像意图特征生成图像偏重特征矩阵；

根据所述文本意图特征、所述图像意图特征、所述文本偏重特征矩阵和所述图像偏重特征矩阵，生成注意力融合意图特征，并根据预置门控机制、所述文本意图特征和所述图像意图特征，生成门控机制融合意图特征；

将所述注意力融合意图特征和所述门控机制融合意图特征进行拼接处理，得到目标意图特征；

对所述目标意图特征进行意图分类，得到对应的目标意图。

2.根据权利要求1所述的基于注意力机制的意图识别方法，其特征在于，所述根据所述文本意图特征、所述图像意图特征、所述文本偏重特征矩阵和所述图像偏重特征矩阵，生成注意力融合意图特征，包括：

将所述文本偏重特征矩阵与所述图像意图特征相乘得到文本图像融合特征，将所述图像偏重特征矩阵与所述文本意图特征相乘得到图像文本融合特征，将所述文本图像融合特征和所述图像文本融合特征确定为第一融合意图特征；

将所述文本偏重特征矩阵与所述文本意图特征相乘得到文本融合特征，将所述图像偏重特征矩阵与所述图像意图特征相乘得到图像融合特征，将所述文本融合特征和所述图像融合特征确定为第二融合意图特征；

将所述第一融合意图特征和所述第二融合意图特征确定为注意力融合意图特征。

3.根据权利要求2所述的基于注意力机制的意图识别方法，其特征在于，所述将所述注意力融合意图特征和所述门控机制融合意图特征进行拼接处理，得到目标意图特征，包括：

分别对所述第一融合意图特征、所述第二融合意图特征和所述门控机制融合意图特征进行主要成分提取处理，得到第一初始特征、第二初始特征和第三初始特征；

分别对所述第一初始特征、所述第二初始特征和所述第三初始特征进行降维处理，得到第一目标特征、第二目标特征和第三目标特征；

将所述第一目标特征、所述第二目标特征和所述第三目标特征进行并行融合，得到目标意图特征。

4.根据权利要求1所述的基于注意力机制的意图识别方法，其特征在于，所述根据预置门控机制、所述文本意图特征和所述图像意图特征，生成门控机制融合意图特征，包括：

通过预置门控机制计算所述文本信息对所述图像信息的文本图像门控值，以及所述图像信息对所述文本信息的图像文本门控值；

根据预置门控机制中的门控循环单元和所述文本图像门控值对所述文本意图特征进行过滤选择处理，得到更新后的文本意图特征，并根据所述门控循环单元和所述图像文本门控值对所述图像意图特征进行过滤选择处理，得到更新后的图像意图特征；

将所述更新后的文本意图特征和所述更新后的图像意图特征进行矩阵相乘处理，得到门控机制融合意图特征。

5.根据权利要求1所述的基于注意力机制的意图识别方法，其特征在于，所述通过预置的区域卷积神经网络模型对所述待识别信息中的图像信息进行意图特征提取，得到图像意图特征，包括：

调用预置的区域卷积神经网络模型中的卷积神经网络层，对所述图像信息的意图特征图谱进行提取，得到意图特征图谱；

对所述意图特征图谱进行图像物体识别，得到候选意图特征图谱，并生成所述候选意图特征图谱的建议窗口；

通过所述建议窗口和所述区域卷积神经网络模型中的视觉几何群网络全连接层，对所述候选意图特征图谱进行图像物体特征分析，得到图像意图特征。