[发明专利]基于注意力机制的意图识别方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了一种基于注意力机制的意图识别方法、装置、设备及存储介质，用于提高对需推理的信息进行多模态意图识别的准确性。方法包括：获取文本信息的文本意图特征和图像信息的图像意图特征；分别计算文本注意力值和图像注意力值；根据文本注意力值和文本意图特征以及图像注意力值与图像意图特征，分别获得文本偏重特征矩阵和图像偏重特征矩阵；根据文本意图特征、图像意图特征、文本偏重特征矩阵、图像偏重特征矩阵和预置门控机制，生成注意力融合意图特征和门控机制融合意图特征；将注意力融合意图特征和门控机制融合意图特征进行拼接处理得到目标意图特征；对目标意图特征进行意图分类得到对应的目标意图。

技术领域

本发明涉及分类算法领域，尤其涉及一种基于注意力机制的意图识别方法、装置、设备及存储介质。

背景技术

随着语音技术和自然语言理解等技术的发展，语音交互系统也随之发展，成为当今的热门研究领域之一。随着语音交互系统的发展，在面对如何通过语音交互系统与用户进行有效的对话的问题时，对交互信息进行意图识别成为有力的解决方案，而对交互信息进行意图识别的准确性也就成为亟需解决的关注问题之一。目前的交互信息意图识别中，通过对交互信息进行特征提取，获得特征信息，通过多个预置的意图识别模型对该特征信息进行意图分类处理，从而实现意图识别。

在现有技术中，由于是采用双线性的多模态融合方式，在对于一些间接需要简单推理的信息时，并不能准确地对该信息的意图进行识别，且进行意图识别的信息类型有些局限，一般都是仅对文本信息进行意图识别，例如：当无法通过输入用语言表述对“安检红外闸机的使用”进行咨询时，需要输入“安检红外闸机”的图像以进行咨询，而双线性的多模态融合方式难以通过对“安检红外闸机”图像信息进行推理分析从而识别到对应的“安检红外闸机的使用”意图类型。因而，导致对需推理的信息进行多模态意图识别的准确性低。

发明内容

本发明的主要目的在于解决对需推理的信息进行多模态意图识别的准确性低的问题。

本发明第一方面提供了一种基于注意力机制的意图识别方法，包括：

获取文本信息和图像信息，通过预置的门控循环单元神经网络模型对所述文本信息进行意图特征提取，得到文本意图特征，并通过预置的区域卷积神经网络模型对所述图像信息进行意图特征提取，得到图像意图特征；

分别计算所述文本意图特征和所述图像意图特征的注意力，得到文本注意力值和图像注意力值；

根据所述文本注意力值与所述文本意图特征生成文本偏重特征矩阵，并根据所述图像注意力值与所述图像意图特征生成图像偏重特征矩阵；

根据所述文本意图特征、所述图像意图特征、所述文本偏重特征矩阵和所述图像偏重特征矩阵，生成注意力融合意图特征，并根据预置门控机制、所述文本意图特征和所述图像意图特征，生成门控机制融合意图特征；

将所述注意力融合意图特征和所述门控机制融合意图特征进行拼接处理，得到目标意图特征；

对所述目标意图特征进行意图分类，得到对应的目标意图。

可选的，在本发明第一方面的第一种实现方式中，所述根据所述文本意图特征、所述图像意图特征、所述文本偏重特征矩阵和所述图像偏重特征矩阵，生成注意力融合意图特征，包括：

将所述文本偏重特征矩阵与所述图像意图特征相乘得到文本图像融合特征，将所述图像偏重特征矩阵与所述文本意图特征相乘得到图像文本融合特征，将所述文本图像融合特征和所述图像文本融合特征确定为第一融合意图特征；

将所述文本偏重特征矩阵与所述文本意图特征相乘得到文本融合特征，将所述图像偏重特征矩阵与所述图像意图特征相乘得到图像融合特征，将所述文本融合特征和所述图像融合特征确定为第二融合意图特征；

将所述第一融合意图特征和所述第二融合意图特征确定为注意力融合意图特征。