[发明专利]一种情感识别的方法、装置、设备和介质

说明书

本申请提供了一种情感识别的方法、装置、设备和介质，该方法包括：获取目标对象的多个模态分别对应的模态特征；基于多个所述模态特征分别构造第一张量和第二张量，所述第一张量的维度和所述第二张量的维度基于所述模态的个数确定；将所述第一张量和所述第二张量分别作为基于注意力机制的神经网络的查询值和关键值；根据所述查询值和所述关键值获得每个模态分别对应的核张量及基于所述核张量得到的池化矩阵；针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合，得到所述目标模态对应的注意力表示；基于每个模态的所述注意力表示获得所述目标对象的情感分类结果。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种情感识别的方法、装置、设备和介质。

背景技术

随着科技的进步，网络环境也变得越来越高效，基于网络环境人工智能也得到了更快度的发展，其中，情感识别一直是人工智能领域的热门话题，它有利于人们的社会沟通和活动。在人们的生活和交往的过程中，包含各种表达情感的方式。

表达情感的方式可以包含以下任意一种模态数据：文本数据、视频数据和语音数据等。现阶段情感分析着重于单个模态数据的情感分析研究，但现有研究证明，不同模态数据之间存在与情感状态判别相关的特征信息，模态特征之间也存在着互补性和一致性情感信息。现阶段，对多个模态数据进行情感分析时，学习模型基本上都是单向跨模态注意力机制，且多模态之间都是按顺序叠加多个单向跨模态特征，才能得到多个模态数据多模态数据的情感分析结果。但是这种分析方式处理性能较弱。

发明内容

有鉴于此，本申请的目的在于提供一种情感识别的方法、装置、设备和介质，用于解决现有技术中多模态情感识别的识别结果不准确的问题。

第一方面，本申请实施例提供了一种情感识别的方法，包括：

获取目标对象的多个模态分别对应的模态特征；

基于多个所述模态特征分别构造第一张量和第二张量，所述第一张量的维度和所述第二张量的维度基于所述模态的个数确定；

将所述第一张量和所述第二张量分别作为基于注意力机制的神经网络的查询值和关键值；

根据所述查询值和所述关键值获得每个模态分别对应的核张量及基于所述核张量得到的池化矩阵；

针对所述多个模态中的目标模态，将所述目标模态对应的核张量和除所述目标模态外的其他模态分别对应的池化矩阵进行融合，得到所述目标模态对应的注意力表示；

基于每个模态的所述注意力表示获得所述目标对象的情感分类结果。

可选的，基于所述注意力表示获得所述目标对象的情感分类结果，包括：

将每个模态对应的所述模态特征作为所述神经网络的价值；

基于所述价值和所述注意力表示，通过所述神经网络获得分别以每个模态的模态特征为主导的模态间的情感交互信息；

基于每个所述情感交互信息获得所述目标对象的情感分类结果。

可选的，所述方法还包括：

对每个模态的所述核张量沿着对应模态的时间维度进行平均池化操作，得到所述核张量的池化矩阵。

可选的，所述基于每个所述情感交互信息获得所述目标对象的情感分类结果，包括：

将所述每个所述情感交互信息的叠加结果，输入至所述神经网络的线性分类层，得到所述目标对象的情感分类结果。

可选的，在基于每个所述情感交互信息获得所述目标对象的情感分类结果之前，所述方法还包括：

重复执行如下步骤预设次数：